[问题] bilibili 使用者资讯爬虫

楼主: rocker915 (Kiisar)   2017-08-31 15:16:16
目前是想爬取使用者的资讯
像是关注跟粉丝的人数
然后再爬取那些关注跟粉丝的资讯
https://space.bilibili.com/201293/#!/fans/follow
像是我要爬取这个网页的话
怎么样爬都爬不出关注者列表
原本是用urllib2加header来爬
但后来发现网页好像是用JS来跑的
改成以下的code
http://codepad.org/oRVQkGF9
但还是一样的结果
我想爬的内容在 <div id="space-body"></div>里面 但爬出来都是空的
可以的话还请各位大神们能给点意见
作者: uranusjr (←這人是超級笨蛋)   2017-08-31 16:05:00
Selenium 遇到元素是空的第一件事情先加个 delay 压压惊
作者: itisjoe ( _(:3”∠)_)   2017-08-31 16:27:00
bilibili 我之前有抓过播放列表的资讯 ajax 没有防外连可以用 chrome 的 Developer Tools 开其中的 Network 看https://space.bilibili.com/ajax/* 开头的都有可能资讯大多都是 json 格式 很好处理
楼主: rocker915 (Kiisar)   2017-08-31 16:36:00
谢谢大大们 目前有看到东西了!

Links booklink

Contact Us: admin [ a t ] ucptt.com