[问题] 抓取Facebook滚轮下拉后资料 bubble0312 PTT批踢踢实业坊

[问题] 抓取Facebook滚轮下拉后资料

楼主: bubble0312 (Stephen) 2016-06-08 13:04:27

大家好! python新手发问
我想写一个抓取facebook的html码的program
目标是抓取一个粉丝专页一周内的po文
但我送出request后，得到的html只有前8则po文
必须要把滚轮下拉，比较旧的po文才会显示在网页上
想请问有什么办法可以解决只抓到前8则po文这个问题? (不打算使用FB graph api)
谢谢大家!!!!

作者: CaptainH (Cannon) 2016-06-08 13:12:00

自己去研究fb的ajax request，然后想办法模拟这可能比Graph api还麻烦

作者: IAMPF (PF) 2016-06-08 14:16:00

你可以试试用selenium

作者: syclin (Steven) 2016-06-08 20:27:00

为何不试试 FB 提供的 api

作者: kenduest (小州) 2016-06-08 21:14:00

fb新增个app, 后续用 token 登入然后用标准api沟通去抓资料这个方式才会简单，过来人的经验，要不然搞死最近

作者: poup (ppl help the ppl) 2016-06-08 22:48:00

用selenium可以解决。

作者: areyo (没有名字的怪物) 2016-06-09 10:05:00

推selenium

作者: blc (Anemos) 2016-06-09 15:48:00

selenium,或是抓mobile页

楼主: bubble0312 (Stephen) 2016-06-09 23:36:00

感谢回答！目前先用API解决问题，再慢慢研究selenium

作者: areyo (没有名字的怪物) 2016-06-10 11:02:00

selenium, 找大数学堂吧，有基本教学

作者: trylovetom (闲闲的猛男) 2016-06-12 21:47:00

我是土炮用js 狂scroll，然后再抓Dom，Python 大概也是这样，不过放一个晚上内存就爆了

继续阅读

[资讯] 非营利组织邀请python指导老师sunkill Re: [问题] for 循环平行化Fungshui [问题] for 循环平行化Dirac [问题] 编码问题os653 [问题] 英文字母上多一撇，怎么输出?areyo Re: [问题] 正规表示法"*?"darkk6 Re: [问题] 正规表示法"*?"canamvskid [问题] jupyter 安装开启问题 (爬虫)jackjenny Csv档汇入requests lenofire [问题] 新手学习wilbursuen