各位版上的前辈们好,我最近开始初学爬虫。是这样的,我想要抓一个电商平台的fb留
言资讯来做统计。现在遇到的问题是
1.用selenium加上webdriver,可以执行成功,数据也都没错。但是在跟我前端的网页串
在一起的时候就会有问题,我是用shell_exec的方式来呼叫我的程式,但他会一直等待直
到网页逾时。打开工作管理员的话,也可以看到chromedriver这笔,但就是无法继续执行
下面的程式码。
2.用scrapy,因为上述的问题,所以我想说用scrapy试看看,但却在翻页时遇到问题。在
网络上爬了很多文,大部分都是教说在JS或是XHR中找,但是也一直看不出什么端倪。
想请教前辈们有没有什么建议或解决方法,谢谢!
想爬的网站:
https://goo.gl/uoVx5Y
feedback所在的iframe网址:
https://goo.gl/Drkthm