[问题] python前端串接与scrapy翻页

楼主: peco36 (Peco)   2019-01-13 17:22:56
各位版上的前辈们好,我最近开始初学爬虫。是这样的,我想要抓一个电商平台的fb留
言资讯来做统计。现在遇到的问题是
1.用selenium加上webdriver,可以执行成功,数据也都没错。但是在跟我前端的网页串
在一起的时候就会有问题,我是用shell_exec的方式来呼叫我的程式,但他会一直等待直
到网页逾时。打开工作管理员的话,也可以看到chromedriver这笔,但就是无法继续执行
下面的程式码。
2.用scrapy,因为上述的问题,所以我想说用scrapy试看看,但却在翻页时遇到问题。在
网络上爬了很多文,大部分都是教说在JS或是XHR中找,但是也一直看不出什么端倪。
想请教前辈们有没有什么建议或解决方法,谢谢!
想爬的网站:
https://goo.gl/uoVx5Y
feedback所在的iframe网址:
https://goo.gl/Drkthm
作者: s860134 (s860134)   2019-01-14 22:09:00
你有问题的程式码在哪?"shell_exec的方式来呼叫我的程式" 这段你也怀疑问题在这吧,code 贴出来大家找问题阿
作者: MAGICXX (逢甲阿法)   2019-01-17 11:50:00
呼叫 改用subprocess试试看?

Links booklink

Contact Us: admin [ a t ] ucptt.com