[问题] IG爬虫会卡在LoginAndSignupPage

楼主: MTlessugar (金鱼花火)   2020-08-10 17:41:07
大家好,我最近在练习使用Python进行IG照片爬虫。
我的做法是
1.先连上IG的帐号
2.分析每个贴文所在的URL
3.读取贴文URL再进去找照片的URL
4.撷取照片的URL再下载
现在遇到的问题是,我在A电脑进行爬虫是没问题的,但在B电脑执行爬虫时会卡在IG的Lo
ginAndSignUpPage然后无法爬虫。
我尝试改了B电脑的cookie就可以连上IG的帐户了,但要连上贴文URL时又会卡在LoginAnd
SignUpPage上。
我观察了一下发现A电脑即使开启无痕视窗依然会保有IG的登入资讯,而B电脑开启无痕视
窗后就失去了IG的登入资讯。
想请问该如何让B电脑也能顺利的完成爬虫呢?
作者: deep128 (煞气眼)   2020-08-12 14:36:00
cookie有保存在爬虫的设定中吗?还是只是一次性的,并没有带到下一个页面?
作者: yoz4ni (yoooooz)   2020-08-19 18:36:00
我之前写没遇过这种问题,我是用名字去抓全部的图片

Links booklink

Contact Us: admin [ a t ] ucptt.com