[问题] 想请问更换ip的问题 a20913126 PTT批踢踢实业坊

[问题] 想请问更换ip的问题

楼主: a20913126 (TangTang) 2016-12-08 17:33:47

最近在练习用python写爬虫
但是在大量爬取时出现ProxyError
主要就是因为超过Max retries exceeded 该网页
所以我想在爬取时定时更换ip
但公司电脑又不能使用safeIP
不知道有没有其他方法能在爬取资料时renew IP
恳请各位大大指教
或是给我关键字让我自己估狗学习
谢谢

作者: uranusjr (â†é€™äººæ˜¯è¶…ç´šç¬¨è›‹) 2016-12-08 17:56:00

用公司电脑就低调点慢慢爬, 不然被抓还可以告你偷电

作者: shadowjohn (转角遇到爱) 2016-12-08 18:08:00

先收集proxy、socket5、可以穿x-forward-proxy不然你换再多ip应该也...

作者: ajaxbaby (Ajax) 2016-12-09 09:28:00

也很想知道+1 ...想知道有无方法能更换proxy, 免费付费都好频率数分钟一次也可以目前知道透过browser可以

作者: aweimeow (喵喵喵喵ヽ( ・∀・)ノ) 2016-12-09 14:54:00

改 X-forward-for Header 不知道有没有用 XD

作者: Nt1 (用功点吧!) 2016-12-15 02:09:00

架tor, 不过效能会下降

继续阅读

[问题] django 免费云端主机？frank910138 [问题] python 编码问题soul810707 [问题]执行.py 时指定不同的config.ini档cerebellum Re: [问题] 透过python做个云端辨识系统ncuyes [问题] 正规表达式 TXT抓取数字a79621234 [问题] CONDA下有两个python 核心notebookxakg [问题] Encoding of binary dataaMaa [问题] 请问有人在使用kaldi吗?t104368109 [问题] Python Phantomjs 点击aa12twtwaa [问题]输出json时中文乱码soul810707