[闲聊] 请问有人用过免费Proxy写爬虫吗? philipwen PTT批踢踢实业坊

[闲聊] 请问有人用过免费Proxy写爬虫吗?

楼主: philipwen (匈牙利=Hungary) 2019-07-19 14:21:29

http://tinyw.in/lOA8
附上网址
最近再用BeautifulSoup写爬虫，但老问题就是遇到防火墙规则
相同IP重复挖取被挡下来了就想说用跳板来抓
看到这一篇是抓可以用的免费Proxy来抓
Code分成两大部分第一部分就是一个小爬虫去爬免费Proxy
不知道有没有人玩过这个呢? 分享给大家

楼主: philipwen (匈牙利=Hungary) 2019-07-19 14:37:00

问一下有没有人死在proxies=Next(proxy_pool)呢

作者: shadowjohn (转角遇到爱) 2019-07-19 21:43:00

先把proxy4free列表里的刷一次看哪些能用~

作者: s860134 (s860134) 2019-07-20 00:24:00

就一个 for 循环和一个 get 去检查能不能用...

作者: ptl1129 (怪客) 2019-07-21 10:32:00

proxybroker

继续阅读

[问题] post内容中，多个相同的值ericerix [资讯] 每天新闻资讯网站整理IAMPF 如何同时把多个资料汇入模型，并同时运算?qaz992030 [问题] 如何读取sql档sun569 Re: [问题] 集合 set 问题Hsins [问题] 集合 set 问题h0304 [问题] 程式可运行但有一些橘色波浪线oo855050 [问题] openpyxl处理大型xlsx档案的问题blacknate [重新开机已解决] 如何debug module in pycharmsshc [问题] PIL安装失败(成功囉^^)spong