[问题] 大家是怎么在爬虫设置代理的

楼主: vi000246 (Vi)   2017-09-14 15:52:49
在网络找了几个project
发现大家对代理设置的方式都不太一样
有人是用list放几个proxy位址
有人是写个爬虫去爬免费代理的网站
把proxy位址储放到本机数据库
再从数据库捞一个代理出来用
我之前的做法是去某个代理网站
随机捞一个连线速度比较快 比较多人用的代理
在想要不要自已写一个抓代理位址的爬虫
不太想动用到数据库 最好能直接找一个能用的proxy
想问有现成的lib能用吗
作者: HahaUreDead   2017-09-18 17:28:00
可以用Tor

Links booklink

Contact Us: admin [ a t ] ucptt.com