[问题] NodeJS Crawler behind company proxy

楼主: Big9 (Big9)   2017-03-01 23:58:20
各位好
最近在学NodeJS
打算写一只Crawler
参照此文章
如何撰写Crawler
http://yhsiang.logdown.com/posts/2014/05/10/how-to-write-a-crawler
也完成了一只Crawler
在家中一般网络环境时顺利抓下资料
但是 拿到公司网络环境运作
竟然无法爬资料
深入追查下才发现
公司连网站都会透过Proxy
导致爬网页时都会失败
上网找了许多相关问题
也是无法顺利解决
上来求教各位
谢谢
作者: mmis1000 (秋月恋枫)   2017-03-02 12:39:00
https://www.npmjs.com/package/http-proxy-agent那就让你的crawler也过proxy

Links booklink

Contact Us: admin [ a t ] ucptt.com