PTT
Submit
Submit
选择语言
正體中文
简体中文
PTT
Ajax
[问题] NodeJS Crawler behind company proxy
楼主:
Big9
(Big9)
2017-03-01 23:58:20
各位好
最近在学NodeJS
打算写一只Crawler
参照此文章
如何撰写Crawler
http://yhsiang.logdown.com/posts/2014/05/10/how-to-write-a-crawler
也完成了一只Crawler
在家中一般网络环境时顺利抓下资料
但是 拿到公司网络环境运作
竟然无法爬资料
深入追查下才发现
公司连网站都会透过Proxy
导致爬网页时都会失败
上网找了许多相关问题
也是无法顺利解决
上来求教各位
谢谢
作者:
mmis1000
(秋月恋枫)
2017-03-02 12:39:00
https://www.npmjs.com/package/http-proxy-agent
那就让你的crawler也过proxy
继续阅读
[问题] jQuery外挂-360度旋转产品照片展示
weizi75
[问题] cheerio分开选择两个几乎相同的list
dynastat
[ js ] Object.create
godman362
Re: [问题] react component 如何使用"外部"的值
davidsky
[问题] react component 如何使用"外部"的值
keev
[问题] cheerio 选择器的问题
dynastat
[ js ] 使用clone()复制DOM的疑问
luckynu
Re: [问题] Hoisting 问题
eight0
[js] 读取cookie
gmotwm2001
Re: [问题] Hoisting 问题
iamnodoubt
Links
booklink
Contact Us: admin [ a t ] ucptt.com