[问题] 用JS做网络爬虫是否可行? peace9527 PTT批踢踢实业坊

[问题] 用JS做网络爬虫是否可行?

楼主: peace9527 (谢谢你9527) 2016-02-17 17:47:48

本来一直都是用python在做网络爬虫
但因为公司有新需求
想要直接在网页上按按钮就能抓下需要的资料
因此我想到了google 插件可以满足这种UX
而google插件只能用JS写所以我就重拾JS的怀抱
玩了一整天后
目前觉得JS应该可以做网络爬虫
只是不知道是否好做呢?
像Python有好用的BS4 selenium等等做网络爬虫很方便很轻松
目前我只知道jquery的 querySelectorAll function
想知道还有没有其他更好用的网络爬虫function呢?
感谢各位大神的解答!

作者: shadowjohn (转角遇到爱) 2016-02-21 23:46:00

node-webkit也ok啊...也没跨域的问题ajax乱冲iframe也可以乱穿~自加code :D

作者: rarex (╰(〒皿〒)╯) 2016-02-17 21:25:00

node.js有很多这种资源呀可以往这方面去找找看

作者: rayway30419 (RayWay) 2016-02-18 00:46:00

nodejs + spider/crawler一大堆

作者: BigTounge (舌头) 2016-02-19 02:26:00

nide cheerionode打错

作者: Peruheru (还在想) 2016-02-19 13:20:00

原PO想问的是前端JS吧?不然后端爬虫用什么语言哪有差网页端JS的话，跨网域的抓取有满多限制的

作者: honestyer (诚实可靠小郎君) 2016-03-04 16:59:00

nodejs 满足你的需求

作者: nightspirit (鞭策自己社清流夜灵) 2016-03-06 19:10:00

前端爬跨网域太麻烦, 后端爬可用phantom.js

作者: pleasewait (Somebody) 2016-05-16 12:35:00

cheerio 棒棒

继续阅读

[问题] 新手想问一下观念的问题p134030772 [问题] 练习环境yshihyu Re: [问题] 请问Exception相关问题(ashx 搭配jQuery)brocker [问题] nodejs 课程或推荐者dianwu [问题] jQuery有MS精灵的Plugn in 吗？hammert [问题] json.js跟jquery.blockUI冲突?lovejoe7010 [问题] jquery的ul li click问题lovejoe7010 [问题] struts radiobox点不到lotoyoko [问题] 如何disable Chrome Address Baru9423504 [问题] 请问es6 class的一些写法问题qas612820704