[问题] 怎么用网络爬虫下载这些档案？ johnny9667 PTT批踢踢实业坊

楼主: johnny9667 (大八) 2017-08-10 19:27:37

想请问一下我想要下载这些档案
http://i.imgur.com/zmI0XPv.png
https://goo.gl/sw8vTR
我只是想下载这些档案网络爬虫可以吗
大概怎么用？

作者: CP64 ((￣▽￣＃)﹏﹏) 2017-08-10 19:35:00

基本上就下载网页 -> 用选择器找出所有连结 -> 下载档案这个算简单只要用支援 css selector 的 html parser 就好做

楼主: johnny9667 (大八) 2017-08-10 19:40:00

楼上是说用网络爬虫吗？

作者: CP64 ((￣▽￣＃)﹏﹏) 2017-08-10 19:41:00

网络爬虫平常做的事不就这样吗

楼主: johnny9667 (大八) 2017-08-10 19:45:00

我没用过不知道＠＠

作者: armpaul (armpaul叮了一声新短信) 2017-08-10 19:57:00

RFC 我下了一堆都没看

楼主: johnny9667 (大八) 2017-08-10 19:59:00

我是不得不看

作者: sppmg (sppmg) 2017-08-10 20:33:00

wget -r -np -k $url

作者: hijkxyzuw (i,j,k) ×(x,y,z) 2017-08-11 00:46:00

apt install rfc-doc ## debian 都帮你包好了^rfc-doc^doc-rfc

作者: soem (æµæ°´) 2017-08-12 15:20:00

firefox -> DownThemAll addon

作者: OrzOGC (洞八达人.拖哨天王) 2017-08-12 17:05:00

我是抓网页然后用regexp抓出list再用wget抓

继续阅读