[请问] 批量网页的抓取 s4028600 PTT批踢踢实业坊

楼主: s4028600 (ä½‘) 2019-02-15 05:19:56

不是抓取网页中的东西
是抓取网页本身
我试过用idm抓取
但是因为这个网页需要登入
导致我所有连结都转到登入页面了
有什么方法可以批量抓取吗

作者: sa12e3 2019-02-15 09:22:00

请问是要把整个网页截站吗？

楼主: s4028600 (ä½‘) 2019-02-15 11:25:00

不只有固定格式的一些连结

作者: rick65134 2019-02-15 12:53:00

批量? 所以不只一个页面要抓? 少量的话就另存新档大量的话就去找砍站软件

作者: kobe8112 (小B) 2019-02-15 13:07:00

写个爬虫吧

作者: akhot (akhot) 2019-02-15 13:15:00

写爬虫最快吧 scrapy 学一下

楼主: s4028600 (ä½‘) 2019-02-15 14:21:00

所以目前没有软件有办法囉...

作者: chang0206 (Eric Chang) 2019-02-15 14:35:00

httrack 可以输入帐号密码呀

楼主: s4028600 (ä½‘) 2019-02-15 15:20:00

http://www.dm5.com/bookmarker-p315/?sort=3登入需要转头像没办法直接登入

作者: x94fujo6 2019-02-15 15:35:00

要抓漫画的话有人写好下载器了

楼主: s4028600 (ä½‘) 2019-02-15 15:40:00

我要抓的是bookmarker的目录不是漫画

作者: vernc (cralvin) 2019-02-15 21:13:00

Teleport Pro

楼主: s4028600 (ä½‘) 2019-02-15 21:48:00

还是卡在登入问题

作者: JustGame (JustGame) 2019-02-16 22:50:00

iMacros for Chrome登入之后用 Chrome 开发者工具复制 cURL 内容，把你要捞的页面网址依照 cURL 内容写成批次档，执行就搞定

楼主: s4028600 (ä½‘) 2019-02-16 23:15:00

可惜英文看不懂说不定可以的说

继续阅读