[问题] 爬网页 包含图片,css,js

楼主: qas612820704 (Lego)   2015-03-10 17:14:37
我想要把网页的页面包含里面的图片,css,js都载下来
我Google了半天 我都只找到 只爬网页的内容下来
只有爬网页下来 但是我想一并连local的css js 一起载下来
像是firefox Ctrl+S 载下来的东西 可是要载的有点多
无办法一个一个用firefox载
请问有什模办法可以达成吗?
作者: IAMPF (PF)   2015-03-10 17:55:00
wget -p <url>
作者: mars90226 (火星人)   2015-03-10 18:49:00
你是想用Python写,还是一般工具?用Python的话,你要自己针对每一个连结去把他载下来浏览器在做的事也是看到连结以后再去下载
楼主: qas612820704 (Lego)   2015-03-10 19:56:00
那有什摸套件 可以用吗?我用requests只有html file
作者: yan12125 (姥姥)   2015-03-10 21:18:00
如果不限纯python可以试试看phantomjs
楼主: qas612820704 (Lego)   2015-03-11 00:23:00
我是要用django来写这个功能 所以希望是python或是可以用command去call的方法
作者: u1240976   2015-03-12 00:57:00
用 beautifulsoup 去把 html file 的 css/js 的 url抓出再个别 request 每个 url 就可以抓到基本上浏览器也是这样做,每个档案都要个别发httprequest

Links booklink

Contact Us: admin [ a t ] ucptt.com