[问题] python抓网页资料问题 sariel0322 PTT批踢踢实业坊

[问题] python抓网页资料问题

楼主: sariel0322 (sariel) 2014-12-23 21:40:26

不好意思又来发问，而且这次不知道算不算纯python问题
想请问一下，我用beautifulsoup来抓取网页资料
想要抓的是这个网页按下"perform"的资料
原本的网址:http://web.expasy.org/cgi-bin/peptide_mass/peptide-mass.pl?P35225
按下后会跑出这一类的资料
http://ppt.cc/xTj1
但是这些资料的网址却变成:http://web.expasy.org/cgi-bin/peptide_mass/peptide-mass.pl
用beautifulsoup抓的时候就变成错误了，用这网址当然也不能用
想请问一下，我该怎么抓附图的资料

作者: Seudo (进击的三笠) 2014-12-23 23:28:00

requests.post(url,data={'protein':'P35225'}).text

作者: Thisisnotptt (这不是PTT) 2014-12-23 23:55:00

http://pastebin.com/McZWCQq7你试试看行不行，有用到mechanize套件送出相对应的POST他就会给你对的资料了

楼主: sariel0322 (sariel) 2014-12-30 23:36:00

好像不行...一楼可以读，但是重要的table的资料出不来

作者: Seudo (进击的三笠) 2014-12-31 17:49:00

form都填完就会有table资料了http://pastebin.com/bXMu52QX

继续阅读

[问题] Django仿做网页部分功能tino9808 [闲聊] Rusthonchangyuheng Re: [问题] 透过 Python 即时更新 Excellargesperm Re: [问题] 大量资料程式抓取alibuda174 [问题] 大量资料程式抓取sariel0322 Re: [问题]我写的爬虫只会爬到第一个符合条件的Seudo [问题]我写的爬虫只会爬到第一个符合条件的elmo56 [问题]scrapy如何将item的资料成对的储存起来? allen511081 Re: [问题] function 的默认值Seudo [问题] function 的默认值ql4au04