[问题] 使用requests post爬虫问题

楼主: liwenhuang (杂)   2016-09-01 00:23:28
大家好
最近在爬钜亨网买卖超排名的资料时遇到一点问题
(网址: http://www.cnyes.com/twstock/a_QFII9.aspx)
我的目的是要抓集中市场以及店头市场某一天的资料
使用以下的方法来request资料
market = ["TSE", "OTC"]
session_html = requests.session()
header = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36
(KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36"}
formdata_market = {"__VIEWSTATE":viewstate,
"__VIEWSTATEGENERATOR":viewstategenerator,
"__EVENTVALIDATION":eventvalidation,
"ctl00$ContentPlaceHolder1$D1":market[0],
"ctl00$ContentPlaceHolder1$D3":"2016-08-29"}
html_market = session_html.post(url, headers = header, data = formdata_market)
对于集中市场的资料在抓取上没有问题
但是当要抓取店头市场某一天的资料时, 却只能抓到当天的资料(选单上的第一个日期)
请问这个问题有什么方法可以解决呢
谢谢各位
作者: hoho8 (hoho)   2016-09-01 06:16:00
更改参数日期再重新request?
楼主: liwenhuang (杂)   2016-09-01 09:49:00
似乎是只要改了市场参数到OTC后,日期不管改哪一天都会回传选单上第一天的资料..

Links booklink

Contact Us: admin [ a t ] ucptt.com