小弟因为专题需要爬证交所网站的一些资料,所以用python 2.7 和requests套件操作
网址如下:
http://www.twse.com.tw/ch/trading/indices/MI_5MINS_HIST/MI_5MINS_HIST.php
(每个月份都要爬)
程式码如下:
import requests
payload = {
'myear': 2016,
'mmom': 5
}
url='http://www.twse.com.tw/ch/trading/indices/MI_5MINS_HIST/MI_5MINS_HIST.php'
page = requests.post(url, data=payload)
print page.text.decode('iso-8859-1').encode('utf8')
然后就遇到两个问题:
1.有抓到东西,但是只有抓到其他不重要的,数据的部分完全没有
(应该是payload那有错,抱歉小弟连html都没写过QQ)
2.抓下来的编码是乱码,所以加了爬文看到的解码那行,却出现error:
UnicodeEncodeError: 'ascii' codec can't encode character u'\xbb' in position
130: ordinal not in range(128)
整整花了3个半天还是搞不定,只好PO文求救了QQ