[分享] 使用R抓取证交所股价资料

楼主: bluecadence (Maxwell's demon)   2017-07-22 14:40:28
因为有网友来信问到如何使用 R 抓取证交所网站股价资料
我就把简单的作法,贴在这里,让有需要的网友参考。
(其实我本身是习惯使用 python 抓资料的)
原则上证交所有非常多种资料,资料的抓取方式都大同小异,
因为证交所前一阵子把资料都改成 json 格式,非常好抓。
大家可以依照自己需求,改一下参数,抓取想要的资料。
这里我抓取特定日期,上市所有股票的交易资讯。
# http://www.tse.com.tw/zh/page/trading/exchange/MI_INDEX.html
# 全部(不含权証 牛熊证 ....etc)
library(jsonlite)
qdate <- '20170721' #要抓取的日期
qtype <- 'ALLBUT0999' #全部(不含权証 牛熊证 ....etc)
ttime <- as.character(as.integer(as.POSIXct(Sys.time()))*100)
url <- paste0('http://www.twse.com.tw/exchangeReport/MI_INDEX?',
'response=json&date=',qdate,'&type=',qtype,'&_=',ttime)
x <- fromJSON(url,flatten=T)
x$data5
个股资料都在 x$data5,有需求者依照自己要的清理一下资料,
例如存成csv,或存进数据库,写成自动程式等,这部份就请自行
处理。如果只想抓取特定股票例如台积电 2330,请研究一下
网站,抓取方式类似。
另外上柜股票的网站抓取方式类似,也都是 json 格式资料。
:p
补上 python3 的程式码
import time
import requests
qdate = '20170721'
qtype = 'ALLBUT0999'
ttime = str(int(time.time()*100))
url = 'http://www.twse.com.tw/exchangeReport/MI_INDEX?
response=json&date={}&type={}&_={}'.format(qdate,qtype,ttime)
page = requests.get(url)
x = page.json()
资料都在
x['data5']
作者: f496328mm (为什么会流泪)   2017-07-22 15:54:00
推推Python会比较好抓资料吗?看过很多爬虫都是用Python
作者: TaiwanFight   2017-07-22 16:26:00
好抓程度一样 看你喜欢哪种语法
作者: eegame (yu)   2017-07-22 17:26:00
赞叹(跪读
作者: f496328mm (为什么会流泪)   2017-07-22 21:37:00
感谢 改天来试试 大大有github吗? 想参考看看
作者: k5171 (Jess)   2017-07-23 12:39:00
感谢分享

Links booklink

Contact Us: admin [ a t ] ucptt.com