[问题] WSJ网站上的资料抓取 areyo PTT批踢踢实业坊

[问题] WSJ网站上的资料抓取

楼主: areyo (没有名字的怪物) 2016-11-25 16:00:58

各位午安
想请教如何抓取wsj.com上面某档股票的历史资料
例如Nikkei 225
http://quotes.wsj.com/index/JP/XTKS/NIK/advanced-chart
目前仅会'手抓'，利用Chrome + F12去抓取JSON数据
https://dl.dropboxusercontent.com/u/14347169/wsj.png
想请教版上高手，这要怎么抓取呢??
谢谢

作者: gozule (好冷啊~~) 2016-11-25 21:33:00

用scrapy抓完后再parse

楼主: areyo (没有名字的怪物) 2016-11-26 08:12:00

scrapy该如何抓?? 谢谢如果用urllib, request能否抓取呢??

作者: Neisseria (Neisseria) 2016-11-26 09:35:00

用 urllib 要自行处理细节，用 scrapy 就省下这些工夫如果不会用 scrapy，可以用 requests 函式库这些函式库/框架都有网站，可以上去看一下相关说明

作者: s860134 (s860134) 2016-11-26 16:51:00

老实说你的问题应该是怎么爬那个网站吧

楼主: areyo (没有名字的怪物) 2016-11-26 16:54:00

是想爬该网站某档股票的历史股价

作者: s860134 (s860134) 2016-11-26 16:55:00

header 抄一抄，解析一下那些 url parameter的规律像是你要爬多档股票你要知道股票清单在哪或是名称规律

继续阅读

[问题] matplotlib图片切换coolching [问题] statsmodels.tsa.johansen模块安装ss546418 Re: [问题] python版本与gurobi、conda的问题gozule [问题] python版本与gurobi、conda的问题xakg [问题] django静态文件设置honesty1997 [问题] fabric范例TpBp Fw: [问题] python OrderedDic传往前端sean72 [问题] 关于pandas读取csv档问题?processior [问题] IDLE中使用pandas的问题Zan666 Re: [问题] List of List初始化Conjuror