各位高手大大晚安
我想抓取下图的资料档
https://i.imgur.com/tmpyyZy.jpg
已经知道图表的资料是从这个网址汇入
https://i.imgur.com/znv2SKe.jpg
但是我直接把这段网址贴到浏览器会说找不到网页
https://i.imgur.com/PRKcbtJ.jpg
不晓得是哪里有放过滤机制
因为如果后面参数不要放那么多
是可以抓到股价资料
但是主力,券商买卖家数怎么试就是没办法
不晓得有没有经验的大大指点一下
卡了2天了QQ
https://histock.tw/stock/main.aspx?no=2330

GET里面的header要设定user-agent和referer所要的资讯可以在原本截图Response Headers里面找到

和回neiltsang的一样, 用https://curl.trillworks.com/

@cuteSquirrel 之前我只有加 user-agent原来还要加referer 不过要如何判断header应该加哪些资料?@cuteSquirrel 真的谢谢了 受小弟一拜<O>

就从常见的几个开始试吧 爬虫满常遇到这些情况不客气~

其实没有一定。通常都是用上述方法后一个个删减到最少。这都是爬多了就会知道了。懒得删也ok。

A大 谢谢 试到最后 只留referer就好XD

^^great！我的理解是这完全取决于服务器端怎么做的。

我可以再问一个问题吗 抓下来的资料看起来像json 读取后资料的部分变成字串 有什么方式可以快速转换为list吗

可以用response.json()拿到python dict用dev tool看到的key去抓字串，再用re去撷取

嗯。再import json;json.loads()https://i.imgur.com/qm5Vt8A.jpg如上图。K就变成list了https://i.imgur.com/m6iwnAk.jpg

针对"[[a,1],[b,2]]"这种字串型态资料用json.loads() 就可以转成list 谢谢了

^^。顺便也可以去参考skcom 0.9.4嗯..最近好像到0.96了。