PTT
Submit
Submit
选择语言
正體中文
简体中文
PTT
Python
[问题]如何爬取即时产生的资料
楼主:
eecheng87
(EEcheng)
2019-11-20 21:11:56
各位大大好,目前我在练习拿中央气象局的各地温度,但是用requests.get拿到的程式码
都不含温度的资料,他们好像会即时产生,程式码只有表格的雏型,想请问有神么办法能
用爬虫的方式拿到吗?谢谢。
以下附上网址,表格在123行开始。
https://www.cwb.gov.tw/V8/C/W/OBS_County.html?ID=64
作者:
dennisxkimo
(Dennis(一上B就糟糕))
2019-11-20 22:01:00
资料是叫用api回传内容 所以你爬这页看到表格 没资料网页原始码看的出来 高雄市www.cwb.gov.tw/Data/js/Observe/County/64.js如果非静态网页 叫api回资料 反而要看懂他怎么叫
楼主:
eecheng87
(EEcheng)
2019-11-20 22:11:00
所以这个应该是动态网页?所以应该没办法走找寻selector取值这条路了吧?那请问有神么套件或api可以解决这个问题吗?
作者:
dennisxkimo
(Dennis(一上B就糟糕))
2019-11-20 22:44:00
这种就不用爬 直接就给资料了 只要parse就好了
作者:
hoho8
(hoho)
2019-11-21 05:34:00
气象局有资料开放平台,直接用json取值比较快啦
楼主:
eecheng87
(EEcheng)
2019-11-21 08:47:00
感谢各位的意见,我再试试
作者:
dennisxkimo
(Dennis(一上B就糟糕))
2019-11-21 15:59:00
不一定要找出api来源 有api的call api比较有效率而已关键字 python webdriver ajax google一下吧模拟浏览 爬资料 与 直接拿到资料的分别而已
作者:
a9301040
(加油)
2019-11-22 11:50:00
你找错地方了,找中央气象局 opendata,有api可以串,很容易
作者:
dennisxkimo
(Dennis(一上B就糟糕))
2019-11-22 19:54:00
原po表示练习 猜他不是真的要资料而是这类网页如何取
作者:
blc
(Anemos)
2019-11-24 06:26:00
开 selenium 吧。要资料的话请找opendata,要从网页抓资料的话请用 selenium
作者:
ilove0618
(轩)
2019-11-26 10:38:00
他是动态产生的,之前爬过一次楼上说的ajax那些搞懂就很好爬了
继续阅读
[问题] pyinstaller import external module
keven92110
Re: [问题] 类别中使用List的问题
nevak
[问题] 用request取得json file后无法sort key
AmigoSafin
[问题]NN中关于影像的normalization
oo855050
[家教] 征家教-每个人都可以看到我画的图(bokeh)
popo14777
Re: [问题] 类别中使用List的问题
poototo
[问题] 请教有关CNN分类的问题
zax5566x2
Re: [问题] 类别中使用List的问题
TuCH
[问题] 类别中使用List的问题
jijuan
[家教]python 写入mysql 数据库
LoveCryGhost
Links
booklink
Contact Us: admin [ a t ] ucptt.com