[问题]如何爬取即时产生的资料

楼主: eecheng87 (EEcheng)   2019-11-20 21:11:56
各位大大好,目前我在练习拿中央气象局的各地温度,但是用requests.get拿到的程式码
都不含温度的资料,他们好像会即时产生,程式码只有表格的雏型,想请问有神么办法能
用爬虫的方式拿到吗?谢谢。
以下附上网址,表格在123行开始。
https://www.cwb.gov.tw/V8/C/W/OBS_County.html?ID=64
作者: dennisxkimo (Dennis(一上B就糟糕))   2019-11-20 22:01:00
资料是叫用api回传内容 所以你爬这页看到表格 没资料网页原始码看的出来 高雄市www.cwb.gov.tw/Data/js/Observe/County/64.js如果非静态网页 叫api回资料 反而要看懂他怎么叫
楼主: eecheng87 (EEcheng)   2019-11-20 22:11:00
所以这个应该是动态网页?所以应该没办法走找寻selector取值这条路了吧?那请问有神么套件或api可以解决这个问题吗?
作者: dennisxkimo (Dennis(一上B就糟糕))   2019-11-20 22:44:00
这种就不用爬 直接就给资料了 只要parse就好了
作者: hoho8 (hoho)   2019-11-21 05:34:00
气象局有资料开放平台,直接用json取值比较快啦
楼主: eecheng87 (EEcheng)   2019-11-21 08:47:00
感谢各位的意见,我再试试
作者: dennisxkimo (Dennis(一上B就糟糕))   2019-11-21 15:59:00
不一定要找出api来源 有api的call api比较有效率而已关键字 python webdriver ajax google一下吧模拟浏览 爬资料 与 直接拿到资料的分别而已
作者: a9301040 (加油)   2019-11-22 11:50:00
你找错地方了,找中央气象局 opendata,有api可以串,很容易
作者: dennisxkimo (Dennis(一上B就糟糕))   2019-11-22 19:54:00
原po表示练习 猜他不是真的要资料而是这类网页如何取
作者: blc (Anemos)   2019-11-24 06:26:00
开 selenium 吧。要资料的话请找opendata,要从网页抓资料的话请用 selenium
作者: ilove0618 (轩)   2019-11-26 10:38:00
他是动态产生的,之前爬过一次楼上说的ajax那些搞懂就很好爬了

Links booklink

Contact Us: admin [ a t ] ucptt.com