[问题] webdriver无法显示表格

楼主: linsl992 (Eason)   2021-09-08 01:06:29
大家好,我是python爬虫新手,对网络架构完全不了解,靠着一些书籍与网络教学已经能
顺利的从静态网页爬到我需要的资料。
最近想从下方网址爬取表格的资料,一开始使用requests+bs4,发现抓取回来的字段中数
值都是空的。喂狗查询有发现可能是表格中的数值是由JavaScript动态产生的,所以需要
用webdriver来取得资料。之后按照着教学使用webdriver,浏览器也成功启动,但是在浏
览器中只有看到表格的表头,资料字段则完全没有显示,当下使用浏览器的开发者模式,
有发现在疑似查询日期的request时,服务器回了status code 400,使用chrome/Firefox
webdriver都相同。
请问这种情况是什么环节出了问题?又该如何避免呢?
谢谢。
https://www.wantgoo.com/stock/major-investors/net-buy-sell-rank?market=Listed
作者: jackjenny (痛苦)   2021-09-08 17:35:00
你先打一次他的request
作者: single4565 (leekdumpling韭菜水饺)   2021-09-08 19:10:00
也可以先等待几秒再爬
作者: lycantrope (阿宽)   2021-09-08 19:48:00
有cloudflare防爬#1V1UUG0U (Python)

Links booklink

Contact Us: admin [ a t ] ucptt.com