大家好,我是python爬虫新手,对网络架构完全不了解,靠着一些书籍与网络教学已经能
顺利的从静态网页爬到我需要的资料。
最近想从下方网址爬取表格的资料,一开始使用requests+bs4,发现抓取回来的字段中数
值都是空的。喂狗查询有发现可能是表格中的数值是由JavaScript动态产生的,所以需要
用webdriver来取得资料。之后按照着教学使用webdriver,浏览器也成功启动,但是在浏
览器中只有看到表格的表头,资料字段则完全没有显示,当下使用浏览器的开发者模式,
有发现在疑似查询日期的request时,服务器回了status code 400,使用chrome/Firefox
webdriver都相同。
请问这种情况是什么环节出了问题?又该如何避免呢?
谢谢。
https://www.wantgoo.com/stock/major-investors/net-buy-sell-rank?market=Listed