请教一个和爬虫相关的问题。
我想爬的是这个网页 https://quickfs.net/company/A2M:AU
里的两个tables, (1) Key Statistics及 (2) 拉下式选单下面的表
。我是用copy xpath 的方式，我试了几乎所有element的xpath, 但是没有一个能够读到
数据。不知道是我爬的网页有防爬的设计，还是我的xpath找错了?
以下是我的R code
# URLs
url.main <- "https://quickfs.net/company"
url.ASX.A2M <- file.path(url.main,"A2M:AU")
# Copy xpath of tables
xpath.1 <- '//*[@id="ovr-table"]'
xpath.2 <- '//*[@id="ovr-table"]/tbody'
xpath.3 <- '//*[@id="ovr-table"]/tbody/tr[1]'
# Get html table into a data.frame
A2M <- url.ASX.A2M %>%
xml2::read_html() %>%
html_nodes(xpath=xpath.1) %>%
html_table()
A2M
# list()

先用浏览器叫出开发人员工具检查一下元素

read_html()什么都没读到喔。整个网页几乎全是动态生成试过rselenium了吗

感谢指点selenium. 爬文发现要log in的网页可用selenium. 但我还没研究它的功能。