[问题] 爬虫爬不出来

楼主: ladie4 (老雷)   2020-04-28 03:08:53
软件熟悉度:初学者
问题叙述:
各位大大好,最近找到这个网页的教学来学爬虫,本身是商科无程式基础,但之后业界好
像会用到所以先学习资料科学相关的东西
https://medium.com/chikuwa-tech-study/%E4%BD%BF%E7%94%A8r%E8%AA%9E%E8%A8%80%E9
%80%B2%E8%A1%8C%E7%88%AC%E8%9F%B2-936637f272cb
我按照他的教学点进去里头的网页做做看
https://www.mobile01.com/forumtopic.php?c=29
然后点了第一篇对标题和留言按下检查之后复制了full xpath
在R里面打出以下东西:
library(rvest)
library(dplyr)
x=read_html("https://www.mobile01.com/forumtopic.php?c=29")
x
title_path="/html/body/div[1]/main/div[1]/div/div/div/div[1]/div[7]/div/div[2]
/div/div[2]/div[1]/div[1]/div/div/a "
titles=x %>% html_nodes(xpath = "title_path") %>% html_text()
reply_path="/html/body/div[1]/main/div[1]/div/div/div/div[1]/div[7]/div/div[2]
/div/div[2]/div[1]/div[4]/div "
replies=x %>% html_nodes(xpath = "reply_path") %>% html_text()
my.table=data.frame(title=titles,reply=replies)
View(my.table)
语法没有任何错误,但只有跑出一行东西,请问有人知道错在哪里吗
(我跟作者的程式码几乎一模一样,但我的浏览器是用估狗的)
另外一个问题,需要会员登入的论坛是不是既无法进行爬虫呢?
(朋友去伊利爬a片爬不出任何东西)
作者: bboybighead2 (脚毛会唱歌)   2020-04-28 03:34:00
需要登入的网站可以用selenium或送request
楼主: ladie4 (老雷)   2020-04-28 03:59:00
谢谢b大 我之后会试试看的 那上面这个请问您有头绪吗……
作者: bboybighead2 (脚毛会唱歌)   2020-04-28 08:01:00
https://i.imgur.com/mMVEgwI.jpg可以观察一下source的结构,再决定用哪些标签查找比较方便。或使用chrome的插件selectorgadget满方便的。然后你的问题是出在html_nodes(xpath = "reply_path") 这里的reply_path不需要双引号,不然就不会传你想要的xpath路径,而是传”reply_path”这个字串而已

Links booklink

Contact Us: admin [ a t ] ucptt.com