[问题] 爬虫伪元素问题 ks110159 PTT批踢踢实业坊

[问题] 爬虫伪元素问题

楼主: ks110159 (HFDragon) 2018-05-23 15:02:49

小弟最近在练习简单的爬虫
使用bs抓取资料
但每每遇到 ::before ::after 之间的资料
像抓取以下中国时报的新闻标题都无法顺利抓取
https://i.imgur.com/mnC6a0p.jpg
爬了一下文发现是非html的部分
想请问有什么方法可以解决这种js的问题

作者: tlaceruse 2018-05-23 16:40:00

关键找 js 怎么吃资料进来的。如果真的找不到那就直接模拟开启浏览器选元素一般都选得到但吃资源问题

楼主: ks110159 (HFDragon) 2018-05-23 17:50:00

请问t大模拟浏览器选元素是使用selenium吗

作者: HybridSC (VisionS) 2018-05-25 02:25:00

selenium

楼主: ks110159 (HFDragon) 2018-05-25 09:06:00

谢谢h大

继续阅读

[问题] 请问如何安装gmpy2yowantl [问题] django2 apache+wsgi wsgi.py 配置问题wuwt4y [问题] python新手请问array应用的问题panypany [问题] 新手发问关于findppoo1215 Re: [问题] 读取CSV档的内容建成物件rexyeah [问题] 读取CSV档的内容建成物件ChenXY [问题] 想请问request post要怎么传的问题marki [问题] ubuntu 原生pythonx246libra pandas读档的问题iphone2003 [问题] PySide2安装alfredisabug

Contact Us: admin [ a t ] ucptt.com