[问题] 爬虫 XHR也找不到目标资料 rodyforeter PTT批踢踢实业坊

[问题] 爬虫 XHR也找不到目标资料

楼主: rodyforeter (rodyforeter) 2018-12-28 19:57:48

各位大大安安
我目前在写一个电商爬虫
自己做了一些功课
对于动态加载的网页通常会用调出XHR的request或是使用web driver
现在碰到的一个疑问是
某电商网页里面的资料
doc里面没有打开xhr一一扫过也没有找到对应的资料
所以可能会用网页驱动去爬取
但很好奇这类型的网页是如何得到资料的呢?
里面有一个 jquery xhr
是否是这个东西在搞鬼??
新手发问
感谢解答 ~

作者: nini200 (200妮妮) 2018-12-29 06:21:00

直接给网站呗可疑的网页都去点来看网页看的到基本都有

作者: extraymond (extraymond) 2018-12-29 16:24:00

也有可能是websocket吗？

楼主: rodyforeter (rodyforeter) 2018-12-29 17:55:00

https://24h.pchome.com.tw/region/DDAT我想要的资料是左边的各项目录网址<dl id='MenuContainer' ...下的所有 <li>

作者: nini200 (200妮妮) 2018-12-29 20:47:00

我google pchome 爬虫有影片教学你参考一下呗

楼主: rodyforeter (rodyforeter) 2018-12-29 22:38:00

谢谢但是左侧的那些目录不在xhr里面@@我再研究看看灵机一动在旁边的JS里面找到了!哈哈因为教学都说看XHR 结果一直找不到谢谢大家

作者: jasonfghx (工人) 2018-12-30 14:51:00

哪一个网站?

楼主: rodyforeter (rodyforeter) 2017-01-03 05:20:00

是pchome 现在已经可以了问题是另一个更难的 momo

继续阅读

[问题] python与C# socket连结owem0410 [问题] 请问这个错误该如何处理OCEANSAE [问题] python3.6.6执行Wfuzz问题iso302721 [问题] 执行 LIST 里的副程式martin7887 [问题] pyinsaller 包专案问题Faker0613 [问题] 关于requests.get中的headerhsiaoeddie [问题] 在macbook上括号如何自动补全CK0201 [问题] 关于Dcard的爬虫批量下载图档liwei290341 [问题] keras LSTM typeerrorpig98520 [问题] 想请问流水号之生成写法mimick