[问题] 请教某些网站如何抓取爬虫 zxcv4982543 PTT批踢踢实业坊

[问题] 请教某些网站如何抓取爬虫

楼主: zxcv4982543 (zxcv4982543) 2018-04-21 18:20:13

如题
小弟是程式初学者最近在学爬虫
已经有抓学测研究所那种交叉查榜的资料(单一网页)
目前想抓LOL的对战纪录网页
https://matchhistory.tw.leagueoflegends.com/zh/#page/landing-page
但这网页除了是用滚轮式网页外
里面的每一笔对战纪录
虽然左键点击就能进去
但右键或是
F12(chrome)找不到网页相关的url(网页包含每一场对战代码也找不到QQ)
https://imgur.com/caFBDK9
现在目前已经会模拟浏览器下拉
但就是网址的取得部分有困难
想请问各位大大
有什么关键字或方法能交交我QQ

作者: st9760916 (st9760916) 2018-04-21 19:07:00

为啥要爬桶神的＝＝

作者: jn8029 (宅男8029) 2018-04-21 19:36:00

selenium get_elements_by_css_selector click

作者: vi000246 (Vi) 2018-04-21 21:36:00

你开F12 然后卷到最下面网页会加载更旧的对战纪录观察一下call了什么网址你直接复制那网址贴上会得到所有对战纪录的jsonjson里的gameid 就是match-details网址后面接的数字就能找到你要的页面了

作者: coeric ( ) 2018-04-23 10:25:00

给一楼，这要给人家推一下阿 XDDDD有个目的来学爬虫，这样才有动力会快阿.....

继续阅读

[问题] 搜寻格多条件搜寻问题MAXCAI [问题] 无法用cmd开启档案wen12305 [问题] pymongo问题kennykobe [问题] matplotlib 3d移动spines到中心点znmkhxrw [闲聊] Python新手作品分享wdc5907 [问题] 爬虫资料存入db 并制作成apirelievezaoc [问题] np.zeros memory erroryowantl [问题] 关于requests与beautifulsoup安装问题Kamehame [问题] Cannot load mkl_intel_thread.dll问题jenny33377 [问题] Profiling 包含tensorflow跟CUDA的.pyMorphee