[问题] 请教某些网站如何抓取爬虫

楼主: zxcv4982543 (zxcv4982543)   2018-04-21 18:20:13
如题
小弟是程式初学者 最近在学爬虫
已经有抓 学测研究所那种交叉查榜的资料(单一网页)
目前想抓LOL的对战纪录网页
https://matchhistory.tw.leagueoflegends.com/zh/#page/landing-page
但这网页 除了是用滚轮式网页外
里面的每一笔对战纪录
虽然左键点击就能进去
但右键 或是
F12(chrome)找不到网页相关的url(网页包含每一场对战代码 也找不到QQ)
https://imgur.com/caFBDK9
现在目前已经会模拟浏览器下拉
但就是网址的取得部分有困难
想请问各位大大
有什么关键字或方法能交交我QQ
作者: st9760916 (st9760916)   2018-04-21 19:07:00
为啥要爬桶神的==
作者: jn8029 (宅男8029)   2018-04-21 19:36:00
selenium get_elements_by_css_selector click
作者: vi000246 (Vi)   2018-04-21 21:36:00
你开F12 然后卷到最下面 网页会加载更旧的对战纪录观察一下call了什么网址 你直接复制那网址贴上会得到所有对战纪录的jsonjson里的gameid 就是match-details网址后面接的数字就能找到你要的页面了
作者: coeric ( )   2018-04-23 10:25:00
给一楼,这要给人家推一下阿 XDDDD有个目的来学爬虫,这样才有动力 会快阿.....

Links booklink

Contact Us: admin [ a t ] ucptt.com