[问题] AJAX网络爬虫

楼主: stanleychao   2019-05-31 22:57:30
之前都是用scrapy搭配selenium爬虫,不过遇到动态网页就会慢很多
最近爬文得知可以用AJAX方式去把所需要资料读出来,不过无法跟网络教学一样读出json格式
以下是我要资料流程
EX:
import requests
import json
url = 'https://fb.oddsportal.com/feed/match/1-6-E5R55yD8-3-1-yj4d1.dat'
response = requests.get(url)
response.text
问题就如下打response.text时会出现以下,而不是像chrome工具显示后面还有一大串json
"globals.jsonpCallback('/feed/match/1-6-E5R55yD8-3-1-yj4d1.dat', {'e':'404'});"
请问这是为什么呢?
谢谢
作者: q79236 (昕翔)   2019-06-01 01:19:00
试试看把header设定的跟google chrome一样看看
作者: a11780922 (萝卜特务)   2019-06-01 20:03:00
header 要给参数
作者: utdsml (阿边肥)   2019-06-11 11:58:00
scrapy可以用splash处理AJAX

Links booklink

Contact Us: admin [ a t ] ucptt.com