最近练习爬资料时,
在爬虾皮发现返回的资料量很少且
爬到100笔左右数据以后会返回虚假
资料。
尝试过消除浏览器cookie:
1.模拟常人访问时间
import time
import random
time. sleep(random.randint(1,9))
2.固定状态更新cookies, 用requests. cookies. get_dict(),观察发现更新后的cookie
跟我定义的cookie字典不同,在想是否有session Id留在虾皮服务器记录session
import requests
session=requests.session()
params={}
cookie_dict={}
headers={}
session. cookies. update(cookie_dict)
session. get(url,cookies=cookie_dict,
params=params,headers=headers)
3.proxies={"http":"代理ip","https":"代理ip"}
请求头加入proxies=proxies
1,2试过无效,3每次用都404断线,想请问版上高手的建议,谢谢!