[问题] 机票网站爬虫问题

楼主: haru97724 (haruru)   2018-05-26 17:16:43
大家安安~~
我最近开始学python,想要爬机票的资料
因为不是资工相关科系的学生,所以我目前都是看网络上的教学学的
我目前是用selenium爬ctrip的网站
https://www.ctrip.com.hk/flights/
按下搜寻后,在检查的network那边会有机票的资料被存在SearchFlights的XHR里面
这里会有两个都是叫SearchFlights的XHR
有一个是一开始就有,但他只有头几笔资料
另一个要等一阵子,这个才有全部资料
http://i.imgur.com/VrVUUB5.jpg
我用selenium打开之后,对他requests.post
因为request的url都一样,所以出来都只给我头几笔资料的那个
在他请求的参数里面是有seaechToken不一样
但改了之后,回给我的资料还是只有头几笔
所以想问各位大大,遇到这种会延迟的该怎么爬??
有没有办法让他回传所有机票资料
因为让他sleep也没用...
不好意思,麻烦大家了
・゚・(。>Д<。)・゚・
・゚・(。>Д<。)・゚・
作者: tlaceruse   2018-05-27 10:07:00
两阶段post的参数一样吗
作者: TakiDog (多奇狗)   2018-05-27 17:18:00
档案要等,会在网页元素中出现就写个循环等元素加载完,或是考虑纯封包别用selenium搞不好简单的多

Links booklink

Contact Us: admin [ a t ] ucptt.com