[问题] python response 问题 fordpines PTT批踢踢实业坊

[问题] python response 问题

楼主: fordpines (阿福) 2018-03-08 20:20:11

http://crdd.osdd.net/raghava/lbtope/vrindex/index.php?ran=42052
最近在做网页的爬虫
上传资料到form的已经另外写好了问题是不管什么时候点进结果页(上面的网址)他都会先跑
loading 的gif再刷新到有结果的那个页面(会有标示百分比的那个)
我有试着送出request以后让他等一下收回response 但还是只有读到gif的页面
https://imgur.com/Mi4E6Yh
请问乡民有什么方法可以让他读到结果页呢?
另外在另一个地方问回答的人说她改user-agent就可以拿到但我用了两个方法都不行啊...
https://imgur.com/AeUwT1h

作者: s860134 (s860134) 2018-03-10 00:52:00

不熟悉爬虫抓网业流程吧，先把 F12 打开重新整理网页可以发现其实这个页面总共要了两次页面https://imgur.com/CMKKe0f所以你加什么 header 都没有用拉，因为 url 是错的index.php (X) lbtope.php(O)

作者: fiorentino (眠) 2018-03-10 09:46:00

Good

作者: AlaRduTP (Eden) 2018-03-10 15:54:00

呃显示结果的网址和你给的网址不是不一样吗

楼主: fordpines (阿福) 2018-03-12 14:33:00

谢谢s86大

继续阅读

Re: [闲聊] 菜鸟上Kaggle: 房价预测pipidog 用Django 开发像ptt的赌盘游戏a5170040 [问题] jupyter无法正常安装jaaaagyyyy [问题] python 有什么偏架构的书？aaaba [问题] ubuntu windows之间txt换行问题windisbig [问题] django+heroku 后台数据库错误HybridSC Re: [闲聊] 菜鸟上Kaggle: 房价预测pipidog [问题] 关于一个setup.py的build错误hatemath1991 Re: [资讯] 大陆(python大全)教学资源levelone [问题] 抓取指定颜色的像素座标RX480