[问题] 新手问爬虫 换分页但网址不变的情形(done)

楼主: relievezaoc (Nine9)   2016-06-10 18:55:37
连假来学爬虫~XD"
问题超级新手...麻烦喂我关键字+鞭小力一点~谢谢!
====
我有6个地区 每个区域有不同的地点
从html里可以看到不同区域内,里头的地点有不同的value
目前我想做的事是“把不同地区的每个地点都爬出来”
爬了一些文章
像这种类似“下一页”的概念,大概知道关键点是“找到网址规律”
遇到的问题是 不同的6个地区 该网站是用下拉选单做的
切换选单内的地区 并不会让网址改变 囧
研究了他的html 切换不同的区域只会让 <option select>改变而已
这样我就不知道如何去取区域内 不同地点的value了@_@|||
请问在网址不变的情况下 我应该怎么去爬虫呢?
谢谢!
作者: MOONY135 (谈无欲)   2016-06-10 19:02:00
切换地区之后 过几秒值改变的意思吗?那就先研究看看怎样抓到下拉选单的值 然后每切换完选单之后过几秒再爬一次该网址应该就可以了吧
作者: ssdoz2sk (眷恋着提拉米苏的风采~)   2016-06-10 19:29:00
这种下拉式选单我碰过的有两种,一种是藏在html或JS中一种是利用AJAX的方式跟Server要取资料,所以可以看看开发人员选项网络监控,看看有没有跟Server交换资讯
作者: blc (Anemos)   2016-06-10 21:06:00
js抓onclick去改form选项
作者: ripple0129 (perry tsai)   2016-06-10 21:28:00
看网页原始码有无array已预藏资料,没有的话就是ajax跟server要的,那就是直接send http request拿json或xml回来。
作者: MOONY135 (谈无欲)   2016-06-10 22:38:00
改下拉选单之后 TIMESLEEP(20) 等刷新然后再跑一次这个网址不就是再抓一次了吗?

Links booklink

Contact Us: admin [ a t ] ucptt.com