大家好,最近遇到一个很困扰的问题
一般爬虫爬静态网页没什么问题
某些动态网页我也可以去观察他的Post或是get去截他资料
但我现在遇到一种网页是ajax data 绑进tab元件内
data部分有加密
他的tab内容需要点击去动态产生内容
跟bootstrap的tap相同
http://www.w3schools.com/bootstrap/bootstrap_ref_js_tab.asp
像这样的动态网页有建议的爬虫方法嘛
好烦恼阿@@....
看来看去就是找不到方法破解
谢谢大家
作者: bbgba1923 (Hardison) 2016-05-03 22:27:00
Watir
我用python+scrapy写的,watir看起来好像用不上@@
作者: lininu (声音控:P) 2016-05-05 13:31:00
.ppt.cc/S6LY7 JPTT网址推不出去==
因为ppt.cc早就被全站封锁了,你为啥不改用其他好一点的转址?像是 goo.gl 之类的就是 ma19.moe 都比 ppt.cc 好太多
作者: lininu (声音控:P) 2016-05-07 07:03:00
感谢mmis,我没有注意到这件事~
作者: ayhaadam (跳电跳电跳电) 2016-05-15 23:29:00
可以研究看看 PhantomJS 之前用他来爬过 agoda,他们也有类似的保护机制