[问题] 如何parse有infinite scroll的页面?

楼主: alich (阿力取)   2014-04-30 22:58:15
最近用node在parse一些网页,
可是不知道该如何处理有infinite scroll的页面阿QQ
现在应该有两个问题:
(1) 要trigger scroll,让更多的资料显示出来;那就是要send一个ajax request
给要parse的那个页面吧,可是... 该怎么做?
(2) infinite scroll后来被trigger出来的资料可以在f12的DOM tree里面找到,
可是parser抓到的html是来自 右键 -> 检视原始码阿,
这样就算我可以trigger scroll还是没办法抓到更多资料ˊˋ
有没有方法可以抓到f12里面的DOM tree ?
想请问各位大师有什么建议~~ 谢谢~~~
作者: danny8376 (钓到一只猴子@_@)   2014-05-01 00:56:00
非通解就是对该网站研究他的ajax资料通解请自己弄出JS解释器(然后你就变Google了)
作者: Fantasywind (Fantasywind)   2014-05-01 01:52:00
phantomjs
作者: Rplus (R+) (9527)   2014-05-01 07:19:00
phantomjs XDD

Links booklink

Contact Us: admin [ a t ] ucptt.com