Re: [问题] 实做上如何追踪JS(ajax)敲后台的细节

楼主: Neisseria (Neisseria)   2016-04-01 12:39:27
※ 引述《marksam (炸桥)》之铭言:
: 小弟目前在研究用PHP cURL 抓一个网站的资料
: 已知这个网站有用到ajax 还有youtube API
: 想请教大家
: 在实做上 怎么去追踪 JS码的细节(用眼睛看实在太累了)
: 有没有什么好工具呢? 怎么使用? 万一牵涉到API该怎么办?
: 在我的概念上 ajax是从前端JS下指令去后台的一个档案要资料
: 那我就必须找到:
: 1.那个后台档案是什么X
: 2.从cURL直接去敲X
: 3.得到回传的JSON
: 或是 直接从网站原始码中挖到 JSON
: 在实做上要怎么去从原始网站中得到这个 回传JSON
: 请大家指正 给个方向好吗? 还是我的观念上有什么漏洞呢?
: 感谢~~
如果那个网站本身有提供 API,那就用 API,这是最简单的方式
如果没有 API 可用的话,再写爬虫去爬
对于没有用 JavaScript 动态生成网页的站台
可能就用 HTTP action 取得网页
像是用 GET 或 POST 或其他 HTTP action,可能适度配上参数
如果有用 JavaScript 产生页面的站台
就用一些 web automation 的工具,模拟执行网页的动作
我知道的有 PhantomJS 和 Selenium 两种
可能要找一下在 PHP 下的可行方案,小弟比较没在用 PHP
Good luck~
作者: marksam (炸桥)   2016-04-03 23:53:00
感谢您~ 我会去试试找看看!

Links booklink

Contact Us: admin [ a t ] ucptt.com