[请益] file函数来读网页的问题

楼主: poeta (键盘诗人)   2018-05-13 11:50:59
写了一个小程式读网页的原始码并分析时,遇到一个问题,
就是用浏览器开某网址,是正常的。
但用php程式去读那个网址,程式读出来的网页,和我看的不同。
例如:https://goo.gl/T6BcEx
(我在程式是没缩网址的 只是在ptt网址超过一行才缩)
我想要读出这本书的“责任者”、“版本”。
但是用file()函数去读网址,却读不到这些东西,该显示的地方,变成
元数据展现,元数据展现 暂时无法取用。
可能是网址里的函数没有读进去吧!该怎么解决?
01 $http="https://goo.gl/T6BcEx";
02 $buffer = file($http);
03 for($i=0;$i<sizeof($buffer);$i++)
04 echo $buffer[$i]."<BR>";
作者: dalconan (寒江雪)   2018-05-13 16:19:00
改用curl的方式试试看
作者: l3161316 (口水)   2018-05-13 22:47:00
就是有做反爬虫 你先用postman测到跟网页一样正常显示吧
楼主: poeta (键盘诗人)   2018-05-13 23:23:00
我也有用curl试过,也是一样。不过现在问题解决了,我看到很多人爬网页都有加这一行:curl_setopt($ch, CURLOPT_USERAGENT, "Google Bot");我加上去,网页就爬到了....好神奇
作者: my1938 (不知道该说什么)   2018-05-14 12:13:00
应该是对方的网站有检查user agent,像我的服务器只要request档头没有user agent就会挡

Links booklink

Contact Us: admin [ a t ] ucptt.com