[问题] python取得html

楼主: aa12twtwaa (Tohka)   2016-12-11 21:01:39
各位大大我用urllib2抓取单个网页的html发现要2秒,请问是否有方法可以更快的抓取呢
?我整个程式就只有抓这个网页还可以用多线程???还是有什么lib可以更快
作者: kenduest (小州)   2016-12-11 21:21:00
抓哪个网页?是 internet 上面网页吗另外你是多次请求吗?还是只有一次请求而已若慢可能先确认一下是否是 dns 解析的问题都在同一台电脑上测试的?程式码测试,我这边花费时间截图:http://imgur.com/a/Bhm4c然后我看一下 lightnovel.cn 的授权 nameserver分别是 f1g1ns{1,2}.dnspod.net 主机其中第一台有问题,连线 dns query 要等至少2秒才回应所以你的问题与 python code 没关系,是对方的问题其实 f1g1ns1.dnspod.net 本身也多个 ip 纪录所以有几台回应特别慢就产生这个问题了
楼主: aa12twtwaa (Tohka)   2016-12-11 22:56:00
原来如此,谢谢你

Links booklink

Contact Us: admin [ a t ] ucptt.com