我使用python3.2 urllib.request中的urlopen来抓网页
有些页面可以成功传回header的资讯( web = urlopen(url) )
但是我要取得body的时后却会timeout( HTTPResponse.read() )
原本我以为只会在urlopen中透过socket来取得资料
这个状况看起来是read的时候还会再透过网络抓一次资料
会这样想是因为我断掉网络连结就无法正常HTTPResponse.read()
不晓得这个理解是否正确？
假如这个理解没错，请问这样分两次网络存取vs一次下载全部资料
在流量及server端负载是否有差异？(一定会下载整个页面资料)
另外，urlopen可以完成, read()却会timeout除了档案过大是否还有其他可能？
目前最大的问题是无法在HTTPResponse.read()设定timeout
我也无法透过socket.setdefaulttimeout来改变timeout的时间
请问该如何解决这个问题？
谢谢