想请教版上高手
https://www.twse.com.tw/exchangeReport/MI_INDEX?response=csv&date=20201008&type=ALLBUT0999
这个网址我用chrome可以成功下载一个csv
但是我用python下载这个csv会失败(之前python可以下载成功,不晓得为何最近开始
都没办法下载)
失败讯息如下
[WinError 10054] 远端主机已强制关闭一个现存的连线。
我目前的code如下
import urllib
import urllib.parse
import urllib.request
import urllib.error
url="
https://www.twse.com.tw/exchangeReport/MI_INDEX?response=csv&date=20201008&type=ALLBUT0999"
user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36
(KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36"
headers = {'User-Agent': user_agent}
request = urllib.request.Request(url,None,headers)
response = urllib.request.urlopen(request)
有人知道要怎么修改吗
谢谢

你的爬虫被侦测到了，可能是cookies或是ip等其他方式

我程式应该没有开cookie

短时间 request 太多次会被挡

好久没见这包

用requests吧 简单的多

请用sleep

感觉中华电信固网ip被地图砲黑名单大概有人没写sleep又出包狂retry

没写sleep比较好，一直睡爬太慢

我没有短时间request太多次 只有一次就失败应该也跟sleep没有关西 还有别的方法吗

我说的是可能别人出包导致你用的浮动ip也被锁定掉了没写sleep求快就等著被特定出来放黑名单啊自动化之后爬得慢也是背景再爬，存到db去要用再读取就好

我觉得好像不是ip被锁 因为chrome可以连得上这个网址

看一下状态码

('Connection aborted.', ConnectionResetError(10054,'远端主机已强制关闭一个现存的连线。', None, 10054, N

每次请求ip都随机拿的并不会被黑单，就算被黑也无所谓

one))我现在程式只有一行

https://github.com/FinMind/FinMind分享我做的台股open data，有api可以直接call，发request就好，不用再自己爬虫

感谢f大的数据库

f大的数据库很棒，连外国的也有整理，感谢

先用 tracert 指令测试 www.twse.com.tw 看看。关掉 ipv6 试试看，中华电信固网 用 ipv6 连 twse 会不稳定。

chrome可以成功执行这个网址 所以我觉得应该不是ip被挡的问题有人可以用python成功request我文章里面的url网址吗

诶我试了一下，真的是chrome可以开但不能requests然后真的ipv6关掉之后就正常mickyang大好神，这种情况要怎么辨认出来呀？怎样才能知道是ipv6造成这种问题的？真的诚心问tracert下去看到有异状但没有想过改回ipv4会正常启用ipv6之后在code里面force ipv4也可以动

感谢mickyang大 所以好像是chrome默认会用ipv4的样子关掉ipv6问题就都解决了 超强我的爬虫活过来了XDmickyang已经把答案讲出来了 我还在鬼打墙真的太蠢