[问题] 在目标高负载下的请求失败问题

楼主: touge (峠)   2021-05-10 11:12:00
最近在写一个类似抢票的程式..
但在实际使用的时候遇到一个问题
我有设置max_retries次数
session.mount('http://', HTTPAdapter(max_retries=20))
session.mount('https://', HTTPAdapter(max_retries=20))
然后在post和get设置timeout=3
我进行一些网址测试的时候,以时间来看也确实retry了20次
(timeout=3 *retry20 =60秒)
不过在使用的时候(这时候目标服务器很不稳定,因申请人数众多),
timeout以后,似乎并没有自己继续retry,
而是直接停掉。
异常讯息如下...
requests.exceptions.ConnectTimeout:
HTTPConnectionPool(host='www.*******.com', port=80): Max retries exceeded
with url: /*****.php? (Caused by
ConnectTimeoutError(<urllib3.connection.HTTPConnection object at
0x000001FE9C64E5B0>, 'Connection to www.******.com timed out. (connect
timeout=3)'))
在目标低负载的时候很正常跑完
请问有人遇过类似情况吗
谢谢
楼主: touge (峠)   2021-05-10 16:33:00
刚刚又试了一下,即使网络没有问题,maxretries似乎有时候会按照设定max执行 有时候直接跳出 不知为何..
作者: poototo (poototo)   2021-05-10 19:11:00
看哪些回应的status code会触发Retry
楼主: touge (峠)   2021-05-11 00:53:00
自问自答一下..在对方服务器忙碌完全无回应的状况下..设定timeout不会有作用(即使timeout=Xs ,会直接结束请求)保险作法还是要比对status code 作try重新跑请求
作者: TakiDog (多奇狗)   2021-05-12 10:13:00
其实wrk(lua) or 用golang写更好,python当测试
作者: slv922 (詹姆士)   2021-05-14 03:11:00
要用 threading 并设置 timeout,除了可以解决你原本的问题还可以加快抢票的速度XD楼上大大建议更棒, 用 golang 一下就解掉你的需求了

Links booklink

Contact Us: admin [ a t ] ucptt.com