[问题] 爬虫部署到Heroku后请求失败

楼主: gene50814 (genechen)   2022-08-18 23:10:23
各位大大好
小弟有一个爬印度证交所(https://www.nseindia.com/) 网站的需求。
在local端写好执行都没问题,但部署到heroku之后连单纯的requests get都没办法。
请求送出之后不是会return失败的status code,而是会执行非常久都不会结束
之前在local端测试的时候是如果没有加user-agent会发生这种问题,但部署到heroku上
的程式是有加的
想请教如果要能在heroku上正常运行可以怎么调整? 不知道会不会是跟国家有关? hero
ku上的国家似乎只有US跟EU。会是需要调整user-agent吗?
请大大们指点迷津了 感谢
楼主: gene50814 (genechen)   2022-08-19 10:16:00
看起来就是网站把云端server都挡掉了 似乎无解
作者: shihs (shih)   2022-08-24 20:16:00
很多网站都会挡 heroku 发出的 request

Links booklink

Contact Us: admin [ a t ] ucptt.com