目前的专案是需要对多个网站抓数据下来
有将httpwebrequest包成一个方法,并使用多线程去跑
方法最后有将request abort以及response close还有设定为null
方法最前有GC.Collect();
request的keep-alive设定为false
ServicePointManager.DefaultConnectionLimit设定为512
十多个网站中,有两个常会出现逾时,其他网站不会
软件单独对这两个网站取数据不会出现
同时对十多个网站抓取数据才会发生
每个网站各自的抓取间隔皆为2秒
原本想说是不是网站本身问题,但是不全部一起抓就不会发生逾时
想请问板上前辈,还有什么问题是可能造成这样的状况发生?
感谢