[问题] 爬虫突然挂掉

楼主: loser113 (洨大鲁蛇ㄍ)   2021-02-04 09:30:07
工具:
python 3.8
selenium
webdriver.Chrome()
情况:
开多个 console 爬同个网站不同页面
今天早上看发现有些挂掉 几乎都是同个时间 但有些还是继续爬
程式码都依样 页面不同
错误地方都不太一样
driver.refresh() 比较多
错误原因
NoSuchWindowException: no such window: window was already closed
(Session info: chrome=87.0.4280.141)
尝试输入指令
driver
Out[23]: <selenium.webdriver.chrome.webdriver.WebDriver
(session="98fcf588b7cc41cca659c46b9e35424b")>
driver.window_handles
Out[26]: []
driver.page_source
NoSuchWindowException: no such window: target window already closed
from unknown error: web view not found
(Session info: chrome=87.0.4280.141)
找不到头绪怎么解
打 driver 仍然有讯信
但是执行一些动作就错误
因为有些其他程式还在执行 没有中断
想问看有没有写法可以避免
作者: stillcolor (鬼艾伦)   2021-02-04 10:08:00
是不是因为fail就关闭browser啦?资讯有点少欸~
楼主: loser113 (洨大鲁蛇ㄍ)   2021-02-04 10:28:00
Chrome 跟页面都在页面是空白
作者: taipoo (要成功要积极)   2021-02-04 12:00:00
你是不是触发网页的反爬虫机制,且你爬的是什么网页呢?
作者: vi000246 (Vi)   2021-02-04 13:24:00
我猜是楼上讲的吧 过一天再试试看
作者: stillcolor (鬼艾伦)   2021-02-04 14:21:00
页面都空白的话,应该不是selenium的问题吧直觉也是4F讲的那样
作者: liton (欧吉桑留学生)   2021-02-04 14:26:00
找个免费的爬虫软件批量爬看看会不会被挡
楼主: loser113 (洨大鲁蛇ㄍ)   2021-02-04 14:46:00
反爬就不得而知 像 google 还有要你选图因为同个网站 前一个月没有这种问题 这个月多放个几个帐号去爬 目前找到解法是多写个sleep在动作
作者: liton (欧吉桑留学生)   2021-02-04 16:42:00
网站三不五时改个页面就能搞死你了
作者: koshi0413 (Koshi)   2021-02-04 21:04:00
你一次多只爬同一个网页,是不是IP被侦测到
作者: fiorentino (眠)   2021-02-04 21:53:00
有可能你爬的那个网页内容就是不存在你打开浏览器直接贴上那个网址就知道是不是这个原因
作者: chickengod (鸡大侠)   2021-02-05 02:30:00
https://stackoverflow.com/questions/61683881/有人提到可能是网页开了新视窗 然后关了原本的导致handle指向一个已经关闭的视窗解法有可能是这个https://stackoverflow.com/questions/51775122指向一个新的视窗 忽略以下exceptionNoSuchWindowException, NoSuchElementException
作者: taipoo (要成功要积极)   2021-02-05 04:36:00
楼上说得也很有可能会发生的
作者: stillcolor (鬼艾伦)   2021-02-05 14:25:00
话说你空白网页,有带入url吗?
楼主: loser113 (洨大鲁蛇ㄍ)   2021-02-05 14:46:00
有 就是要爬的那页网址
作者: stillcolor (鬼艾伦)   2021-02-05 16:53:00
会不会是browser memory leak就被砍掉了?我好像碰过

Links booklink

Contact Us: admin [ a t ] ucptt.com