[问题] selenium有时会突然卡很久

楼主: Federer5566 (费德勒5566)   2021-12-22 19:08:03
各位前辈好
最近刚开始试着用python去跑一些工作
大致上就是代替我在公司的某个网站上进行一些重复性操作
google看最多人推荐的似乎是selenium
所以就用selenium + vs code写了一支程式
跑起来大致上都还顺畅,但有时会卡卡的
譬如跑100个循环,可能其中80个都很顺但会有20个循环卡很久
卡的地方都是在执行某个javascript之后(网站用一堆javascript)
要把driver转进我目标框架的这一行(网站有好几层框架)
也就是driver.switch_to.frame()这个函式,大约会卡个十几秒
卡关的时候,目测网页元件都早已加载完成了,但程式就是不会往下继续跑
有开WINDOWS的工作管理员来看,cpu跟内存都没有超载
浏览器(CHROME)也没有占用特别多资源
很头大...
不知道各位前辈有没有处理过的经验?
作者: TakiDog (多奇狗)   2021-12-22 19:29:00
不要用selenium 除非requests解决不了
楼主: Federer5566 (费德勒5566)   2021-12-22 20:32:00
撠绗뢍韏瘀벌œ飞python嚗缰ꮋ鸺equest銋蔃泾?隢鲳闰request銋蔃泾猟ꆆ嗉ㄐ栋髠镼踹鞎?请问request也能抓框架里的东西吗?
作者: TakiDog (多奇狗)   2021-12-22 20:58:00
建议了解网络封包(http) 还有了解浏览器渲染一定都抓的到资料
作者: g919233 (Jia)   2021-12-22 23:13:00
同楼上,requests抓的到,只是看网站的防爬虫做的怎样
作者: niceguy (niceguy)   2021-12-23 08:10:00
可以用requests-html,渲染后再解析
作者: single4565 (leekdumpling韭菜水饺)   2021-12-23 17:19:00
你是写整合测试吗?还是只是为了爬虫?

Links booklink

Contact Us: admin [ a t ] ucptt.com