[闲聊] selenium大师请进 Rushia PTT批踢踢实业坊

[闲聊] selenium大师请进

楼主: Rushia (みけねこ的鼻屎) 2023-01-10 16:40:58

https://www.scbeasy.com/v1.4/site/presignon/index_en.asp
这家垃圾银行用selenium headless模式的ChromeDriver访问
网页的元素都会抓不到或死图欸但是用不是headless模式就正常
有人遇过这种情况吗有人知道这是啥问题我给你一万p 谢谢谢谢喔

作者: lopp54321010 (嘻嘻010) 2023-01-10 16:45:00

screenshot看看ㄚ

楼主: Rushia (みけねこ的鼻屎) 2023-01-10 16:47:00

https://i.imgur.com/obef0J2.png

作者: kerycheng (kk) 2023-01-10 16:56:00

你要抓什么元素?

楼主: Rushia (みけねこ的鼻屎) 2023-01-10 16:57:00

我要抓的元素登入之后才有捏登入完只会显示这张图

作者: kerycheng (kk) 2023-01-10 16:57:00

靠北，这个网页好猛喔一堆文字都是图片所以你是要先抓网页的元素去做爬虫帐号登入吗?

楼主: Rushia (みけねこ的鼻屎) 2023-01-10 17:01:00

我登入成功的跳转有问题+了headless之后就跳403

作者: kerycheng (kk) 2023-01-10 17:01:00

所以是爬虫登入完又回到登入前的页面?

楼主: Rushia (みけねこ的鼻屎) 2023-01-10 17:03:00

看起来比较像错误页面怪怪的点是不加headless就可以加载https://i.imgur.com/qM4RO9R.png 登入完长这样

作者: kerycheng (kk) 2023-01-10 17:04:00

应该是网页会去做反爬虫校验用headless会遇上这个问题

楼主: Rushia (みけねこ的鼻屎) 2023-01-10 17:05:00

就不知道怎么绕过麻烦

作者: kerycheng (kk) 2023-01-10 17:06:00

你有用user-agent吗

楼主: Rushia (みけねこ的鼻屎) 2023-01-10 17:10:00

有阿不过有时候会跳出叫我打验证码的页面= =

作者: kerycheng (kk) 2023-01-10 17:14:00

那估计没办法了你只能查查看有没有方法绕验证码

楼主: Rushia (みけねこ的鼻屎) 2023-01-10 17:15:00

验证码只能直接用第三方的API解惹但是很贵他到底怎么侦测的太难惹= =

作者: kerycheng (kk) 2023-01-10 17:20:00

不然就是你user-agant要一个一个元素去加看反爬虫是根据哪个去判断的欸不对user-agent只有一个我把其他元素搞混了

继续阅读

Re: [取暖] 线虫为啥这么爱尻洗leopika [闲聊] 不好笑笑话gggiantguy [边缘] 调高额度....好难ChrisDavis Re: rrraaayyy: 你有30万的耳机paul1951 耳机EMANON231 [瓦特] 昨天的en狗阿公a5WaGyu Re: [闲聊] 我租了一部A片大家要围在一起打手枪吗mayolane Re: [闲聊] 支持民进党的板友请进better83214 Re: [闲聊] 支持民进党的板友请进cloudlaba [闲聊] 泰国抓龙精sole772pk37