我遇到一个网站，一进入就会prompt，提醒需要输入帐密，
我可以用selenium连上 https://username:[email protected]，
并取得我想要爬取的资料
但selenium实在太慢了，所以我想回归原本使用requests+lxml，
却无法使用 https://username:[email protected] 的方式登入，
会一直引发ConnectionError(err, request=request)
我想试着用requests.get(url,auth=(username,password))
也一样会引发ConnectionError
想请问像这类的网站是否可直接利用requests登入？
谢谢

当然可以

因为没有具体范例 无法给建议

了解，谢谢

一个网站.....到底哪一个网站 这是请鬼拿药单吗？

这大概basic auth才会出现的连线方式，我也回当然可以，也不算资讯不足啦

用 selenium 发的请求是会带浏览器 header 跟 cookie 或有些表单需要的 csrf token等等 所以可以成功 建议你可以观察登入时带了哪些参数 以及开f12看登入方式是走 post back 还是 jwt或其他 都了解清楚后再想办法用 request模拟另外登入通常是用 HTTP POST 不是 GET