请问一下
再拿到 response 后用 tag 去找资料会失败
为什么我执行的时候很容易失败
https://i.imgur.com/xs0Hu1x.jpg
偶尔会成功
https://i.imgur.com/LF6VOjR.jpg
我 header 放
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36
(KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36'
请问有人有遇到过这样的问题吗?
我后来把 cookie 也全部加进去也没效 QQ

失败时，回传的资料是？

找看看有没有'recaptcha'的id,有的话就是机器人在挡爬google的所有动作最好是每5秒动一次比较安全如果recaptcha跳出来,可以休息10分钟后再来

回传的资料如果是找 tag 的话是没资料的(空的)请问是 recaptcha 的话要在哪里才能看的到呢?

用https://opendata.cwb.gov.tw/indexhttps://i.imgur.com/FlRV1Na.jpg另Google Custom Search API 也参考有API用API吧。爬东西很累人的

会有一个element的id叫做'recaptcha', 可以用bs4找

找到recaptcha也没用。破解不了的

一个人硬干是赢不过google那些工程师的

因为我是在练习，所以想说不去用 API 来抓资料看看还是说这样的练习其实是不需要的OAO我晚点去把回传资料找看看有没有 id 是 recaptcha 的

也不是这样说。因为看你已经正确抓到资料了，所以你的程式没问题。但你如果是要去对付reCaptcha这我试过没找到方法。所以你只能绕道。刚好这个有API那应该试着用其他方法取得资料，而不是和它硬干。https://i.imgur.com/PxU7cb6.jpg

通常google有api的东西就不要自己爬了 赢不了google工程师的

爬的内容你连续多抓几个分页频率一高就被档了

我有时候手动搜寻快一点都被挡了 何况爬虫

只有更新cookies还不够，IP时间等等都要调

工研院人工智能课程推荐https://reurl.cc/4RDRaK