[问题] 爬虫突然不能跑，求解 a199111222 PTT批踢踢实业坊

[问题] 爬虫突然不能跑，求解

楼主: a199111222 (oyeh) 2021-11-29 09:53:40

本来有写好爬
https://www.coingecko.com/en
每种加密货币的数据
之前都是把curl贴到自动转换python程式码的网页来使用，再把headers 删除一些不必要
的参数，
测试后留下Headers 的User-agent 就能爬
今天突然不能跑，看了一下网页好像也没更动，把参数都留下也不能爬
以上想问问题可能出在哪
谢谢各位
解法或原理比较复杂的话，能私讯我，酬劳可谈

作者: e23882 (呆呆要不要买降有) 2021-11-29 11:47:00

它们有用CAPTCHA，你改用selenium或是它免费额度的API吧

作者: kh555069 (yuan) 2021-11-29 14:10:00

可以试试 cloudscraper

作者: a28503662 (Ok Rocker) 2021-11-29 16:33:00

楼上正解

楼主: a199111222 (oyeh) 2021-11-29 19:35:00

感谢，我来试试

继续阅读

[问题] leetcode 2029 (Hard) 的问题VivianAnn [问题] 请问trace原始码问题nicha115 [问题] np.transpose的用法ruthertw [问题] 如何在chrome扩充得到检视元素？garlic774 [问题] selenium抓chrom开起的pdf网页元素抓不到DiamondAse [问题] Robot Framework的语法问题dreambegins [问题] django + apache print中文areyo [问题] 找出最长集合giuk0717 [问题] 如果让无间隔的连续字推得字典对应值？ajjj840569 [教学] 浏览器自动化工具 Playwright，用于网g919233