[问题] 爬虫遇到一个不能用的网址

楼主: s4028600 (佑)   2019-11-13 10:01:30
这两个网址都能在浏览器中观看
res=requests.get("http://www.dm5.com/manhua-gaoda-turn-a/")
print(res.text)
这个网址能跑出我要的资料
但是
res=requests.get("http://www.dm5.com/manhua-gaoda-origin/")
print(res.text)
这个却会出现访问页面不存在的问题
搞不懂问题出在哪里
试过用User-Agent来模拟浏览器
不过还是一样访问页面不存在
明明浏览器是正常的...
作者: coeric ( )   2019-11-13 10:45:00
因为它检查的不是User-Agent阿.....
楼主: s4028600 (佑)   2019-11-13 10:53:00
呃 那要怎么办 我连他检查什么都不知道
作者: hoho8 (hoho)   2019-11-13 13:03:00
试了一下,以为是cookies中的 “isAdult=1”在搞鬼结果不是,将headers试到剩下最后一句就能读了'Accept-Language': 'zh-TW,zh;q=0.9,en-US;q=0.8,en;....'为什么是这句?!,真奇怪 @@
作者: coeric ( )   2019-11-13 13:26:00
楼上 XDDDDD
作者: vi000246 (Vi)   2019-11-13 13:31:00
真奇怪 明明一样的网页 一个正常 另一个不能读
作者: hoho8 (hoho)   2019-11-13 13:41:00
因为一个有18禁,可是keypoint却又不是cookie isAdult上
楼主: s4028600 (佑)   2019-11-13 14:00:00
什么意思? 有谁解释一下吗?行了...但这句是什么意思 为什么会说为什么是这句?原来是在f12里面的东西 所以是伪装不够彻底的原因 因为只听说伪装浏览器就好了...
作者: s860134 (s860134)   2019-11-13 19:44:00
该送啥就送啥 最好跟浏览器一致

Links booklink

Contact Us: admin [ a t ] ucptt.com