[问题] 爬虫遇到一个不能用的网址 s4028600 PTT批踢踢实业坊

[问题] 爬虫遇到一个不能用的网址

楼主: s4028600 (ä½‘) 2019-11-13 10:01:30

这两个网址都能在浏览器中观看
res=requests.get("http://www.dm5.com/manhua-gaoda-turn-a/")
print(res.text)
这个网址能跑出我要的资料
但是
res=requests.get("http://www.dm5.com/manhua-gaoda-origin/")
print(res.text)
这个却会出现访问页面不存在的问题
搞不懂问题出在哪里
试过用User-Agent来模拟浏览器
不过还是一样访问页面不存在
明明浏览器是正常的...

作者: coeric ( ) 2019-11-13 10:45:00

因为它检查的不是User-Agent阿.....

楼主: s4028600 (ä½‘) 2019-11-13 10:53:00

呃那要怎么办我连他检查什么都不知道

作者: hoho8 (hoho) 2019-11-13 13:03:00

试了一下，以为是cookies中的 “isAdult=1”在搞鬼结果不是，将headers试到剩下最后一句就能读了'Accept-Language': 'zh-TW,zh;q=0.9,en-US;q=0.8,en;....'为什么是这句?!，真奇怪 @@

作者: coeric ( ) 2019-11-13 13:26:00

楼上 XDDDDD

作者: vi000246 (Vi) 2019-11-13 13:31:00

真奇怪明明一样的网页一个正常另一个不能读

作者: hoho8 (hoho) 2019-11-13 13:41:00

因为一个有18禁，可是keypoint却又不是cookie isAdult上

楼主: s4028600 (ä½‘) 2019-11-13 14:00:00

什么意思？有谁解释一下吗？行了...但这句是什么意思为什么会说为什么是这句？原来是在f12里面的东西所以是伪装不够彻底的原因因为只听说伪装浏览器就好了...

作者: s860134 (s860134) 2019-11-13 19:44:00

该送啥就送啥最好跟浏览器一致

继续阅读

[问题] 请问初学者看"王者归来"需要看最新版的吗wangks [问题] 如何在EXE档被关闭时做清理动作XperiaZ6C [心得] 让Spyder有真正的暗色主题brad0315 [问题] list问题chenbigdog [问题] request.get()无效?e12518166339 [问题] 关于NN之准确度无法上去oo855050 [问题] 安装darkflow问题ctr1 [问题] Python关闭网页tabDminor [问题] 如何将文件写出后写入s4028600 [问题] list问题chenbigdog