[问题] 爬虫 csrf 怎么获得?

楼主: a199111222 (oyeh)   2021-07-20 19:21:54
网页为以下
https://www.barchart.com/stocks/quotes/AMD/put-call-ratios
Cookies内的xsrf-token每天都会变
不知道有没有办法用python抓出来
试了以下方法都失败
1. 从网页内直接找是不是有藏token的数值,但没有
2. 直接不带cookies直接抓网页,并拿回传的cookies,还是失败
暂时不考虑用python的网页去抓(太多资料应该会抓不完)
不知道有没有人处理过类似的问题
谢谢
作者: ckc1ark (伪物)   2021-07-20 20:35:00
在put-call-ratios response的set-cookie找看看
楼主: a199111222 (oyeh)   2021-07-20 23:54:00
请问c大有没有清楚一点的说明,菜鸡不是很懂...
作者: ckc1ark (伪物)   2021-07-21 02:33:00
https://reqbin.com/c-uzaayddu 看headers的部分是藏在response header不是在body
楼主: a199111222 (oyeh)   2021-07-21 10:29:00
https://i.imgur.com/FVlUNns.jpg如果用get 去这网页确实会得到后来request的csrf,不过我把这网页的curl转换成python语法后,回应的headers和图片上的不一样...,如果很复杂可以站内我,酬劳可成功了,原来curl等于不同使用者,所以回应的header也会不一样,把回应的再拿去post拿到的资料是正确的,谢谢c大
作者: aidansky0989 (alta)   2021-07-21 12:38:00
Form表单元素看一下通常会有

Links booklink

Contact Us: admin [ a t ] ucptt.com