[问题] 关于requests.get中的header hsiaoeddie PTT批踢踢实业坊

[问题] 关于requests.get中的header

楼主: hsiaoeddie (eddie) 2018-12-26 23:05:23

大家好，小妹我最近在学习爬虫的时候常常遇到requests.get()找不到全部的<tag>的情况。
Google了一下后发现是某些内容是需要在get中加入header才会跑出来。但问题就来了，我要怎么知道我要爬的区域的header是哪一部分？
有什么方法是可以由网页内容直接判定所属的header的吗？
求大家帮帮忙～感激不尽

作者: f496328mm (为什么会流泪) 2018-12-26 23:08:00

一律全加header，这才是好习惯

作者: s860134 (s860134) 2018-12-26 23:35:00

否　没有这种方法　完全看　server 撰写者高兴服务器我架的，想检查什么就检查什么，乖乖送就是唯一解

作者: nini200 (200妮妮) 2018-12-27 00:50:00

浏览器看的到 python抓不到大概就要加header了参考一下然后全加就妥妥的了

作者: TakiDog (多奇狗) 2018-12-27 08:49:00

浏览器送什么就仿什么，全仿下来快乐没烦恼

作者: hoho8 (hoho) 2018-12-27 15:46:00

服务器：我全都要

继续阅读

[问题] 在macbook上括号如何自动补全CK0201 [问题] 关于Dcard的爬虫批量下载图档liwei290341 [问题] keras LSTM typeerrorpig98520 [问题] 想请问流水号之生成写法mimick Re: [问题] not in 检查list元素会失败吗？abc2090614 Re: [问题] python 爬取pchome资料wsybu [问题] not in 检查list元素会失败吗？ofspring [问题] 请教爬虫bs4如何去除标签?nini200 Fw: [问卷] 台湾AI人才进修研究调查ohhahaha [问题] import requests请教vincent5425