[问题] 爬虫下载影片 愈到权限问题

楼主: neiltsang (CatLulu)   2020-06-29 03:41:51
如题目
我在下载某公开课的影片 基本上网站原始码就可以看到url了
格式.mp4清清楚楚
不过后面会用"?"来加上一串字符 当作辨认权限
ex:
mp4.?e=1593381585&ri=1024&rs=85&h=d70001afb7cc65a247c2af14c1a242dc'
而小弟本人使用以下方法来下载影片 :
import requests
import shutil
def download_file(url):
local_filename = url.split('/')[-1]
with requests.get(url, stream=True) as r:
with open(local_filename, 'wb') as f:
shutil.copyfileobj(r.raw, f)
return local_filename
除非影片本身纯粹是.mp4 否则加上?后一串似乎就无法requests
成为Invalid argument 想请问各位该如何解决?
作者: TakiDog (多奇狗)   2020-06-29 04:13:00
去观察是不是需要携带header or cookie吧
楼主: neiltsang (CatLulu)   2020-06-29 14:19:00
我有加了 不是这个问题 主要是网站后面要加一串码 但加了不知道该怎么下载
作者: kenduest (小州)   2020-06-29 14:50:00
若只是纯 url, 你开无痕浏览模式浏览器贴上去是否可下载
作者: alvinlin (林矜业)   2020-06-29 16:07:00
作者: salmon12706 (Ellen)   2020-06-29 16:13:00
工研院人工智能课程推荐https://reurl.cc/4RDRaK
作者: TakiDog (多奇狗)   2020-06-29 16:41:00
你requests url有query string他也会一起送,爬虫要模仿整个浏览器,先跟k大说的你用无痕看能不能载你贴的function中requests也不是session 你试试看吧
作者: alvinlin (林矜业)   2020-06-29 17:31:00
和无 没关系吧无痕*
作者: TakiDog (多奇狗)   2020-06-30 03:46:00
用无痕可以快速排除是不是会检查cookie
作者: vi000246 (Vi)   2020-06-30 11:04:00
其实你用无痕贴上mp4 url就能知道是哪边问题了
作者: alvinlin (林矜业)   2020-07-01 13:23:00
我看解释是无痕会"自动移除"cookie,不是检查.纯讨论非战

Links booklink

Contact Us: admin [ a t ] ucptt.com