[问题] 瀑布式网页爬虫问题 superpaden PTT批踢踢实业坊

楼主: superpaden (趴瞪) 2021-02-02 01:02:29

请问各位30cm Ecup乡亲们:
小弟最近在爬虫使用selenium爬虫时出现了一点障碍，就是
当瀑布式网页下滑太多时，电脑的内存会炸开。目前的解决方法是在chrome options 添
加

作者: x94fujo6 2021-02-02 06:05:00

用JS删掉抓完资料的element?

作者: supremebboy (1234) 2021-02-02 09:07:00

用requests +bs4 爬

作者: ToastBen (吐司边) 2021-02-02 13:26:00

a大他可能要爬动态资料吧？

楼主: superpaden (趴瞪) 2021-02-02 14:57:00

对的我要爬动态资料

作者: aidansky0989 (alta) 2021-02-02 16:51:00

一样用requests爬，尽量不要用s

作者: vi000246 (Vi) 2021-02-02 17:31:00

用request吧

作者: supremebboy (1234) 2021-02-02 19:56:00

瀑布式大部分都是下拉时再发请求去拿资料去看开发者工具用requests 发出一样的请求

作者: taipoo (要成功要积极) 2021-02-03 04:15:00

用selenium爬虫很慢的

作者: TakiDog (多奇狗) 2021-02-03 22:49:00

你要懂网络，网络才会懂你，requests香喷喷，没极端反爬需求不要Selenium

继续阅读