[问题] Django多worker爬虫如何做shared memory Minarai PTT批踢踢实业坊

楼主: Minarai (米拿雷) 2019-03-10 16:33:33

我目前在使用Django celery multiple worker做爬虫
shared memory的部分使用cache & db
但如果遇到requests session 或 socket连线
就无法使用cache了
变成每个worker都要登入一次
有什么建议的方法吗
感谢指导!

作者: kenduest (小州) 2019-03-10 19:22:00

requests 的 session 你可以存起来后续加载使用就好

作者: f496328mm (为什么会流泪) 2019-03-10 22:01:00

我用 rabbitmq + celery，云端架 workerworker 一个月5镁，可以开很多个，蛮便宜的

作者: TakiDog (多奇狗) 2019-03-10 22:22:00

存session/存cookie

继续阅读