[问题] 爬虫如何做到多进程异步处理 surimodo PTT批踢踢实业坊

[问题] 爬虫如何做到多进程异步处理

楼主: surimodo (好吃棉花糖) 2022-10-05 10:48:08

模拟程式码大概这样
https://pastebin.com/Ty672dLY
先创进程池
然后在里面跑任务
不过是跑不动的
要移除第八行 async 跟第十四行的 await
才能跑(而且就算移除有机率会卡死)
但移除后
其实只是加一堆冗余程式码跑同步处理没有异步处理
我哪里需要修改
才能在单一进程里面执行异步处理

作者: lycantrope (阿宽) 2022-10-05 11:06:00

你搞混concurrent跟async

作者: timsheu (为道日损) 2022-10-05 15:23:00

没仔细看你其它部份，但你的do_stuff里面的sleep不能用time.sleep，得改用 await asyncio.sleep

作者: cocoaswifty (coco) 2022-10-05 18:17:00

43行加个tab

作者: lycantrope (阿宽) 2022-10-06 08:41:00

是44行多个tab吧 async内用time.sleep就会停住所有coroutines

作者: zerof (猫橘毛发呆雕像) 2022-10-07 00:35:00

吓歪你是不是想找：https://www.books.com.tw/products/0010867281

继续阅读

Re: [问题] 简单写一个PicPick的外挂程式Hsins [问题] Linebot，回传及时爬虫资料(续)crazystyle63 [问题] import requests 出现问题ccs93313 [问题] 简单写一个PicPick的外挂程式note100 [问题] 在python上read_csv问题vianvian1213 [问题] 请问如何选取目标时间willie88ai [问题] GUI framework选择liupoyip [问题] 多张照片截图问题awaysu Mac 更新后打不开 PyCharmjackchen5577 [问题] 请问dataframe字段顺序的查找tuberosum