[问题] 多进程的程序可以丢入多个引数吗?

楼主: king00000000 (逆天)   2018-01-31 15:08:24
小弟刚入门python没多久
我现在在写一个爬虫的东西,处理过程有点复杂,资料量又大,想导入多进程加快速度
我是用进程池pool,但是看网络上的教学好像通过apply_async执行的task只能接收一个引数的样子
前面有几个task需要用到的资料已经处理好了,但我不知道怎么丢进去,有高手能交流一下吗?
范例:
def task:
(do somthing)
main:(主程式)
a(阵列)
b(阵列)
c(Beautifulsoup)
job = [pool.apply_async(task, (d,)) for d in xxx]
我想把a,b,c这三个每个task都会用的资料丢进task,要怎么做比较好?
作者: anotherday   2018-01-31 16:11:00
functool partial
作者: Yshuan (倚絃)   2018-01-31 16:25:00
推partial
楼主: king00000000 (逆天)   2018-01-31 19:17:00
嗯嗯,套进去了,这个真好用,感谢1、2楼
作者: ar54971   2018-03-06 03:44:00
作者: galeondx   2018-03-06 04:22:00

Links booklink

Contact Us: admin [ a t ] ucptt.com