小弟刚入门python没多久
我现在在写一个爬虫的东西,处理过程有点复杂,资料量又大,想导入多进程加快速度
我是用进程池pool,但是看网络上的教学好像通过apply_async执行的task只能接收一个引数的样子
前面有几个task需要用到的资料已经处理好了,但我不知道怎么丢进去,有高手能交流一下吗?
范例:
def task:
(do somthing)
main:(主程式)
a(阵列)
b(阵列)
c(Beautifulsoup)
job = [pool.apply_async(task, (d,)) for d in xxx]
我想把a,b,c这三个每个task都会用的资料丢进task,要怎么做比较好?