[问题] python multiProcess效能很差?

楼主: ntuleo (里欧)   2015-04-28 11:02:45
主要是参考segmentfault的这篇
http://segmentfault.com/a/1190000000414339
看起来很有效,可是实际...
if __name__ == "__name__":
pool = Pool()
content = pool.map(transferConcat, [(obj_grab, content)])[0]
pool.close()
pool.join()
def concatMessage(obj_grab, content):
for logCatcher in obj_grab:
for key in logCatcher.dic_map:
regex = re.compile(key)
for j in range(len(content)):
for m in re.finditer(regex, content[j]):
content[j] += " " + logCatcher.index + " " + logCatcher.dic_map[key]
return content
def transferConcat(args):
return concatMessage(*args)
以上是我的代码(部分,只贴问题点),执行时间22秒
若单纯执行method大概也是22秒...等于没加速...
我试过调整pool的数量,没什么效果
请问要怎么做才能真正体现mulitiProcess的效能呢?
作者: ccwang002 (亮)   2015-04-28 12:56:00
你实际上丢给 Pool.map(func, listarg1, listarg2)listargx = [x1, x2, ...] Pool 会并行执行 x1 和 x2但你只给了一组 input 所以实际上就是没加速等于 pool.map(concatMessage, [obj_grab], [content])
楼主: ntuleo (里欧)   2015-04-28 20:22:00
所以一组就不行吗? 那有其它方式可以加速for loop吗?
作者: CaptainH (Cannon)   2015-04-28 20:28:00
对平行化完全没有概念的话, 还是不要用比较好
作者: ccwang002 (亮)   2015-04-28 21:41:00
pool.map(cM, [obj1, obj2, ...], [c1, c2, ...])这样就会有平行的效果,multiprocess 的对象是很明确的可以加速 for loop,就要针对 for loop 里面的逻辑设计
作者: LiloHuang (十年一刻)   2015-04-28 22:39:00
Python Concurrency From the Ground Up - PyCon 2015看看 David Beazley 大师的影片 http://goo.gl/oCuZaJ基本上 Python 的 multiprocessing 是以 tasks 为单位你必须要自己先把工作转化成一堆 task 再来进行平行毕竟这不像 OpenMP 加个 #pragma omp parallel 就会动就像 ccwang002 提到的,你的 task 目前只有一个...你可以尝试着把第一层循环展开,换成用 map 的写法就好处理的 func 里面不要去存取共享变量,让每个 process都能够独立的跑完它的结果,之后再把结果进行 reduce

Links booklink

Contact Us: admin [ a t ] ucptt.com