[问题] multiprocess变得很慢?

楼主: tsaiminghan (tsaiminghan)   2020-04-27 02:02:07
程式码在
https://ideone.com/3ZTGat
opencc是下面这个版本
https://pypi.org/project/opencc-python-reimplemented/
环境是python3.8, windows8.
#1 result = []
#2 for i in range(total):
#3 res = pool.apply_async(self.func1, args=(i,))
#4 result.append(res)
#5 pool.close()
#6 #pool.join()
#7 self.aa = OpenCC('s2twp')
1. 如果self.aa有设值,程式跑完需要16秒
2. self.aa拿掉的话0.13秒就跑完
3. 如执行pool.join(),结果是0.18秒
4. 把#7把放pool.join前面,并执行pool.join(),结果16秒
5. 把#7加到__init__,并执行pool.join(),结果16秒
6. 把self.aa = OpenCC(..)改成 aa=OpenCC(..), 0.1x秒
感觉只要apply_async的任务跑完前,把OpenCC指给self,就会卡卡的,
问题感觉是出在opencc, 请问有可能是什么原因?
opencc只有一只py档,就下面这只
https://github.com/yichen0831/opencc-python/blob/master/opencc/opencc.py
作者: djshen (djshen)   2020-04-27 02:39:00
不懂和multiprocessing有什么关系
作者: MARGHT   2020-04-27 03:24:00
的确没关系
作者: djshen (djshen)   2020-04-27 10:39:00
不懂和multiprocessing有什么关系
作者: MARGHT   2020-04-27 11:24:00
的确没关系
作者: TuCH (谬客)   2020-04-28 02:06:00
开multiprocess 成本很高 开了是要丢大量运算 平行化的效果才显现得出来
作者: WusoAiwen (Wuso)   2020-04-28 03:48:00
没有大量运算用multiprocess反而会变慢
作者: extraymond (extraymond)   2020-04-28 05:45:00
在linux下面跑,最花时间的是24行,拿掉就0.1x秒不过满不固定的,你原始的code有时候也会0.1X秒如果你把self.func1移出a,最慢的情况会变成0.3X印象位置multiprocess你传object进去,他会复制整份a,包含a.test 时间差异应该从这边找应该会有些结果
作者: djshen (djshen)   2020-04-28 06:55:00
map的时候会pickle method, 刚好你传的是bound method会把整个object一起pickle 然后传到child process又刚好pickle是在get的时候才call你可以试试看print(len(pickle.dumps(self.func1)))一开始想成copy on write
作者: TuCH (谬客)   2020-04-27 18:06:00
开multiprocess 成本很高 开了是要丢大量运算 平行化的效果才显现得出来
作者: WusoAiwen (Wuso)   2020-04-27 19:48:00
没有大量运算用multiprocess反而会变慢
作者: extraymond (extraymond)   2020-04-27 21:45:00
在linux下面跑,最花时间的是24行,拿掉就0.1x秒不过满不固定的,你原始的code有时候也会0.1X秒如果你把self.func1移出a,最慢的情况会变成0.3X印象位置multiprocess你传object进去,他会复制整份a,包含a.test 时间差异应该从这边找应该会有些结果
作者: djshen (djshen)   2020-04-27 22:55:00
map的时候会pickle method, 刚好你传的是bound method会把整个object一起pickle 然后传到child process又刚好pickle是在get的时候才call你可以试试看print(len(pickle.dumps(self.func1)))一开始想成copy on write
作者: AndCycle (AndCycle)   2020-04-29 00:08:00
你要考虑跑 process 起来的代价跟考虑他会活多久
作者: zerof (猫橘毛发呆雕像)   2020-04-30 23:54:00
楼楼上正解
作者: jn8029 (宅男8029)   2020-05-04 22:00:00

Links booklink

Contact Us: admin [ a t ] ucptt.com