程式码在
https://ideone.com/3ZTGat
opencc是下面这个版本
https://pypi.org/project/opencc-python-reimplemented/
环境是python3.8, windows8.
#1 result = []
#2 for i in range(total):
#3 res = pool.apply_async(self.func1, args=(i,))
#4 result.append(res)
#5 pool.close()
#6 #pool.join()
#7 self.aa = OpenCC('s2twp')
1. 如果self.aa有设值，程式跑完需要16秒
2. self.aa拿掉的话0.13秒就跑完
3. 如执行pool.join()，结果是0.18秒
4. 把#7把放pool.join前面，并执行pool.join()，结果16秒
5. 把#7加到__init__，并执行pool.join()，结果16秒
6. 把self.aa = OpenCC(..)改成 aa=OpenCC(..), 0.1x秒
感觉只要apply_async的任务跑完前，把OpenCC指给self，就会卡卡的，
问题感觉是出在opencc, 请问有可能是什么原因？
opencc只有一只py档，就下面这只
https://github.com/yichen0831/opencc-python/blob/master/opencc/opencc.py
作者:
djshen (djshen)
2020-04-27 02:39:00不懂和multiprocessing有什么关系
作者: MARGHT 2020-04-27 03:24:00
的确没关系
作者:
djshen (djshen)
2020-04-27 10:39:00不懂和multiprocessing有什么关系
作者: MARGHT 2020-04-27 11:24:00
的确没关系
作者:
TuCH (谬客)
2020-04-28 02:06:00开multiprocess 成本很高 开了是要丢大量运算 平行化的效果才显现得出来
作者: extraymond (extraymond) 2020-04-28 05:45:00
在linux下面跑，最花时间的是24行，拿掉就0.1x秒不过满不固定的，你原始的code有时候也会0.1X秒如果你把self.func1移出a，最慢的情况会变成0.3X印象位置multiprocess你传object进去，他会复制整份a，包含a.test 时间差异应该从这边找应该会有些结果
作者:
djshen (djshen)
2020-04-28 06:55:00map的时候会pickle method, 刚好你传的是bound method会把整个object一起pickle 然后传到child process又刚好pickle是在get的时候才call你可以试试看print(len(pickle.dumps(self.func1)))一开始想成copy on write
作者:
TuCH (谬客)
2020-04-27 18:06:00开multiprocess 成本很高 开了是要丢大量运算 平行化的效果才显现得出来
作者: extraymond (extraymond) 2020-04-27 21:45:00
在linux下面跑，最花时间的是24行，拿掉就0.1x秒不过满不固定的，你原始的code有时候也会0.1X秒如果你把self.func1移出a，最慢的情况会变成0.3X印象位置multiprocess你传object进去，他会复制整份a，包含a.test 时间差异应该从这边找应该会有些结果
作者:
djshen (djshen)
2020-04-27 22:55:00map的时候会pickle method, 刚好你传的是bound method会把整个object一起pickle 然后传到child process又刚好pickle是在get的时候才call你可以试试看print(len(pickle.dumps(self.func1)))一开始想成copy on write
作者:
AndCycle (AndCycle)
2020-04-29 00:08:00你要考虑跑 process 起来的代价跟考虑他会活多久
作者:
zerof (猫橘毛发呆雕像)
2020-04-30 23:54:00楼楼上正解
作者:
jn8029 (宅男8029)
2020-05-04 22:00:00