[问题] multi threading use same input file icoach PTT批踢踢实业坊

[问题] multi threading use same input file

楼主: icoach (Nee) 2014-05-06 14:04:20

目前自己想要重新设计一个架构,目前架构如下
有一个大档案,假设是5GB,里面有一百万行资料
接下来,我有20个threading ,每一个threading 都做不一样的事
但是读取的档案都是前面说的5GB的大档
目前作法是每一个threading都去开5gb的file ,各自读各自的
现在想要开一次5gb的file ,然后给每一个threading去执行
目前是想到用mmap 共用同一块内存去做不知道thread间会不会打架
不知道各位前辈是否能给点意见或建议谢谢各位

作者: gozule (好冷啊~~) 2014-05-07 02:20:00

只读不写的话，thread or process都是共用内存的

作者: tiefblau (tiefblau) 2014-05-07 15:17:00

如果如楼上所言 import multiprocessing就够用了

作者: gozule (好冷啊~~) 2014-05-08 01:00:00

我有做过类似的程式，原因应该是OS的copy on write

继续阅读

[资讯] 五月初的 Taipei.pytimTan 想征二个小时的家教purestone Re: [问题] 请问有人可以帮我看一下Tkinter吗？？？谢谢！！Pomay [问题] 大型稀疏矩阵乘法askia [问题] 请问有人可以帮我看一下Tkinter吗？？？谢谢！！aeronan [问题] 无法开启purestone Re: [问题] list 里的元素累加apua [问题] 初学者问一个粗浅的问题～purestone [问题] CSV档资料开根号okmnji [问题] 一个奇怪的return用法snobbery