全分布式动态附载平衡
我们今天有m个job n个process
每个process先处理floor(m/n)个
除不尽的话最后一个node先多领一点
然后每个process有另一个thread
负责回报剩余工作并交付给其他process
如果有process做完了 会先轮询这些thread找剩最多的 跟他领一个job
另外还有一个thread在rank0接收其他process处理完的结果
然而
process一多 不知道怎么就动不了了= =
好像是回收资料的时候会炸
怪

这样万一新的job需要相依前面的计算结果 但是前面还没做完不就炸了

不需要 无记忆性