※ 引述 《sustainer123 (温水佳树的兄长大人)》 之铭言：
:
: pytorch在处理多GPU运算有data parallel跟distributed data parallel
:
: 我理解的前者是用multithread来解这问题 后者是multiprocess
:
: 在Python中 multithread要应对GIL 大量运算问题使用multithread其实不如单线程
:
: 所以data parallel实质单线程?
:
: 另外我昨天搞了个distributed data parallel
:
: 但accuracy比data parallel低超多 这为啥
:
: 超参数都一样
:
: pytorch好难 哇哇呜呜呜
:
救我 dp跟ddp到底要怎么改超参数啊
我照chatgpt改 改完还是只上升一些
dp的准确率是0.7 ddp只有0.4
我照文档做 结果直接报error
还有我明明用8片GPU
结果只要用2片以上搞DDP
马上报error
dp明明就正常8片
头好痛