大家好
是这样的
我在做深度学习相关领域的论文
架构差不多好了 但是跑实验要很久
每做一个实验就要花上大量的时间
所以我需要固定random seed 跑很多次（Ex.3-5次）取平均吗
我看同领域其他论文提供的code
有些人会取五次 也有人只跑一次
问学长姐也没什么定论
所以请问这部分有什么惯例或是规定吗

显卡买起来就没问题惹

K-Fold validation 了解一下

如果实验上换seed就落差很大才要吧 跟kfold应该没关系

看架构，但是我建议你取最好的那次xD但是我没有做过 random seed 差很多的架构，顶多统计值落差千分之五左右

我每次审文章 没做K-fold就发回重审 建议固定随机种子以8:2比例跑5次flod取平均 除非你能说服我为什么你不用做k-flod 但目前没有学生说服成功不可以 test set 或 Val set 不可加入训练过程

楼上认真！？kfold不就是把train set跟valid set混一起后分成k份然后每次拿一份来做validation 吗？而且random seed没什么好取平均的吧，不就是找到最好的seed然后用它就好

回楼上 如果把val混在train里面一起练 那不管怎样Val的acc 都会是好的 那就没有验证的必要Val要有意义就是不参与训练过程原po说的8:2 变成 10:2 训练 这样的方式是不恰当的 val不能参与训练过程再来 如果有做的完整交叉验证 随机种子的确不重要希望我的回答对你来说够认真

但我之前学到的以及网络查的到的k-fold都是k个部分轮流当valid set来跑，而且原本valid set就是手动把labeled data分一些出来不是嘛？如果不把valid set混进去切那跑的时候不就有两个valid set (train data的1/k跟原本的valid set)，这样的意义是什么？https://i.imgur.com/wdBmdGa.png附个网络找到图，还是你说的是图中的testing set

我理解你会误会我的原因了 我是指是在一开始不将test集固定 所有资料集8:2分 2=test或Val 但不论如何 Val或test都不能被训练 你的解释是对的 但你可能误解我的意思 导致你觉得我是错的回到原po的案例 用多种RS取平均没有意义 因为无法证明所有RS有使test集遍历资料集所以我提出不要用多个RS 而是使用fold 8:2 得到五次平均结果 会比多个RS有意义接着原po提出因为资料集小 切8:2 可能会让原本资料集更小 但我很怀疑 因为小资料集跟原po说的大量时间是互斥的不管如何 我就直接假设他的网络非常复杂回到你提出的图 我认为更严谨的处理方式依然是不将TEST固定 并分train:Val:test 然后跑fold 这边Val可以用于earlystop 但依然不能成为训练集TEST会被固定的场景大概就数据竞赛或kaggle这样说吧 因为你开头说是论文 所以我说明论文该怎么设计实验 如果是竞赛设计好的train val test 当然以大赛规定为主

你跑5fold出来就5个model拿去测test一样5笔没意义啊切了train val test情况，标准做法是挑val高的测test要发paper的话直接无脑测test挑最高的也大有人在

答案是没有 只要足以说明你提出的方法就好

你要用5fold挑weight去测那你test result就要用范围表示跟要对比的文献采用一样做法就可以了但现在实paper跑kfold的人很少了，因为耗时又不能偷鸡

所以其实要发paper 不做k fold可以 不要被我审到就好XD总之没有正确答案 只有更严谨的做法而已

多看几篇顶级会议的做法吧

感谢上面讨论

train valid test 三个彼此要独立

选最好的那次

论文的话选最好的那次 记得设seed到时发表才可符合reproducibility