Re: [问卦] 为什么现在新的深度学习模型都很少割

楼主: sxy67230 (charlesgg)   2021-08-14 17:01:56
※ 引述《ruthertw (督人无数就是我)》之铭言:
: "为什么现在新的深度学习模型都很少割出test dataset?"
: 在进行实验的时候,
: 发现近三年来的研究工作,
: 很多都没有切割test dataset,
: 论文里也没有列出test dataset的实验结果.
: 反而都直接以validation dataset包含test dataset.
: 比例也从以往常用 train:val:test = 8:1:1 (7:2:1)
: 变成 train:val = 8:2
: 很多学校里的指导教授还是要求要使用8:1:1这个铁比例.
: 为什么现在新的深度学习模型都很少割出test dataset?
: 这些新模型其实只是举手之劳就可以做这到件事,
: 而且按照指导教授的要求,
: 论文里要是没有test dataset的实验结果,
: 应该是不能被刊登.
: 不得其解...
: 大大们可以详细说明解释这个原因吗?
: 还有,
: 想知道指导教授的坚持是对的吗?
: 以及有没有上述众多问题的八卦?
: 先谢谢各位深度学习的高手~
看到我以为我跑错版了,吓死宝宝,
阿肥我来回答一下啦。
传统训练集就是拿来拟合模型参数的,验证集是拿来做超参估计,然后铁定要是无偏的样
本,跟训练集彼此独立的。
然后测试集就是最后评估整体模型的,也是要无偏独立上面两种。
还有一种方法是k-fold,就是把原始训练集切成多个子集,再进一步把其中一个子集做验
证,其他子集就训练,轮k次,很多文献就干脆把原本的测试集直接写是验证集,就变成8
0:20。
然后最后有一点就是其实现在很多模型尤其是OPEN AI那些超巨量模型你也很难做超参估
计跟模型选择,训练一次就耗费几亿的,干脆就一样分80:20训练跟验证,反正只要确认2
0%是无偏独立样本就好了。

Links booklink

Contact Us: admin [ a t ] ucptt.com