"为什么现在新的深度学习模型都很少割出test dataset?"
在进行实验的时候,
发现近三年来的研究工作,
很多都没有切割test dataset,
论文里也没有列出test dataset的实验结果.
反而都直接以validation dataset包含test dataset.
比例也从以往常用 train:val:test = 8:1:1 (7:2:1)
变成 train:val = 8:2
很多学校里的指导教授还是要求要使用8:1:1这个铁比例.
为什么现在新的深度学习模型都很少割出test dataset?
这些新模型其实只是举手之劳就可以做这到件事,
而且按照指导教授的要求,
论文里要是没有test dataset的实验结果,
应该是不能被刊登.
不得其解...
大大们可以详细说明解释这个原因吗?
还有,
想知道指导教授的坚持是对的吗?
先谢谢各位深度学习的高手~

请问可以条列出几篇有这种情况的ICCV CVPR论文吗？

一般的benchmark应该是光data就有分train/test吧 哪有必要再把train的一部分拿去切test

有DataScience板

你要相信投上的paper 还是相信你教授的话

本质上并没有 test ，都看到的ground truth，大家一起调分数就好啦，除非像 kaggle，有一个公正方把 test 藏起来不给看，大家不要 overfit valid 才有意义

除非不晓得test set的label 不然有没有切是一样的

哪些 paper 没有切 test set 啊好奇

你可以举例你看的文章吗？因为通常都会有公定的benchmark来比较分数，不太有可能会有你说的只report validation set的成绩

有小型dataset 一载下来就切 train 和test 而已 说到底validation 和test 都是不被训练过的资料 本质根本一样用谁去测哪有什么差并不是paper 不切 而是dataset 本身就没切三份https://github.com/huangkuns/wireframe我这篇CVPR paper的室内资料集就是切train和test而已

validation的评估指标参与模型选择 跟test是有差的

sooge是国人? 该篇作者都是大陆人耶

sooge 那篇是没切 val 但原po说的是没切test吧