※ 引述《AzureDay (麦)》之铭言：
: 想询问的点是在于
: 这样做实验是否有问题?
: 如果image、batch size的数量不同，
: 初始参数也要跟着调整这样真的合理吗?
我离这领域有点远了，如果答错还请见谅
但求不要浪费到你宝贵的训练时间
只能以个人看到的事情来论
之前我在公司主要是负责实作，理论我懂
但跑实验、参数往哪边调、模型多大多宽，那其他同事比我专精很多
我自己的经验是，跑不同的 data set，参数是要跟着变没错
不然不收敛是很常发生的事情，收敛了以后 loss 太高，也要慢慢磨到低
针对一个新的 data set，要花一点时间去跟他玩
你接下来想问的可能是“那有没有比较快找到正确参数的方法？”
有，经验，两种：
一、自己的经验
二、别人的经验
（我好像在讲废话 XD）
第一种就是你自己训练多了，久了你会有 sense，哪类 data 参数在哪边
第二种比较推荐：paper，多看 paper，多看很多 paper，很多很多很多 paper
根据我对同事的观察，他们 paper 看多了，就会吸收别人的经验
知道参数往哪边调会好，对哪些资料怎么调比较好
而且综合好几篇 paper 的手法合在一起
training 速度还可以比别人快两倍
你吸收这些经验变成你的，你就值钱了 ＠＠
如果实作也强，能架构大型平行处理，那身价飞天了
那有没有什么 paper 专门在教怎么调参数的？
Restricted Boltzmann Machine 有，专门教你怎么 train
https://www.cs.toronto.edu/~hinton/absps/guideTR.pdf
但 Deep Learning 我不知道，可能有，但我不知道
这就是我 paper 唸不够 XD 所以我还没飞天
因为这个领域进步太快了，三个月翻一轮，我知道的可能都已经过时
如果我上面有讲错的，还请前辈们指正