有些观念我觉得要厘清一下比较好
ML的训练过程说穿了也只是一种数学问题
要分析算法还是得回到数学的本质
既然Alphago的决策模式加入了随机性
再加上训练NN的过程也不能保证得到global optimum
换言之
不管你在training阶段喂多棒的data进去
testting阶段就是有机会掉到local optimum
而当local optimum距离真正的global optimum很远时
预测就可能出错
NN模型具有弱点可以从不同面向说明:
1. 因为它的数学模型复杂, 不属于convex函数
任何最佳化算法本来就不能在这类模型上保证得到global optimum
2. 训练时采用的stochast gradient descent算法
本身就是局部最佳求解的方式之一
3. 训练过程中其实也参与一些随机的机制 (dropout)
现在NN能再红起来是靠大数据加上研究者聪明的训练方式
(冠上deep learning之名重新出发)
很大程度地压抑住上面的本质问题
但不代表它就没有被破解的空间
否则那些研究如何加噪声使模型失效的研究者不就是做心酸的吗
: