https://arxiv.org/pdf/2311.06374
1680年代艾萨克·牛顿发明牛顿法以寻找函数最小值
用函数的一阶导数和二阶导数构建二次泰勒近似
通过迭代计算二次方程最小值以逐步逼近函数最优解
人类用它解决优化问题如平衡投资组合的风险与回报、开发自动车视觉辨识系统。
此法收敛速度快（二次速率）且优于梯度下降法（线性速率）。
缺点是当起始点远离真实最小值时可能失败
19世纪俄国Pafnuty Chebyshev提出用三次方程近似却无法处理多变量函数
2021年Yurii Nesterov解开如何用三次方程近似多变量函数但无法用在更高次方程
易于最小化的函数应具备单一谷底和平方和形式
普林斯顿大学的Amir Ali Ahmadi与学生Abraar Chaudhry和Jeffrey张为此使用半定规划
微调泰勒近似使其同时满足凸性和平方和特性又不偏离原始函数
新算法能以更少迭代次数逼近真实最小值且效率随导数阶数提升而增强
新算法计算成本仍高
而牛顿法每步计算成本较高但迭代次数少 总体效率高
另外梯度下降法因计算简单
目前仍主导机器学习等领域
若未来计算技术进步降低每次迭代成本
新算法可能超越梯度下降法
Ahmadi预测10-20年后该算法可能在实践中展现优势