什么是K-L神经网络优化方法？

其他回答

一阶优化方法   这种优化方法通过计算导数dE/dw（误差函数对权重的导数）得到该权重推荐减小方向，从而优化模型；在多变量的情况下，该方法被扩展为梯度，所以优化方法也是基于梯度下降的方法，最基础的方法也是梯度下降。

二阶优化方法   二阶优化方法使用二阶导数（Hessian方法）来最小化误差函数。由于二阶导数的计算代价太高，所以一般不会使用二阶优化方法。