什么是优化器 在深度学习中，有损失的概念，损失告诉了我们模型在当前时刻的表现，我们需要利用损失来优化我们的模型，使其性能更好，那么如何优化呢？实际上，我们需要做的是计算损失，并且尽量将损失减小。神经网络的每一层都有很多的权重，这些参数决定着网络的输出，也决定着损失的大小，因此，以减小损失的方式更新权重，这个过程就叫做优化。优化器的作用就是优化网络。 常用的优化器 SGD（随机梯度下降） 每次只选择一个样本的数据来进行更新梯度。优点是参数更新快，缺点是每次更新采用的数据量小，容易震荡。 公式如下： BGD（