来源：哔哩哔哩
2023-05-07 20:16:47
(资料图片)
本文章主要会侧重原理，具体的在python中的实现可能比较少，一些相对基础的名词我就不解释了，以及我还会使用一些之前习惯的记号，例如爱因斯坦求和之类的，和之前一样同样自学的，所以如有纰漏欢迎评论指出 ヾ(≧▽≦*)o
要干啥
为方便可视化，先假设我们的数据是一维的线性分布：
若我们想要根据这些现有的数据"猜"当 时 可能是多少？这时就可以通过拟合一条直线来"猜"，我们知道在二维坐标系中的直线方程为 ，那只需要确定系数 即可，理想情况是找到一组系数能够使得该直线穿过每一个样本点，但显然实际上不太可能有这么"线性"的数据，所以我们只能退而求其次，要求该系数所给出的直线和每个样本点都"足够接近"，所以对于 个样本点要求：
其中 称为损失函数，即要求出使得损失函数最小的系数 ．
至于为什么说画在二维坐标系里的数据是一维的，因为 轴是我们的结果，即现在一个 对应一个 ，所以是一维的，实际情况中很有可能会有 个 决定一个 ，此时直线的方程可以写成 (注:该上下角标为爱因斯坦求和)，即我们需要给出一个 维矢量和一个系数，下文依旧还是用回一维的情景。
要咋干
若我们想要找到一个二次函数 的顶点 值，那么可以先在函数上任取一点，然后用该点的 减去该点的导数，得到函数上下一点的 值，这么做的是因为若取的点在函数顶点右边则导数为正，在左边则为负，而且离顶点越远导数就越大，所以只需要重复迭代多次就应该能得到顶点：
这样的方法就称为梯度下降算法，但如果你实际算一下就会发现，对于该例子要精确迭代到顶点的只有线上满足 的点，而更多的点会在顶点附近振荡，没法收敛到比较小的范围内，所以我们还得每次会减少 倍的导数，该参数称为学习率，即每次迭代 ，显然若该参数设置的很大，则会出现每次迭代后导数越来越大的情况，更加无法收敛，我们称这种情况为梯度爆炸。
对于我们之前的那组数据同样可以用相同的方法，只不过现在得确定俩值 ，一样先给定随机的初始值 ，然后计算该直线的损失函数对 的梯度 ，最后用 减去 倍梯度，即每次迭代 满足：
不出意外的话( 合适的情况下)，在迭代多次后即可得到一个收敛的 ，然后我们就可以通过该直线求得 时 ：
