一个简单的实例（单个样本步骤）

使用 Jupyter Notebook

Python 实现 最速下降法 求解无约束非线性规划问题

TensorFlow 笔记

matplotlib 官方文档

快捷键

• Ctrl + Enter 执行当前单元
• Alt + Enter 执行当前单元 并 在下方增加一单元
• Shift + Enter 运行本单元，选中下一个单元
• Esc + M 代码转文字(Markdown)
• A 在上方插入新单元
• B 在下方插入新单元
• Y 单元转入代码状态

以最速下降法求解无约束非线性规划问题

可解决的问题（应用）:

1. 找最值（最优化）
2. 线性拟合（找一线尽量过所有点/差最小）

最小二乘法 只能用作 线性拟合

解决的问题:

​ 最速下降法解决的是无约束优化问题，而所谓无约束优化问题就是对目标函数的求解，没有任何的约束限制的优化问题，

比如求最小值: \(\min f(x)\) ,其中 : \(f: R^n \rightarrow R\)

求解这类问题: (1)最优条件法 (2)迭代法

最优条件法:

​ 指当函数存在解析形式，能够通过最优性条件求解出显式最优解。

对于无约束最优化问题，如果 \(f(x)\) 在最优点 \(x^*\) 附近可微，那么 \(x^*\) 是局部极小点的必要条件为：
\[ df(x^*) = 0 \]
我们常常通过这个必要条件求极小值点，再验证是否是极小值点，当上述方程可以求解时，无约束优化问题基本就解决了

实际中，此方程往往难于求解，这就引出了第二类方法：迭代法

最小二乘法的问题描述

数据拟合的问题