最优化原理（笔记）
内积是线性代数运算的一个结果，一行*一列。
内积的性质！
什么是范数？？？
对称矩阵：关于主对角线对称！
正定对称矩阵：
二阶导是正定的，f(x)就是严格的凸函数！（找全局最小值，而不是驻点）
半正定矩阵
梯度
Hessian矩阵
遗传算法
算法的两个关键步骤是交叉和变异！
凸集的几何意义是：若两个点属于此集合，则这两个点连线上的任意一点均属于此集合。
凸优化，简单的问题，简单的优化问题！
最优化原理---研究生课程！
优化和数学规划：从一个可行解的集合中，寻找出最优的元素。
优化问题的简单分类
根据可行域D划分：
- 无约束优化问题
- 约束优化问题
- 线性规划
- 非线性规划
- 离散最优化问题
- 连续最优化问题
图形处理的优化问题：
图像有噪声，恢复成无噪声的图像！
图像，分片光滑曲面！色块！
TV范数要尽可能小，是图像是分片光滑的。
差分
超大规模集成电路的设计：
将难得问题转换为简单的问题！
单纯型法！！！
线性规划的最优解出现在顶点上或者边上，利用这种性质，可以使用单纯型法！
凸规划/非凸规划
凸函数：
非凸函数：能够找到不相邻的最低的点
任何一个线性规划的问题都是凸函数
难的是非凸的问题
容易的是凸的问题
离散的优化问题是比较难的，非凸的
最短路径的问题：
访问一个网站花费的代价是最小的。
单目标问题/多目标问题
任何一个问题，你能把他清晰的描述出来，就解决了80%。希尔伯特
任何一个问题，您能把他变成一个凸优化，就解决了90%
凸集，凸函数
凸优化
若干算法
数头发，是很耗时的，比较难的，专门有一些算法去研究的。
优化的历史：
牛顿、拉普森：
f(x) = 0 =>min f(x)^2
高数、赛德尔等：
线性方程组 =>min ...
转换为最优化的问题！
拉格朗日：最优化的重要
拉格朗日乘子：一般优化问题都带约束，约束难处理。通过拉格朗日乘子，将约束变成目标。***
凸优化的核心：如何把目标和约束之间的关系找出来。
优化源自打仗！可以节约资源！
动态规划---贝尔曼---解决优化问题的算法
冯诺依曼---博弈论---每个人都要优化自己的目标函数
多目标优化---有一个人优化所有的目标函数
纳什均衡---博弈论的核心---优化中的一块（博弈论和最优化是想通的）
单纯形法---丹齐格---求解线性规划非常巧妙、非常简单的方法
线性规划是凸规划，单纯形法有一定的问题---内敛法（不实用）--->多项式时间的算法--->内点法(IPM)：解决线性规划，尤其是大问题，最有效的方法。
内点法如今已经运用在非凸的领域！
以上内容很难，非优化人员，不需要深究，我们要实现如何运用这些优化的知识。
优化的应用，并不简单！
优化的方法，优化的思路去解决自己的问题！
最优化：从可行解中找出，最优的。
优化变量
凸规划是容易的问题
凸规划：目标函数是凸函数，约束是凸集或若干个凸函数组成的
理论
凸集
凸函数
凸优化问题
对偶理论
无约束优化问题
有约束的优化问题
掉以轻心：120%的努力才能做好！
凸锥
几种凸集：
空集
Rn空间：是仿射集！是凸集！是凸锥！
n维空间的子空间是凸集！
任意的直线是凸集！
任意的线段是凸集！