本文是关于凸优化和流形优化的一些笔记。主要由非凸问题的两种情况引入流形的需求，进一步引入流形的概念。

凸优化中的非凸问题

对于一个非凸问题，主要有两种。第一种是目标函数非凸但是可行域凸，另一种是可行域非凸。

对于前者通常使用投影梯度下降法（PGD）来处理。PGD的核心思想是每次迭代后将解投影回凸集上，从而保证可行性。

为什么“梯度投影”这个动作是好的？为什么这样得到的解是可接受的？

在数学上，投影的定义是： \(\prod\nolimits_{\mathcal{C}}(\mathbf{y})=\operatorname{argmin}_{\mathbf{x} \in \mathcal{C}} \|\mathbf{x} - \mathbf{y}\|_2^2\) 其中$\mathcal{C}$是一个凸的约束集合。梯度投影保证了：1. 凸集的投影是唯一的且非扩张的；2. 收敛性保证（凭什么这个解是好的）。

对于投影的唯一性，由希尔伯特投影定理可知：任何向量在凸闭集上的最近点是唯一的。

对于投影的非扩张性，可以证明： \(\left\|\prod\nolimits_{\mathcal{C}}(\mathbf{y}_1) - \prod\nolimits_{\mathcal{C}}(\mathbf{y}_2)\right\|_2 \leq \|\mathbf{y}_1 - \mathbf{y}_2\|_2\) 这意味着投影动作是很稳的，不会放大误差。也不会让解在空间中乱跳。

对于收敛性保证，本质上就是要证明目标函数值得一直是下降的，不能上升。