投影算子 Projection
投影 projection
对于一个闭的凸的集合 V V V, z = P V ( x ) z=P_V(x) z=PV(x)是投影，则
⟨ v − z , x − z ⟩ ≤ 0 , ∀ v ∈ V \langle v-z,x-z \rangle \leq 0, \forall v\in V ⟨v−z,x−z⟩≤0,∀v∈V
投影算子是非膨胀的，满足
∥ P V ( x ) − P V ( y ) ∥ ≤ ∥ x − y ∥ \|P_V(x)-P_V(y)\| \leq\|x-y\| ∥PV(x)−PV(y)∥≤∥x−y∥
分离定理 Separation Theorems
A convex closed set and a point outside of it can be separated by a plane.
对于一个闭的凸的集合 V V V以及集合外一点 x x x,存在一个非零的 y y y和 ϵ = ∥ y ∥ > 0 \epsilon=\|y\|>0 ϵ=∥y∥>0,
⟨ y , v ⟩ ≤ ⟨ y , x ⟩ − ϵ , ∀ v ∈ V \langle y,v \rangle \leq \langle y,x \rangle-\epsilon, \forall v\in V ⟨y,v⟩≤⟨y,x⟩−ϵ,∀v∈V
证明：
⟨ x − P v ( x ) , v − P v ( x ) ⟩ ⩽ 0 y = x − P v ( x ) ⇒ y ≠ 0 ⟨ y , v − P v ( x ) ⟩ ⩽ 0 ⇒ ⟨ y , v ⟩ ≤ ⟨ y , P v ( x ) ⟩ = ⟨ y , x − y ⟩ = ⟨ y , x ⟩ − ∥ y ∥ 2 . \begin{aligned} & \left\langle x-P_{v}(x), v-P_{v}(x) \rangle \leqslant 0\right. \\ & y=x-P_{v}(x) \Rightarrow y \neq 0 \\ & \left\langle y, v-P_{v}(x)\rangle \leqslant {0}\Rightarrow \langle y, v\rangle \leq\left\langle y, P_{v}(x)\right\rangle=\langle y, x-y\rangle=\langle y, x\rangle-\|y\| ^2.\right. \end{aligned} ⟨x−Pv(x),v−Pv(x)⟩⩽0y=x−Pv(x)⇒y=0⟨y,v−Pv(x)⟩⩽0⇒⟨y,v⟩≤⟨y,Pv(x)⟩=⟨y,x−y⟩=⟨y,x⟩−∥y∥2.
如果条件中的闭去掉，则 ϵ \epsilon ϵ也去掉。
若两个凸集 X 1 , X 2 X_1,X_2 X1,X2存在交集，则在交集中存在一个非零向量 y y y, ⟨ y , x 1 ⟩ ≤ ⟨ y , x 2 ⟩ , ∀ x 1 ∈ X 1 , x 2 ∈ X 2 . \left\langle y, x^{1}\right\rangle \leq\left\langle y, x^{2}\right\rangle ,\forall x^{1} \in X_{1}, x^{2} \in X_{2} \text {. } ⟨y,x1⟩≤⟨y,x2⟩,∀x1∈X1,x2∈X2. 同样，如果是闭集还要在右侧减去 ϵ \epsilon ϵ