强化学习（二）——Dueling Network（DQN改进）
与DNQ相比，使用优势函数(A函数)和状态价值函数（V）代替之前的Q(动作价值)函数，
最核心公式为 Q ∗ ( s , a ) = A ∗ ( s , a ) + V ∗ ( s ) − max a A ∗ ( s , a ) Q^*(s,a)=A^*(s,a)+V^*(s)-\max_a A^*(s,a) Q∗(s,a)=A∗(s,a)+V∗(s)−maxaA∗(s,a)。
核心公式演变：
基本公式 A ∗ ( s , a ) = Q ∗ ( s , a ) − V ∗ ( s ) A^*(s,a)=Q^*(s,a)-V^*(s) A∗(s,a)=Q∗(s,a)−V∗(s)
变化公式1 Q ∗ ( s , a ) = A ∗ ( s , a ) + V ∗ ( s ) Q^*(s,a)=A^*(s,a)+V^*(s) Q∗(s,a)=A∗(s,a)+V∗(s)
变化公式2 Q ∗ ( s , a ) = A ∗ ( s , a ) + V ∗ ( s ) − max a A ∗ ( s , a ) Q^*(s,a)=A^*(s,a)+V^*(s)-\max_a A^*(s,a) Q∗(s,a)=A∗(s,a)+V∗(s)−maxaA∗(s,a)
1 基本概念
-
动作价值函数： Q π ( s t , a t ) = E [ U t ∣ S t = s t , A t = a t ] Q_\pi (s_t,a_t)=E[U_t|S_t=s_t,A_t=a_t] Qπ(st,at)=E[Ut∣St=st,At=at]
-
状态价值函数： V π ( s t ) = E A [ Q π ( s t , A ) ] V_\pi (s_t)=E_A[Q_\pi(s_t,A)] Vπ(st)=EA[Qπ(st,A)]
-
最优动作价值函数： Q ∗ ( s t , a t ) = m a x π Q π ( s t , a t ) Q^*(s_t,a_t)=max_\pi Q_\pi(s_t,a_t) Q∗(st,at)=maxπQπ(st,at)
-
最优状态价值函数： V ∗ ( s ) = max π V π ( s ) = max a Q ∗ ( s t , a ) V^*(s)=\max_\pi V_\pi (s)=\max_aQ^*(s_t,a) V∗(s)=maxπVπ(s)=maxaQ∗(st,a)
-
最优优势函数； A ∗ ( s , a ) = Q ∗ ( s , a ) − V ∗ ( s ) A^*(s,a)=Q^*(s,a)-V^*(s) A∗(s,a)=Q∗(s,a)−V∗(s)
2 公式定义及推导
2.1 公式定义
V ∗ ( s ) = max a Q ∗ ( s t , a ) V^*(s)=\max_aQ^*(s_t,a) V∗(s)=maxaQ∗(st,a)。（公式1）
A ∗ ( s , a ) = Q ∗ ( s , a ) − V ∗ ( s ) A^*(s,a)=Q^*(s,a)-V^*(s) A∗(s,a)=Q∗(s,a)−V∗(s) （公式2）
Q ∗ ( s , a ) = A ∗ ( s , a ) + V ∗ ( s ) Q^*(s,a)=A^*(s,a)+V^*(s) Q∗(s,a)=A∗(s,a)+V∗(s) （公式3）
2.2 公式推导 max a A ∗ ( s , a = 0 \max_a A^*(s,a=0 maxaA∗(s,a=0
max a A ∗ ( s , a ) = m a x a Q ∗ ( s , a ) − m a x a V ∗ ( s ) = m a x a Q ∗ ( s , a ) − V ∗ ( s ) = m a x a Q ∗ ( s , a ) − m a x a Q ∗ ( s , a ) = 0 \max_a A^*(s,a)=max_aQ^*(s,a)-max_aV^*(s)\\ =max_aQ^*(s,a)-V^*(s)\\ =max_aQ^*(s,a)-max_aQ^*(s,a)\\ =0 amaxA∗(s,a)=maxaQ∗(s,a)−maxaV∗(s)=maxaQ∗(s,a)−V∗(s)=maxaQ∗(s,a)−maxaQ∗(s,a)=0
可得 max a A ∗ ( s , a ) = 0 \max_a A^*(s,a)=0 maxaA∗(s,a)=0
2.3 核心公式3优化
公式3 右边减掉为0的 max a A ∗ ( s , a ) \max_a A^*(s,a) maxaA∗(s,a) 等式依然成立
Q ∗ ( s , a ) = A ∗ ( s , a ) + V ∗ ( s ) Q^*(s,a)=A^*(s,a)+V^*(s) Q∗(s,a)=A∗(s,a)+V∗(s)
Q ∗ ( s , a ) = A ∗ ( s , a ) + V ∗ ( s ) − max a A ∗ ( s , a ) Q^*(s,a)=A^*(s,a)+V^*(s)-\max_a A^*(s,a) Q∗(s,a)=A∗(s,a)+V∗(s)−maxaA∗(s,a)
2.2 使用神经网络代替A和V函数
Q ∗ ( s , a , w A , w V ) = A ∗ ( s , a , w A ) + V ∗ ( s , w V ) − max a A ∗ ( s , a , w A ) Q^*(s,a,w^A,w^V)=A^*(s,a,w^A)+V^*(s,w^V)-\max_a A^*(s,a,w^A) Q∗(s,a,wA,wV)=A∗(s,a,wA)+V∗(s,wV)−maxaA∗(s,a,wA)
3 公式为什么要加 max a A ∗ ( s , a , w A ) \max_a A^*(s,a,w^A) maxaA∗(s,a,wA)？
主要是为了克服神经网络一致性问题，防止网络波动， max a A ∗ ( s , a , w A ) \max_a A^*(s,a,w^A) maxaA∗(s,a,wA)起到了约束作用。
比如；
1 没有约束项，A网络增加10，V网络减少10，Q值不变
2 增加约束项，A网络增加10，V网络减少10，则Q值增大10，因为对A网络取最大值时增加了10。同理A网络减少10，V网络增加10，则Q网络减少了10.
解释：约束V网络向A网络最大负值靠近，约束V网络和A网络。