Kullback-Leibler (KL) 散度是衡量两个概率分布之间差异的一种度量方法。具体来说,对于两个概率密度函数 ( p ( x ) p(x) p(x) ) 和 ( q ( x ) q(x) q(x) ),从 ( p p p ) 到 ( q q q ) 的 KL 散度定义为:
D ( p ∥ q ) = ∫ p ( x ) ln p ( x ) q ( x ) d x D(p \| q) = \int p(x) \ln \frac{p(x)}{q(x)} \, dx D(p∥q)=∫p(x)lnq(x)p(x)dx
在我们的例子中,我们需要计算两个复高斯分布 ( p 0 ( y w ) p_0(y_w) p0(yw) ) 和 ( p 1 ( y w ) p_1(y_w) p1(yw) ) 的 KL 散度。首先,我们回顾一下这两个分布的形式:
p 0 ( y w ) = 1 π λ 0 exp ( − ∣ y w ∣ 2 λ 0 ) p_0(y_w) = \frac{1}{\pi \lambda_0} \exp\left(-\frac{|y_w|^2}{\lambda_0}\right) p0(yw)=πλ01exp(−λ0∣yw∣2)
p 1 ( y w ) = 1 π λ 1 exp ( − ∣ y w ∣ 2 λ 1 ) p_1(y_w) = \frac{1}{\pi \lambda_1} \exp\left(-\frac{|y_w|^2}{\lambda_1}\right) p1(yw)=πλ11exp(−λ1∣yw∣2)
为了计算 ( D(p_0 | p_1) ),我们需要把 ( p_0(y_w) ) 和 ( p_1(y_w) ) 带入 KL 散度的定义中:
D ( p 0 ∥ p 1 ) = ∫ − ∞ + ∞ p 0 ( y w ) ln p 0 ( y w ) p 1 ( y w ) d y w D(p_0 \| p_1) = \int_{-\infty}^{+\infty} p_0(y_w) \ln \frac{p_0(y_w)}{p_1(y_w)} \, dy_w D(p0∥p1)=∫−∞+∞p0(yw)lnp1(yw)p0(yw)dyw
首先,计算 ( ln p 0 ( y w ) p 1 ( y w ) \ln \frac{p_0(y_w)}{p_1(y_w)} lnp1(yw)p0(yw)):
ln p 0 ( y w ) p 1 ( y w ) = ln ( 1 π λ 0 exp ( − ∣ y w ∣ 2 λ 0 ) 1 π λ 1 exp ( − ∣ y w ∣ 2 λ 1 ) ) \ln \frac{p_0(y_w)}{p_1(y_w)} = \ln \left( \frac{\frac{1}{\pi \lambda_0} \exp\left(-\frac{|y_w|^2}{\lambda_0}\right)}{\frac{1}{\pi \lambda_1} \exp\left(-\frac{|y_w|^2}{\lambda_1}\right)} \right) lnp1(yw)p0(yw)=ln πλ11exp(−λ1∣yw∣2)πλ01exp(−λ0∣yw∣2)
将分子分母展开:
= ln ( 1 π λ 0 exp ( − ∣ y w ∣ 2 λ 0 ) ⋅ π λ 1 exp ( − ∣ y w ∣ 2 λ 1 ) ) = \ln \left( \frac{1}{\pi \lambda_0} \exp\left(-\frac{|y_w|^2}{\lambda_0}\right) \cdot \frac{\pi \lambda_1}{\exp\left(-\frac{|y_w|^2}{\lambda_1}\right)} \right) =ln πλ01exp(−λ0∣yw∣2)⋅exp(−λ1∣yw∣2)πλ1
分开对数函数的乘法和指数:
= ln ( λ 1 λ 0 ) + ln ( exp ( − ∣ y w ∣ 2 ( 1 λ 0 − 1 λ 1 ) ) ) = \ln \left( \frac{\lambda_1}{\lambda_0} \right) + \ln \left( \exp \left( -|y_w|^2 \left(\frac{1}{\lambda_0} - \frac{1}{\lambda_1}\right) \right) \right) =ln(λ0λ1)+ln(exp(−∣yw∣2(λ01−λ11)))
= ln ( λ 1 λ 0 ) + ( − ∣ y w ∣ 2 ( 1 λ 0 − 1 λ 1 ) ) = \ln \left( \frac{\lambda_1}{\lambda_0} \right) + \left( -|y_w|^2 \left(\frac{1}{\lambda_0} - \frac{1}{\lambda_1}\right) \right) =ln(λ0λ1)+(−∣yw∣2(λ01−λ11))
现在,将这个结果代入 KL 散度的定义中:
D ( p 0 ∥ p 1 ) = ∫ − ∞ + ∞ p 0 ( y w ) [ ln ( λ 1 λ 0 ) − ∣ y w ∣ 2 ( 1 λ 0 − 1 λ 1 ) ] d y w D(p_0 \| p_1) = \int_{-\infty}^{+\infty} p_0(y_w) \left[ \ln \left( \frac{\lambda_1}{\lambda_0} \right) - |y_w|^2 \left( \frac{1}{\lambda_0} - \frac{1}{\lambda_1} \right) \right] dy_w D(p0∥p1)=∫−∞+∞p0(yw)[ln(λ0λ1)−∣yw∣2(λ01−λ11)]dyw
我们将积分分成两部分:
D ( p 0 ∥ p 1 ) = ln ( λ 1 λ 0 ) ∫ − ∞ + ∞ p 0 ( y w ) d y w − ( 1 λ 0 − 1 λ 1 ) ∫ − ∞ + ∞ ∣ y w ∣ 2 p 0 ( y w ) d y w D(p_0 \| p_1) = \ln \left( \frac{\lambda_1}{\lambda_0} \right) \int_{-\infty}^{+\infty} p_0(y_w) \, dy_w - \left( \frac{1}{\lambda_0} - \frac{1}{\lambda_1} \right) \int_{-\infty}^{+\infty} |y_w|^2 p_0(y_w) \, dy_w D(p0∥p1)=ln(λ0λ1)∫−∞+∞p0(yw)dyw−(λ01−λ11)∫−∞+∞∣yw∣2p0(yw)dyw
第一个积分部分是 PDF 的归一化条件,因此其值为 1:
∫ − ∞ + ∞ p 0 ( y w ) d y w = 1 \int_{-\infty}^{+\infty} p_0(y_w) \, dy_w = 1 ∫−∞+∞p0(yw)dyw=1
第二个积分部分可以用复高斯分布的方差来表示。对于复高斯分布 ( p_0(y_w) ),其方差 (\lambda_0) 满足:
∫ − ∞ + ∞ ∣ y w ∣ 2 p 0 ( y w ) d y w = λ 0 \int_{-\infty}^{+\infty} |y_w|^2 p_0(y_w) \, dy_w = \lambda_0 ∫−∞+∞∣yw∣2p0(yw)dyw=λ0
因此,KL 散度的公式变为:
D ( p 0 ∥ p 1 ) = ln ( λ 1 λ 0 ) − ( 1 λ 0 − 1 λ 1 ) λ 0 D(p_0 \| p_1) = \ln \left( \frac{\lambda_1}{\lambda_0} \right) - \left( \frac{1}{\lambda_0} - \frac{1}{\lambda_1} \right) \lambda_0 D(p0∥p1)=ln(λ0λ1)−(λ01−λ11)λ0
简化这个表达式:
D ( p 0 ∥ p 1 ) = ln ( λ 1 λ 0 ) − ( 1 − λ 0 λ 1 ) D(p_0 \| p_1) = \ln \left( \frac{\lambda_1}{\lambda_0} \right) - \left( 1 - \frac{\lambda_0}{\lambda_1} \right) D(p0∥p1)=ln(λ0λ1)−(1−λ1λ0)
这是我们所需的 KL 散度公式:
D ( p 0 ∥ p 1 ) = ln ( λ 1 λ 0 ) + λ 0 λ 1 − 1 D(p_0 \| p_1) = \ln \left( \frac{\lambda_1}{\lambda_0} \right) + \frac{\lambda_0}{\lambda_1} - 1 D(p0∥p1)=ln(λ0λ1)+λ1λ0−1
这个公式表明,从 ( p 0 p_0 p0 ) 到 ( p 1 p_1 p1 ) 的 KL 散度不仅取决于这两个分布的比例关系,还考虑了它们的方差比率对整体散度的影响。