要证明“X,Y 不相关,则 X,Y 不一定独立”,我们可以从定义入手,然后构造一个反例来说明。
核心概念回顾:
在深入证明之前,我们先回顾一下“不相关”和“独立”这两个概念的定义。这很重要,因为它们之间存在一种单向的包含关系。
不相关 (Uncorrelated): 两个随机变量 X 和 Y 是不相关的,如果它们的协方差为零。数学上表示为:
$$Cov(X, Y) = E[(X E[X])(Y E[Y])] = 0$$
如果 X 和 Y 是离散的,协方差的计算是:
$$Cov(X, Y) = sum_{i}sum_{j} (x_i E[X])(y_j E[Y]) P(X=x_i, Y=y_j)$$
或者,更常用的计算公式是:
$$Cov(X, Y) = E[XY] E[X]E[Y]$$
所以,不相关意味着 $E[XY] = E[X]E[Y]$。
独立 (Independent): 两个随机变量 X 和 Y 是独立的,如果对于 X 的任意可能取值 x 和 Y 的任意可能取值 y,联合概率分布等于它们各自边缘概率分布的乘积。数学上表示为:
$$P(X=x, Y=y) = P(X=x)P(Y=y)$$
对于连续型随机变量,则是联合概率密度函数等于边缘概率密度函数的乘积:
$$f_{XY}(x, y) = f_X(x)f_Y(y)$$
独立性有一个非常重要的推论,那就是当 X 和 Y 独立时,它们的数学期望也满足 $E[XY] = E[X]E[Y]$。这是因为:
$$E[XY] = int_{infty}^{infty} int_{infty}^{infty} xy f_{XY}(x, y) dx dy$$
由于独立性,可以替换为:
$$E[XY] = int_{infty}^{infty} int_{infty}^{infty} xy f_X(x)f_Y(y) dx dy$$
将积分拆开:
$$E[XY] = left( int_{infty}^{infty} x f_X(x) dx
ight) left( int_{infty}^{infty} y f_Y(y) dy
ight)$$
这正是 $E[X]E[Y]$。
理解关系:
通过上面的回顾,我们可以清楚地看到:
独立性 → 不相关性。 如果两个随机变量独立,那么它们一定不相关。这是因为独立性比不相关性要求更高,它要求了概率分布层面的匹配,而这必然导致了期望层面的 $E[XY] = E[X]E[Y]$。
不相关性 ≠ 独立性。 证明“X,Y 不相关,则 X,Y 不一定独立”就是要证明这个逆命题是不成立的。也就是说,我们可以找到一些情况,在这些情况下 X 和 Y 不相关,但它们却不是独立的。
构造反例来证明:
要证明这一点,最直接有效的方法就是构建一个反例。我们需要找到两个随机变量 X 和 Y,它们满足:
1. $Cov(X, Y) = 0$ (即 X 和 Y 不相关)
2. $P(X=x, Y=y)
eq P(X=x)P(Y=y)$ (即 X 和 Y 不是独立的)
让我们来构建一个简单的离散型随机变量的例子。
反例设计:
考虑一个二维随机变量 (X, Y),其联合概率分布如下表所示:
| Y X | 1 | 0 | 1 |
| : | : | : | : |
| 1 | 1/4 | 0 | 1/4 |
| 0 | 0 | 0 | 0 |
| 1 | 1/4 | 0 | 1/4 |
在这个分布中,我们有以下几个观察:
只有当 X 和 Y 的绝对值都为 1 时,联合概率才不为零。
当 X=0 或 Y=0 时,联合概率总是零。
步骤 1:验证不相关性
我们需要计算 $E[X]$、$E[Y]$、$E[XY]$,然后看 $E[XY] E[X]E[Y]$ 是否为零。
计算 $E[X]$:
首先计算 X 的边缘概率分布:
$P(X=1) = P(X=1, Y=1) + P(X=1, Y=1) = 1/4 + 1/4 = 1/2$
$P(X=0) = 0$
$P(X=1) = P(X=1, Y=1) + P(X=1, Y=1) = 1/4 + 1/4 = 1/2$
所以,
$E[X] = (1) P(X=1) + (0) P(X=0) + (1) P(X=1)$
$E[X] = (1) (1/2) + (0) (0) + (1) (1/2) = 1/2 + 0 + 1/2 = 0$
计算 $E[Y]$:
同样计算 Y 的边缘概率分布:
$P(Y=1) = P(X=1, Y=1) + P(X=1, Y=1) = 1/4 + 1/4 = 1/2$
$P(Y=0) = 0$
$P(Y=1) = P(X=1, Y=1) + P(X=1, Y=1) = 1/4 + 1/4 = 1/2$
所以,
$E[Y] = (1) P(Y=1) + (0) P(Y=0) + (1) P(Y=1)$
$E[Y] = (1) (1/2) + (0) (0) + (1) (1/2) = 1/2 + 0 + 1/2 = 0$
计算 $E[XY]$:
利用协方差的计算公式:$E[XY] = sum_{i}sum_{j} x_i y_j P(X=x_i, Y=y_j)$
$E[XY] = (1)(1)(1/4) + (1)(1)(1/4) + (1)(1)(1/4) + (1)(1)(1/4)$
$E[XY] = 1/4 1/4 1/4 + 1/4 = 0$
计算协方差 $Cov(X, Y)$:
$Cov(X, Y) = E[XY] E[X]E[Y]$
$Cov(X, Y) = 0 (0)(0) = 0$
结论: 由于 $Cov(X, Y) = 0$,所以随机变量 X 和 Y 是不相关的。
步骤 2:验证不独立性
现在我们需要检查 X 和 Y 是否满足独立性的定义:$P(X=x, Y=y) = P(X=x)P(Y=y)$。我们只需要找到一个反例即可。
我们来检查几个组合:
情况 1:X = 1, Y = 1
联合概率:$P(X=1, Y=1) = 1/4$
边缘概率:$P(X=1) = 1/2$, $P(Y=1) = 1/2$
乘积:$P(X=1)P(Y=1) = (1/2) (1/2) = 1/4$
在这个情况下,$P(X=1, Y=1) = P(X=1)P(Y=1)$。这并没有证明不独立,只是说在 这个特定组合 下,独立性被满足了。
情况 2:X = 1, Y = 1
联合概率:$P(X=1, Y=1) = 1/4$
边缘概率:$P(X=1) = 1/2$, $P(Y=1) = 1/2$
乘积:$P(X=1)P(Y=1) = (1/2) (1/2) = 1/4$
同样,在这个情况下,$P(X=1, Y=1) = P(X=1)P(Y=1)$。
情况 3:X = 1, Y = 0
联合概率:$P(X=1, Y=0) = 0$
边缘概率:$P(X=1) = 1/2$, $P(Y=0) = 0$
乘积:$P(X=1)P(Y=0) = (1/2) (0) = 0$
又一个符合独立性的情况。
情况 4:X = 0, Y = 0
联合概率:$P(X=0, Y=0) = 0$
边缘概率:$P(X=0) = 0$, $P(Y=0) = 0$
乘积:$P(X=0)P(Y=0) = (0) (0) = 0$
又一个符合独立性的情况。
等一下!我之前构造的例子似乎在所有概率为非零的组合上都满足了独立性,而所有概率为零的组合也恰好满足独立性。这意味着我可能需要调整一下反例,让它在 某些点 上明显不满足独立性。
让我重新设计一个更经典的、更明确的反例。
反例(修正版):
考虑一个包含三个点的集合 S = {(1, 0), (0, 1), (1, 0)}。我们定义随机变量 X 和 Y,使得 (X, Y) 取这些点中的一个,每个点的概率是 1/3。
联合概率分布表:
| Y X | 1 | 0 | 1 |
| : | : | : | : |
| 1 | 0 | 0 | 0 |
| 0 | 1/3 | 0 | 1/3 |
| 1 | 0 | 1/3 | 0 |
步骤 1:验证不相关性
计算 $E[X]$:
X 的边缘概率:
$P(X=1) = P(X=1, Y=0) = 1/3$
$P(X=0) = P(X=0, Y=1) = 1/3$
$P(X=1) = P(X=1, Y=0) = 1/3$
$E[X] = (1)(1/3) + (0)(1/3) + (1)(1/3) = 1/3 + 0 + 1/3 = 0$
计算 $E[Y]$:
Y 的边缘概率:
$P(Y=1) = 0$
$P(Y=0) = P(X=1, Y=0) + P(X=1, Y=0) = 1/3 + 1/3 = 2/3$
$P(Y=1) = P(X=0, Y=1) = 1/3$
$E[Y] = (1)(0) + (0)(2/3) + (1)(1/3) = 0 + 0 + 1/3 = 1/3$
计算 $E[XY]$:
$E[XY] = (1)(0)(1/3) + (0)(1)(1/3) + (1)(0)(1/3)$
$E[XY] = 0 + 0 + 0 = 0$
计算协方差 $Cov(X, Y)$:
$Cov(X, Y) = E[XY] E[X]E[Y]$
$Cov(X, Y) = 0 (0)(1/3) = 0$
结论: 随机变量 X 和 Y 是不相关的。
步骤 2:验证不独立性
现在我们来检查独立性:$P(X=x, Y=y) = P(X=x)P(Y=y)$。
我们选择一个联合概率不为零的点来检查:X = 1, Y = 0。
联合概率:$P(X=1, Y=0) = 1/3$
边缘概率:
$P(X=1) = 1/3$
$P(Y=0) = 2/3$
边缘概率的乘积:$P(X=1)P(Y=0) = (1/3) (2/3) = 2/9$
比较:
$P(X=1, Y=0) = 1/3$
$P(X=1)P(Y=0) = 2/9$
因为 $1/3
eq 2/9$,所以 $P(X=1, Y=0)
eq P(X=1)P(Y=0)$。
结论: 随机变量 X 和 Y 不是独立的。
总结论证过程:
1. 回顾定义: 我们明确了“不相关”是指协方差为零 ($E[XY] = E[X]E[Y]$),而“独立”是指联合概率等于边缘概率乘积 ($P(X=x, Y=y) = P(X=x)P(Y=y)$),并且独立性蕴含不相关性。
2. 证明方向: 要证明“不相关不一定独立”,我们只需找到一个反例,即存在一对随机变量 X, Y,它们不相关但不是独立的。
3. 构造反例: 我们构造了一个具体的二维概率分布。在这个分布中,我们通过计算证明了 $Cov(X, Y) = 0$,表明 X 和 Y 不相关。
4. 验证不独立: 然后,我们选取了概率分布中的一个特定组合点 (X=1, Y=0),计算其联合概率和各自边缘概率的乘积。我们发现 $P(X=1, Y=0)
eq P(X=1)P(Y=0)$,这就证明了 X 和 Y 不是独立的。
因此,通过构造这个反例,我们成功地证明了“X,Y 不相关,则 X,Y 不一定独立”。这个例子也生动地说明了独立性比不相关性要求更高。不相关只是消除了线性关系的影响,但可能仍然存在更复杂的非线性关系,使得它们不是独立的。