关于“如果变量 X 和 Y 独立,如何证明 E(X+Y) = E(X) + E(Y) 和 E(XY) = E(X)E(Y)?”这个问题,我们可以从概率论的基本定义出发,一步步进行推导。独立性在这里扮演着至关重要的角色,它允许我们将原本纠缠在一起的变量操作分离开来。
一、 理解基本概念
在深入证明之前,我们先回顾几个核心概念:
随机变量 (Random Variable): 这是一个将随机实验的结果映射到实数的函数。简单来说,它是一个会随着某种随机过程而变化的数值。
期望 (Expectation, E[.]): 期望是随机变量的“平均值”或“中心趋势”。对于一个离散随机变量 $X$,它的期望定义为 $E(X) = sum_{x} x P(X=x)$,其中 $x$ 是 $X$ 可能取到的值,$P(X=x)$ 是 $X$ 取到值 $x$ 的概率。对于连续随机变量 $Y$,期望定义为 $E(Y) = int_{infty}^{infty} y f(y) dy$,其中 $f(y)$ 是 $Y$ 的概率密度函数。
独立性 (Independence): 两个随机变量 $X$ 和 $Y$ 被称为独立的,如果它们之间没有统计上的关联性。这意味着知道其中一个变量的值,对另一个变量的概率分布没有任何影响。
对于离散变量,独立性的定义是:对于所有可能的 $x$ 和 $y$, $P(X=x, Y=y) = P(X=x) P(Y=y)$。
对于连续变量,如果 $X$ 的概率密度函数为 $f_X(x)$, $Y$ 的概率密度函数为 $f_Y(y)$,并且它们的联合概率密度函数为 $f_{XY}(x, y)$,那么它们独立的条件是:对于所有 $x, y$, $f_{XY}(x, y) = f_X(x) f_Y(y)$。
二、 证明 E(X+Y) = E(X) + E(Y)
这个性质被称为期望的线性性质 (Linearity of Expectation)。值得强调的是,这个性质并不需要 $X$ 和 $Y$ 是独立的。它适用于任何随机变量,无论它们是否相关。不过,既然题目要求了在独立性条件下证明,我们也可以使用一些更基础的工具来推导,虽然这并非独立性本身带来的。
我们以离散随机变量为例来证明,连续变量的证明思路类似。
假设 $X$ 是一个离散随机变量,取值为 $x_1, x_2, dots, x_m$,对应的概率为 $P(X=x_i)$。
假设 $Y$ 是一个离散随机变量,取值为 $y_1, y_2, dots, y_n$,对应的概率为 $P(Y=y_j)$。
考虑随机变量 $Z = X+Y$。 $Z$ 的可能取值是 $x_i + y_j$ 的所有组合。
$Z$ 取到特定值 $z$ 的概率是 $P(Z=z) = P(X+Y=z)$。
根据期望的定义,我们有:
$E(X+Y) = sum_{z} z P(Z=z)$
这里的求和是针对 $Z$ 所有可能的取值。我们可以将这个求和重新组织一下,使得它涉及到 $X$ 和 $Y$ 的具体值:
$E(X+Y) = sum_{i=1}^{m} sum_{j=1}^{n} (x_i + y_j) P(X=x_i, Y=y_j)$
现在,我们将求和展开:
$E(X+Y) = sum_{i=1}^{m} sum_{j=1}^{n} x_i P(X=x_i, Y=y_j) + sum_{i=1}^{m} sum_{j=1}^{n} y_j P(X=x_i, Y=y_j)$
我们来分别看这两个部分。
第一部分: $sum_{i=1}^{m} sum_{j=1}^{n} x_i P(X=x_i, Y=y_j)$
在这个求和中,$x_i$ 是一个常数(相对于 $j$ 的求和而言)。我们可以将其提到内部求和外面:
$= sum_{i=1}^{m} x_i left( sum_{j=1}^{n} P(X=x_i, Y=y_j)
ight)$
括号里的 $sum_{j=1}^{n} P(X=x_i, Y=y_j)$ 表示在 $X$ 取值为 $x_i$ 的情况下,$Y$ 取任何可能值的概率之和。根据概率的性质,这等于 $X$ 取值为 $x_i$ 的概率,即 $P(X=x_i)$(这是通过边缘概率的定义得到的:$P(X=x_i) = sum_{j} P(X=x_i, Y=y_j)$)。
所以,第一部分变为:
$= sum_{i=1}^{m} x_i P(X=x_i)$
这正是 $E(X)$ 的定义。
第二部分: $sum_{i=1}^{m} sum_{j=1}^{n} y_j P(X=x_i, Y=y_j)$
类似地,在这个求和中,$y_j$ 是一个常数(相对于 $i$ 的求和而言)。我们可以将其提到内部求和外面:
$= sum_{j=1}^{n} y_j left( sum_{i=1}^{m} P(X=x_i, Y=y_j)
ight)$
括号里的 $sum_{i=1}^{m} P(X=x_i, Y=y_j)$ 表示在 $Y$ 取值为 $y_j$ 的情况下,$X$ 取任何可能值的概率之和。这等于 $Y$ 取值为 $y_j$ 的概率,即 $P(Y=y_j)$(同样是边缘概率的定义:$P(Y=y_j) = sum_{i} P(X=x_i, Y=y_j)$)。
所以,第二部分变为:
$= sum_{j=1}^{n} y_j P(Y=y_j)$
这正是 $E(Y)$ 的定义。
将两部分结合起来,我们得到:
$E(X+Y) = E(X) + E(Y)$
总结: 证明 $E(X+Y) = E(X) + E(Y)$ 主要依赖于期望的定义和概率的求和性质,以及边缘概率的概念。它并不直接利用到随机变量的独立性。
三、 证明 E(XY) = E(X)E(Y)
这个性质被称为期望的乘法性质 (Multiplicative Property of Expectation),而随机变量的独立性是证明这个性质的必要条件。
我们同样以离散随机变量为例。
假设 $X$ 是一个离散随机变量,取值为 $x_1, x_2, dots, x_m$,对应的概率为 $P(X=x_i)$。
假设 $Y$ 是一个离散随机变量,取值为 $y_1, y_2, dots, y_n$,对应的概率为 $P(Y=y_j)$。
我们考虑随机变量 $XY$ 的期望:
$E(XY) = sum_{i=1}^{m} sum_{j=1}^{n} (x_i y_j) P(X=x_i, Y=y_j)$
现在,我们利用独立性条件:
因为 $X$ 和 $Y$ 是独立的,所以它们的联合概率等于它们各自概率的乘积:
$P(X=x_i, Y=y_j) = P(X=x_i) P(Y=y_j)$
将此代入 $E(XY)$ 的表达式:
$E(XY) = sum_{i=1}^{m} sum_{j=1}^{n} (x_i y_j) [P(X=x_i) P(Y=y_j)]$
我们可以将 $x_i$ 和 $P(X=x_i)$ 结合,以及将 $y_j$ 和 $P(Y=y_j)$ 结合,并利用求和的性质将它们分开:
$E(XY) = sum_{i=1}^{m} sum_{j=1}^{n} [x_i P(X=x_i)] [y_j P(Y=y_j)]$
由于 $x_i P(X=x_i)$ 对于关于 $j$ 的求和是常数,我们可以将其提出内部求和:
$E(XY) = sum_{i=1}^{m} [x_i P(X=x_i)] left( sum_{j=1}^{n} y_j P(Y=y_j)
ight)$
注意到,括号里的 $sum_{j=1}^{n} y_j P(Y=y_j)$ 正是 $E(Y)$ 的定义。所以表达式变成:
$E(XY) = sum_{i=1}^{m} [x_i P(X=x_i)] E(Y)$
因为 $E(Y)$ 是一个常数(相对于关于 $i$ 的求和),我们可以将其提出外部求和:
$E(XY) = E(Y) left( sum_{i=1}^{m} x_i P(X=x_i)
ight)$
而 $sum_{i=1}^{m} x_i P(X=x_i)$ 正是 $E(X)$ 的定义。
因此,我们得到:
$E(XY) = E(Y) E(X) = E(X)E(Y)$
证明的关键点在于将联合概率 $P(X=x_i, Y=y_j)$ 分解为 $P(X=x_i) P(Y=y_j)$,这是独立性赋予的权利。 只有这样,我们才能将原先嵌套的求和拆分成两个独立的求和项,每个项分别对应 $E(X)$ 和 $E(Y)$ 的形式。
对于连续随机变量的证明:
如果 $X$ 和 $Y$ 是独立的连续随机变量,它们的联合概率密度函数为 $f_{XY}(x, y)$,而它们各自的概率密度函数为 $f_X(x)$ 和 $f_Y(y)$。
根据独立性,$f_{XY}(x, y) = f_X(x) f_Y(y)$。
$E(XY) = int_{infty}^{infty} int_{infty}^{infty} xy f_{XY}(x, y) dx dy$
代入独立性条件:
$E(XY) = int_{infty}^{infty} int_{infty}^{infty} xy f_X(x) f_Y(y) dx dy$
利用积分的性质,可以将 $f_X(x)$ 和 $f_Y(y)$ 分开:
$E(XY) = int_{infty}^{infty} x f_X(x) left( int_{infty}^{infty} y f_Y(y) dy
ight) dx$
内部的积分 $int_{infty}^{infty} y f_Y(y) dy$ 就是 $E(Y)$。
$E(XY) = int_{infty}^{infty} x f_X(x) E(Y) dx$
$E(Y)$ 是一个常数,可以提出积分:
$E(XY) = E(Y) int_{infty}^{infty} x f_X(x) dx$
外部的积分 $int_{infty}^{infty} x f_X(x) dx$ 就是 $E(X)$。
$E(XY) = E(Y) E(X) = E(X)E(Y)$
总而言之,
$E(X+Y) = E(X) + E(Y)$ 是期望的线性性质,与独立性无关,只依赖于期望的定义和概率的基本性质。
$E(XY) = E(X)E(Y)$ 是期望的乘法性质,只有在 $X$ 和 $Y$ 独立的情况下才成立。独立性允许我们将联合概率分解为各自概率的乘积,从而分离出 $E(X)$ 和 $E(Y)$ 的形式。