先来证明一个命题:
命题
成立的充分必要条件是 , ,…, 线性无关.
证明
充分性:
设 ,则
是一个二次型. , ,…, 线性无关的充要条件是对任意不全为 0 的 , ,…, ,都有 ,即有
故 是正定矩阵,当然 .
必要性:
成立,若有
则有
得到方程组,
由于 ,于是该齐次方程只有零解,即 ,故 , ,…, 线性无关.
Q. E. D
所以协方差矩阵 可逆的关键在于 , ,…, 线性无关,而根据 Gauss-Markov 条件, , ,…, 都是独立同分布的,独立必然不相关,不相关即为两两正交,正交必然线性无关,所以保证了协方差矩阵 可逆性.