随机向量协方差矩阵的对称非负定性质及其意义对称性证明

性质：协方差矩阵 $\Sigma$ 是对称矩阵，即 $\Sigma^T = \Sigma$ 。

证明：

\sigma_{ij} = \text{Cov}(X_i, X_j) = E[(X_i - E[X_i])(X_j - E[X_j])]

\sigma_{ji} = \text{Cov}(X_j, X_i) = E[(X_j - E[X_j])(X_i - E[X_i])]

由于乘法的交换性， $(X_i - E[X_i])(X_j - E[X_j]) = (X_j - E[X_j])(X_i - E[X_i])$ ，因此：

\sigma_{ij} = \sigma_{ji}

这说明协方差矩阵关于主对角线对称。

非负定性（半正定性）证明

性质：协方差矩阵 $\Sigma$ 是非负定（半正定）矩阵，即对任意非零向量 $v \in \mathbb{R}^n$ ，有 $v^T \Sigma v \geq 0$ 。

证明方法一（分量形式）：

对任意实向量 $v = (v_1, v_2, \dots, v_n)^T$ ，有：

v^T \Sigma v = \sum_{i=1}^n \sum_{j=1}^n v_i \sigma_{ij} v_j

令 $Y = v^T X = \sum_{i=1}^n v_i X_i$ ，则：

v^T \Sigma v = v^T E[(X - E[X])(X - E[X])^T] v

= E[v^T (X - E[X])(X - E[X])^T v]

= E[(v^T (X - E[X]))^2] = \text{Var}(Y) \geq 0

因为方差总是非负的，所以 $v^T \Sigma v \geq 0$ 。

证明方法二（整体形式）：

v^T \Sigma v = v^T E[(X - \mu)(X - \mu)^T] v = E[v^T (X - \mu)(X - \mu)^T v]

= E[((X - \mu)^T v)^T ((X - \mu)^T v)] = E[\| (X - \mu)^T v \|^2_2] \geq 0

特征值非负：由于 $\Sigma$ 是非负定矩阵，其所有特征值 $\lambda_i \geq 0$
可对角化：由于 $\Sigma$ 是实对称矩阵，存在正交矩阵 $Q$ 使得：
$\Sigma = Q \Lambda Q^T$
其中 $\Lambda$ 是对角矩阵，对角线元素为特征值
正定性的条件：当且仅当随机向量 $X$ 的分量线性无关时， $\Sigma$ 是正定矩阵（所有特征值 $> 0$ ）

协方差矩阵描述了多维数据在空间中的分布形状：

在多元正态分布中，协方差矩阵定义了等概率密度面的形状——一个椭球：

PCA的核心就是对协方差矩阵进行特征值分解：

马氏距离定义为：

D_M(x, \mu) = \sqrt{(x - \mu)^T \Sigma^{-1} (x - \mu)}

相比欧氏距离，马氏距离：

在现代投资组合理论中：