2.1 方向一:独立 ⇒ 不相关(Σ12=0)
证明:
若 X(1) 与 X(2) 相互独立,则对任意 i=1,2,…,r 和 j=1,2,…,p−r,有:
Cov(Xi(1),Xj(2))=0
详细推导:
由协方差的定义:
Cov(Xi(1),Xj(2))=E[(Xi(1)−μi(1))(Xj(2)−μj(2))]
由于 X(1) 与 X(2) 相互独立,故 Xi(1) 与 Xj(2) 也相互独立,因此:
E[(Xi(1)−μi(1))(Xj(2)−μj(2))]=E[Xi(1)−μi(1)]⋅E[Xj(2)−μj(2)]
而:
E[Xi(1)−μi(1)]=E[Xi(1)]−μi(1)=μi(1)−μi(1)=0
E[Xj(2)−μj(2)]=E[Xj(2)]−μj(2)=μj(2)−μj(2)=0
因此:
Cov(Xi(1),Xj(2))=0⋅0=0
由于这对所有 i,j 都成立,故协方差矩阵 Σ12 的所有元素均为 0,即:
Σ12=0
注记:由于 Σ21=Σ12′,故 Σ21=0 也成立。
2.2 方向二:不相关(Σ12=0)⇒ 独立
这是多元正态分布特有的性质,需要利用特征函数或密度函数进行证明。
方法一:利用特征函数证明
证明:
设 X∼Np(μ,Σ),其中:
μ=[μ(1)μ(2)],Σ=[Σ11Σ21Σ12Σ22]
X 的特征函数为:
φX(t)=E[eit′X]=exp(it′μ−21t′Σt)
其中 t=[t(1)t(2)],t(1) 是 r 维向量,t(2) 是 (p−r) 维向量。
将 t′μ 和 t′Σt 展开:
第一步:展开 t′μ
t′μ=[t(1)′t(2)′][μ(1)μ(2)]=t(1)′μ(1)+t(2)′μ(2)
第二步:展开 t′Σt
t′Σt=[t(1)′t(2)′][Σ11Σ21Σ12Σ22][t(1)t(2)]=[t(1)′t(2)′][Σ11t(1)+Σ12t(2)Σ21t(1)+Σ22t(2)]=t(1)′(Σ11t(1)+Σ12t(2))+t(2)′(Σ21t(1)+Σ22t(2))=t(1)′Σ11t(1)+t(1)′Σ12t(2)+t(2)′Σ21t(1)+t(2)′Σ22t(2)第三步:利用 Σ12=0 的条件
若 Σ12=0,则 Σ21=Σ12′=0,因此:
t′Σt=t(1)′Σ11t(1)+t(2)′Σ22t(2)
第四步:代入特征函数
φX(t)=exp(it′μ−21t′Σt)=exp(i(t(1)′μ(1)+t(2)′μ(2))−21(t(1)′Σ11t(1)+t(2)′Σ22t(2)))=exp(it(1)′μ(1)−21t(1)′Σ11t(1))⋅exp(it(2)′μ(2)−21t(2)′Σ22t(2))第五步:识别边缘特征函数
注意到:
- exp(it(1)′μ(1)−21t(1)′Σ11t(1)) 是 X(1)∼Nr(μ(1),Σ11) 的特征函数
- exp(it(2)′μ(2)−21t(2)′Σ22t(2)) 是 X(2)∼Np−r(μ(2),Σ22) 的特征函数
因此:
φX(t)=φX(1)(t(1))⋅φX(2)(t(2))
第六步:由特征函数的性质得出独立性
特征函数的乘积性质表明:若联合特征函数等于边缘特征函数的乘积,则随机向量相互独立。
因此,X(1) 与 X(2) 相互独立。
方法二:利用密度函数证明(非退化情况)
证明:
假设 Σ>0(非退化情况),则 X 的联合密度函数为:
fX(x)=(2π)p/2∣Σ∣1/21exp[−21(x−μ)′Σ−1(x−μ)]
其中 x=[x(1)x(2)]。
第一步:计算 ∣Σ∣
当 Σ12=0 时:
Σ=[Σ1100Σ22]
分块对角矩阵的行列式等于各块行列式的乘积:
∣Σ∣=∣Σ11∣⋅∣Σ22∣
第二步:计算 Σ−1
分块对角矩阵的逆矩阵为:
Σ−1=[Σ11−100Σ22−1]
第三步:展开二次型 (x−μ)′Σ−1(x−μ)
(x−μ)′Σ−1(x−μ)=[x(1)−μ(1)x(2)−μ(2)]′[Σ11−100Σ22−1][x(1)−μ(1)x(2)−μ(2)]=[(x(1)−μ(1))′(x(2)−μ(2))′][Σ11−1(x(1)−μ(1))Σ22−1(x(2)−μ(2))]=(x(1)−μ(1))′Σ11−1(x(1)−μ(1))+(x(2)−μ(2))′Σ22−1(x(2)−μ(2))第四步:代入密度函数
fX(x)=(2π)p/2∣Σ∣1/21exp[−21((x(1)−μ(1))′Σ11−1(x(1)−μ(1))+(x(2)−μ(2))′Σ22−1(x(2)−μ(2)))]=(2π)r/2∣Σ11∣1/21exp[−21(x(1)−μ(1))′Σ11−1(x(1)−μ(1))]×(2π)(p−r)/2∣Σ22∣1/21exp[−21(x(2)−μ(2))′Σ22−1(x(2)−μ(2))]=fX(1)(x(1))⋅fX(2)(x(2))第五步:由密度函数的乘积性质得出独立性
联合密度函数等于边缘密度函数的乘积,因此 X(1) 与 X(2) 相互独立。