期望、方差、协方差和协方差矩阵 - 好文

一、期望

1.离散随机变量的X的数学期望：

E(X)=∑k=1∞xkpkE(X)=∑k=1∞xkpk

2.连续型随机变量X的数学期望：

E(X)=∫+∞−∞xf(x)dxE(X)=∫−∞+∞xf(x)dx

3.常见分布的期望

1）泊松分布的期望等于λλ；
2）均匀分布的期望位于区间的中心；
3）高斯分布的期望为μμ
4）二项分布的期望为npnp

4.期望的性质

常数的期望等于该常数；
E(CX)=CE(X)E(CX)=CE(X);
E(X+Y)=E(X)+E(Y)E(X+Y)=E(X)+E(Y);
X,YX,Y独立时，E(XY)=E(X)E(Y)E(XY)=E(X)E(Y)

二、方差

研究随机变量与其均值的偏离程度，记为：

D(X)=E[X−E(X)]2D(X)=E[X−E(X)]2

1.均方差，标准差

σ(X)=E[X−E(X)]2−−−−−−−−−−−√σ(X)=E[X−E(X)]2

2.方差的计算

把E[X−E(X)]2E[X−E(X)]2看做函数g(X)g(X), 方差相当于求g(X)g(X)的期望。
对于离散的：
D(X)=∑k=1∞[xk−E(X)]2pkD(X)=∑k=1∞[xk−E(X)]2pk
对于连续的：D(X)=∫+∞−∞[xk−E(X)]2f(x)dxD(X)=∫−∞+∞[xk−E(X)]2f(x)dx

实际中常用下面公式计算：

D(X)=E(X2)+[E(X)]2D(X)=E(X2)+[E(X)]2

3.常见分布的方差

1）高斯分布的方差σ2σ2
2) 0-1分布的方差为D(X)=p(1−p)D(X)=p(1−p)
3) 泊松分布的方差为λλ
4) 均匀分布的方差为(b−a)212(b−a)212
5)指数分布f(x)=1θe−x/θf(x)=1θe−x/θ的方差为 θ2θ2

4. 性质

三、协方差

描述两个变量的相关性

Cov=E[X−E(X)][Y−E(Y)]Cov=E[X−E(X)][Y−E(Y)]
相关系数
ρXY=Cov(X,Y)D(X)−−−−−√D(Y)−−−−−√ρXY=Cov(X,Y)D(X)D(Y)
ρXY=0ρXY=0, 两个变量不相关

四、协方差矩阵

推广到多维：

对于连续的情况：

例子：
可以参考下面的博客：
详解协方差与协方差矩阵：https://blog.csdn.net/ybdesire/article/details/6270328
<https://blog.csdn.net/ybdesire/article/details/6270328>

参考：概率论与数理统计浙大

热门工具换一换