数理统计学的基本概念

总体与样本

总体

在数理统计学中，把研究对象的全体称为总体（母体），组成总体的每个元素称为个体。 在许多实际问题中，我们关心的不是个体本身，而是个体的某项数量指标，我们将这个数量指标取值的全体称为总体。

样本

从总体中抽取$n$个个体，其数量指标分别为$X_1,X_2,\dots ,X_n$，称$X_1,X_2,\dots ,X_n$为来自总体$X$的容量为$n$的样本（子样）。 其中$n$称为样本容量（样本大小）。

简单随机样本

如果$X_1,X_2,\dots ,X_n$满足下列条件：

1. 每个$X_i$都与总体$X$有相同的分布
2. $X_1,X_2,\dots ,X_n$相互独立

则称$X_1,X_2,\dots ,X_n$为来自总体$X$的简单随机样本，简称样本。

统计量

定义

设$X_1,X_2,\dots ,X_n$是来自总体$X$的样本，$T(X_1,X_2,\dots ,X_n)$是$X_1,X_2,\dots ,X_n$的函数，若$T$中不含任何未知参数，则称$T(X_1,X_2,\dots ,X_n)$为统计量。

注意：

1. 统计量是不含未知参数的样本的函数。
2. 统计量既然依赖于样本，而后者又是随机变量，即统计量是随机变量的函数，故统计量是随机变量。

常用统计量

1. 样本均值

$$\bar{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$$

反应了总体均值$E(X)$的估计值。

2. 样本方差

$$S^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-\bar{X}{)}^2$$

反应了总体方差$D(X)$的估计值。

3. 样本标准差

$$S=\sqrt{S^2}=\sqrt{\frac{1}{n-1}\sum _{i=1}^n(X_i-\bar{X}{)}^2}$$

反应了总体标准差$\sqrt{D(X)}$的估计值。

4. 样本$k$阶(原点)矩

$$A_k=\frac{1}{n}\sum _{i=1}^n{X}_i^k$$

反应了总体$k$阶原点矩$E(X^k)$的估计值。

5. 样本$k$阶中心矩

$$B_k=\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^k$$

反应了总体$k$阶中心矩$E((X-E(X){)}^k)$的估计值。

6. 顺序统计量 设 $X_1,X_2,\dots ,X_n$ 是来自总体 $X$ 的样本，将 $X_1,X_2,\dots ,X_n$ 按照从小到大排列为

$$X_{(1)}\le X_{(2)}\le \cdots \le X_{(n)}$$

其中$X_{(1)}$是最小值，$X_{(n)}$是最大值。 $X_{(k)}$称为第 $k$ 个顺序统计量。 $R=X_{(n)}-X_{(1)}$称为极差。

抽样分布

定义

设 $X_1,X_2,\dots ,X_n$ 是来自总体 $X$ 的样本，$T(X_1,X_2,\dots ,X_n)$ 是样本 $X_1,X_2,\dots ,X_n$ 的函数，且不含任何未知参数，则 $T(X_1,X_2,\dots ,X_n)$ 的分布称为抽样分布。

三大抽样分布

chi-square分布

定义

设 $X_1,X_2,\dots ,X_n$ 是来自正态总体 $N(0,1)$ 的样本，且相互独立，则称统计量

$${\chi }^2=X_1^2+X_2^2+\cdots +X_n^2$$

满足自由度为 $n$ 的 ${\chi }^2$ 分布，记为 ${\chi }^2\sim {\chi }^2(n)$。 其中：$n$ 代表独立随机变量的个数，也称为自由度。

概率密度函数

$$f(x)=\frac{1}{2^{n/2}\mathrm{\Gamma }(n/2)}{x}^{\frac{n}{2}-1}{e}^{-\frac{x}{2}},x>0$$

$\mathrm{\Gamma }(n)$ 是 $\mathrm{\Gamma }$ 函数，通过积分定义：

$$\mathrm{\Gamma }(n)={\int }_0^{+\mathrm{\infty }}{x}^{n-1}{e}^{-x}dx$$

当 $n$ 为正整数时，$\mathrm{\Gamma }(n)=(n-1)!$。 特别的，当 $n=2$ 时，${\chi }^2(2)$ 分布的概率密度函数为：

$$f(x)=\frac{1}{2}{e}^{-x/2},x>0$$

性质

1. 设$X_1,X_2,\dots ,X_n$相互独立，且满足正态分布$N(\mu ,{\sigma }^2)$，则：

$$\frac{1}{{\sigma }^2}\sum _{i=1}^n(X_i-\mu {)}^2\sim {\chi }^2(n)$$

2. 设$X\sim {\chi }^2(n)$，则$E(X)=n$，$D(X)=2n$
3. $X_1\sim {\chi }^2(n_1)$，$X_2\sim {\chi }^2(n_2)$，且$X_1$与$X_2$相互独立，则$X_1+X_2\sim {\chi }^2(n_1+n_2)$，称为${\chi }^2$分布的可加性。

student's t分布

定义

设 $X\sim N(0,1)$，$Y\sim {\chi }^2(n)$，且 $X$ 与 $Y$ 相互独立，则称统计量

$$t=\frac{X}{\sqrt{Y/n}}$$

满足自由度为 $n$ 的 $t$ 分布，记为 $t\sim t(n)$。 其中：$n$ 代表独立随机变量的个数，也称为自由度。

概率密度函数

$$f(t)=\frac{\mathrm{\Gamma }((n+1)/2)}{\sqrt{n\pi }\mathrm{\Gamma }(n/2)}(1+\frac{t^2}{n}{)}^{-\frac{n+1}{2}},-\mathrm{\infty }<t<+\mathrm{\infty }$$

性质

1. $t$ 分布的密度函数是关于 $t=0$ 对称的。且 $\underset{|t|\to \mathrm{\infty }}{lim}f(t)=0$。
2. $t$ 分布的密度函数形状是中间高，两边低，左右对称，与标准正态分布的概率密度函数图像类似，

$$\underset{n\to \mathrm{\infty }}{lim}f(t)=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{t^2}{2}}$$

即

$$\underset{n\to \mathrm{\infty }}{lim}t(n)=N(0,1)$$

3. 设 $T\sim t(n)$， $n>1$，则对于 $r<n$， $E(T^r)$ 存在，且：

$$E(T^r)=\{\begin{array}{ll}0,& r\mathrm{为}\mathrm{奇}\mathrm{数}\\ \frac{\mathrm{\Gamma }((n+r)/2)}{\mathrm{\Gamma }(n/2)\sqrt{n\pi }}{2}^{r/2}\frac{\mathrm{\Gamma }(r/2)}{\mathrm{\Gamma }((r+1)/2)},& r\mathrm{为}\mathrm{偶}\mathrm{数}\end{array}$$

4. 当$n=1$时，$t(1)$分布即为$Cauchy$分布，即：

$$f(t)=\frac{1}{\pi (1+t^2)},-\mathrm{\infty }<t<+\mathrm{\infty }$$

其数学期望和方差均不存在。

Fisher分布

定义

设 $X\sim {\chi }^2(n)$，$Y\sim {\chi }^2(m)$，且 $X$ 与 $Y$ 相互独立，则称统计量

$$F=\frac{X/n}{Y/m}$$

满足自由度为 $(n,m)$ 的 $F$ 分布，记为 $F\sim F(n,m)$。 其中：$n$ 和 $m$ 代表独立随机变量的个数，也称为自由度。

概率密度函数

$$f(x)=\frac{\mathrm{\Gamma }((n+m)/2)}{\mathrm{\Gamma }(n/2)\mathrm{\Gamma }(m/2)}(n/m{)}^{n/2}{x}^{n/2-1}(1+nx/m{)}^{-(n+m)/2},x>0$$

性质

1. 设 $X\sim F(n,m)$，则 $\frac{1}{X}\sim F(m,n)$
2. 设 $T\sim t(n)$，则 $T^2\sim F(1,n)$

要求随机变量独立！

几个重要的抽样分布

引理

设 $X_1,X_2,\dots ,X_n$ 是来自任意总体 $X$ 的样本，$E(X)=\mu$ 与 $D(X)={\sigma }^2$ 分别是总体的均值与方差，$\bar{X}$ 与 $S^2$ 分别是样本均值与样本方差，即：

$$\bar{X}=\frac{1}{n}\sum _{i=1}^n{X}_i,S^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-\bar{X}{)}^2$$

有：

$$E(\bar{X})=\mu ,D(\bar{X})=\frac{{\sigma }^2}{n},E(S^2)={\sigma }^2$$

结论

1. 若 $X_1,X_2,\dots ,X_n$ 是来自正态总体 $N(\mu ,{\sigma }^2)$ 的样本，$\bar{X}$代表样本均值则有

$$\bar{X}\sim N(\mu ,{\sigma }^2/n)$$

即

$$\frac{\bar{X}-\mu }{\sigma /\sqrt{n}}\sim N(0,1)$$

2. 若 $X_1,X_2,\dots ,X_n$ 是来自正态总体 $N(\mu ,{\sigma }^2)$ 的样本，$S^2$代表样本方差则有

$$\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1)$$

且$\bar{X}$与$S^2$相互独立。

3. 若 $X_1,X_2,\dots ,X_n$ 是来自正态总体 $N(\mu ,{\sigma }^2)$ 的样本，$\bar{X}$与$S^2$分别代表样本均值与样本方差，则有

$$\frac{\bar{X}-\mu }{S/\sqrt{n}}\sim t(n-1)$$

4. 若 $X_1,X_2,\dots ,X_n$ 是来自正态总体 $N({\mu }_1,{\sigma }^2)$ 的样本，$Y_1,Y_2,\dots ,Y_m$ 是来自正态总体 $N({\mu }_2,{\sigma }^2)$ 的样本，且两个样本相互独立，$\bar{X}$与$S_1^2$分别代表第一个样本的样本均值与样本方差，$\bar{Y}$与$S_2^2$分别代表第二个样本的样本均值与样本方差，则有

$$\frac{\bar{X}-\bar{Y}-({\mu }_1-{\mu }_2)}{S_{\omega }\sqrt{\frac{1}{n}+\frac{1}{m}}}\sim t(n+m-2)$$

其中

$$S_{\omega }^2=\frac{(n-1)S_1^2+(m-1)S_2^2}{n+m-2}$$

称为合并方差

5. 若 $X_1,X_2,\dots ,X_n$ 是来自正态总体 $N({\mu }_1,{\sigma }_1^2)$ 的样本，$Y_1,Y_2,\dots ,Y_m$ 是来自正态总体 $N({\mu }_2,{\sigma }_2^2)$ 的样本，且两个样本相互独立，$\bar{X}$与$S_1^2$分别代表第一个样本的样本均值与样本方差，$\bar{Y}$与$S_2^2$分别代表第二个样本的样本均值与样本方差，则有

$$\frac{S_1^2/{\sigma }_1^2}{S_2^2/{\sigma }_2^2}\sim F(n-1,m-1)$$