数理统计——次序统计量

在次序统计量的part1，我主要讲一些定义和计算上的技巧，这些也是数理统计必须要求掌握的部分。 如果想对次序统计量有全面的理解，不仅局限于数理统计这门课程的话，建议看David编写的《Order Statistics》，会对次序统计量有更全面的了解，我这里的part2只会给出有关数理统计部分的充分性和完备性的部分,当然这部分的证明甚至是结论在课程中也是不要求掌握的，有兴趣的同学可以自行观看。

Part1

定义：

设$X_1,...,X_n$为样本，把$X_1,...,X_n$由小到大排列成$X_{(1)}\le ,...,\le X_{(n)}$ ,则称$(X_{(1)}\le ,...,\le X_{(n)})$为次序统计量，$X_{(i)}$称为第$i$个次序统计量。

• 极值统计量：称$X_{(1)}$ 为极小值统计量，$X_{(n)}$为极大值统计量
• 极差(Range)：$R=X_{(n)}-X_{(1)}$，极差反映了数据的变化范围。

性质

第$k$个次序统计量的分布函数：

记$X_1,...,X_n$是i.i.d服从分布$F$的随机变量，那么次序统计量$X_{(k)}$的分布函数为

$$F_k(x)=\sum _{i=k}^n\left(\genfrac{}{}{0ex}{}{n}{i}\right)[F(x){]}^i[1-F(x){]}^{n-i}=k\left(\genfrac{}{}{0ex}{}{n}{k}\right){\int }_0^{F(x)}{t}^{k-1}(1-t{)}^{n-k}dt$$

下面我分别给出两个等式的证明。

证明：

$$\begin{array}{c}\begin{array}{rl}{F}_k(x)=P\{X_{(k)}\le x\}& =P\{至少有k个样本小于x\}\\ P\{X\le x\}& =F(x),\\ P\{至少有k个样本小于x\}& =\sum _{i=k}^n\left(\genfrac{}{}{0ex}{}{n}{i}\right)[F(x){]}^i[1-F(x){]}^{n-i}\end{array}\end{array}$$

第二个等式：

思路：验证两边导函数相同，并且原函数常数项也相同。

$$\begin{array}{c}\begin{array}{rl}首先，& 容易验证当F_k(x)=0时等号成立(验证常数项)\\ 为了方& 便书写，后面将F(x)记为p\\ F_k^{{}^{\prime }}(p)& =\sum _{i=k}^n[i{C}_n^i{p}^{i-1}(1-p{)}^{n-i}+(i-n)C_n^i{p}^i(1-p{)}^{n-i-1}]\\ & =k{C}_n^k{p}^{k-1}(1-p{)}^{n-k}+\sum _{i=k+1}^{n}i{C}_n^i{p}^{i-1}(1-p{)}^{n-i}-\sum _{i=k}^n(n-i)C_n^i{p}^i(1-p{)}^{n-i-1}\\ & =k{C}_n^k{p}^{k-1}(1-p{)}^{n-k}+\sum _{i=k}^{n-1}(i+1)C_n^{i+1}{p}^i(1-p{)}^{n-i-1}-\sum _{i=k}^{n-1}(n-i)C_n^i{p}^i(1-p{)}^{n-i-1}\\ & =k{C}_n^k{p}^{k-1}(1-p{)}^{n-k}+\sum _{i=k}^{n-1}[(i+1)C_n^{i+1}-(n-i)C_n^i]p^i(1-p{)}^{n-i-1}\\ & =k{C}_n^k{p}^{k-1}(1-p{)}^{n-k}\end{array}\end{array}$$

将$F(x)$代换回去后不难看出等号成立，对于次序统计量而言，他的分布函数我很少用到，更多的是用密度函数来进行计算求解，对于第二个积分形式的分布函数而言，我感觉这种形如beta分布的分布函数可能有其特殊的作用，但是我没有找到相关的资料，后面可能会继续补充这一部分

第$k$个次序统计量的密度函数

$$f_k\left(x\right)=k\left(\begin{array}{c}n\\ k\end{array}\right)[F(x){]}^{k-1}[1-F(x){]}^{n-k}f(x)$$

由上面提到的次序统计量积分形式的分布函数直接进行求导可以直接得到密度函数，但是我这里再给出一个更本质的求密度函数的方法。

$$\begin{array}{c}\begin{array}{rl}f(x)& =\underset{\Delta x\to 0}{\lim }\frac{P(x<X\le x+\Delta x)}{\Delta x}=\underset{\Delta x\to 0}{\lim }\frac{F(x+\Delta x)-F(x)}{\Delta x}\\ f_k\left(x\right)& =\underset{\Delta x\to 0}{\lim }\frac{P(x<X_{(k)}\le x+\Delta x)}{\Delta x}\\ & =\underset{\Delta x\to 0}{\lim }\frac{1}{\Delta x}P\{前k-1个小于x，第k个在(x,\Delta x)中间，后n-k个大于x\}\\ & =\left(\begin{array}{c}n\\ k-1\end{array}\right)\left(\begin{array}{c}n-k+1\\ 1\end{array}\right)\left(\begin{array}{c}n-k\\ n-k\end{array}\right)[F(x){]}^{k-1}\underset{\Delta x\to 0}{\lim }\frac{[F(x+\Delta x)-F(x)][1-F(x+\Delta x){]}^{n-k}}{\Delta x}\\ & =k\left(\begin{array}{c}n\\ k\end{array}\right)[F(x){]}^{k-1}[1-F(x){]}^{n-k}f(x)\end{array}\end{array}$$

用类似的方法，我们也可以给出次序统计量的联合密度函数，这里我直接给出结论，不再给出证明方法。

$$\begin{array}{rcl}{p}_{ij}(y,z)& =& \frac{n!}{(i-1)!(j-i-1)!(n-j)!}[F(y){]}^{i-1}[F(z)-F(y){]}^{j-i-1}[1-F(z){]}^{n-j}p(y)p(z),y\le z.\end{array}$$

利用联合密度函数，我们就可以求出类如样本极差的密度函数

常见习题，请利用均匀分布的联合分布，求出其极差（$R=X_{(n)}-X_{(1)}$），以及$X_{(1)}+X_{(n)}$的密度函数。

极差：

不失一般性，我们不妨假设$X\sim U(0,1)$ 否则对于$X\sim U({\theta }_1,{\theta }_2)$的情况,取$Y=\frac{X-{\theta }_1}{{\theta }_2-{\theta }_1}$ 即可(为了算一般情况的期望或者方差，或者构造统计量)

$$\begin{array}{c}\begin{array}{rl}& 联合密度函数：f(x_1,x_n)=n(n-1)(x_n-x_1{)}^{n-2}\\ & 令Z=X_{(n)}-X_{(1)}\\ & 由约束0\le x_1\le x_n\le 1\\ & 得到0\le z\le 1-x_1\\ & 积分{\int }_0^{1-z}n(n-1)z^{n-2}d{x}_1=n{z}^{n-2}(1-z)\\ & 发现这是\beta (n-1,2)的密度函数\\ & 则R\sim \beta (n-1,2)\end{array}\end{array}$$

$X_{(1)}+X_{(n)}$密度

同样的，为了不失一般性，并且为了技术上的操作我们不妨假设$X\sim U(-\frac{1}{2},\frac{1}{2})$ 否则取$Y=\frac{2X-({\theta }_1+{\theta }_2)}{2({\theta }_2-{\theta }_1)}$

$$\begin{array}{c}\begin{array}{rl}& 联合密度函数：f(x_1,x_n)=n(n-1)(x_n-x_1{)}^{n-2}\\ & 令Z=X_{(1)}+X_{(n)}\\ & 由约束-\frac{1}{2}\le x_1\le x_n\le \frac{1}{2}\\ & 得到-\frac{1}{2}\le 2x_1\le z\le x_1+\frac{1}{2}\\ & 当z\ge 0时\\ & {\int }_{z-\frac{1}{2}}^{\frac{1}{2}z}n(n-1)(z-2x_1{)}^{n-2}d{x}_1=\frac{1}{2}n(1-z{)}^{n-1}\\ & 当z\le 0时，同理可得\\ & {\int }_{-\frac{1}{2}}^{\frac{1}{2}z}n(n-1)(z-2x_1{)}^{n-2}d{x}_1=\frac{1}{2}n(1+z{)}^{n-1}\\ & 综上所述，Z的密度函数为\frac{1}{2}n(1-|z|{)}^{n-1}\end{array}\end{array}$$

这两个例题在之后区间估计和假设检验中会经常用到，而对于均匀分布而言，转化为$U(0,1)$或者是$U(-\frac{1}{2},\frac{1}{2})$也是后面处理习题的常用手段，根据积分区域的不同，往往要选择比较好算的转化方式。

思考题

• 对于一般分布而言，他们的极差的密度函数和分布函数是什么？
• 联合分布函数的分布函数怎么写（提示：双$\Sigma$求和）
• 对于离散情形，上面所有理论是否需要重新改进？
• 对于非i.i.d情形，我们又该怎么改进？(可以只考虑独立情况)

Part2

在这个部分，我给出次序统计量在数理统计中良好的性质，也就是充分性和完备性。对于完备性的证明，是因为在UMVUE的求取中有一种很常用的方法，即$U$统计量，他是基于次序统计量的充分完备性而得到所需要参数的UMVUE的，为此我还是想要把这部分的证明给到读者。

次序统计量的充分性：

对于分布族$\mathcal{F}$ ,设$F\in \mathcal{F}$,$X_1,...,X_n$为来自$F$的样本，只要$X_1,...,X_n$是独立同分布的，则不论分布族如何，其次序统计量都是充分的

证明：

$$\begin{array}{c}\begin{array}{rl}& 由充分统计量的定义可知，只需要证明其条件分布与总体分布无关即可.\\ & 由样本的独立性与同分布性\\ & P\left\{\begin{array}{c}{X}_1=x_1,\dots ,X_n=x_n|X_{(1)}=x_{(1)},\dots ,X_{(n)}=x_{(n)}\end{array}\right\}\\ & =P\left\{X_{i_1}=x_{(1)},\dots ,X_{i_n}=x_{(n)}|X_{(1)}=x_{(1)},\dots ,X_{(n)}=x_{(n)}\right\}\\ & \text{其中,}(i_1,i_2,\dots ,i_n)\text{是}(1,2,\dots ,n)\text{的一个排列,这样的排列共有}n!种\\ & LHS=\frac{1}{n!}\\ & 则其与总体无关，故其为充分统计量得证\end{array}\end{array}$$

但是由于我们一般在取充分统计量时取极小充分统计量，因此很少用n个次序统计量来当做充分统计量。

次序统计量的完备性（充分完备性）

设$X_1,...,X_n$是来自分布族$\mathcal{F}$的分布函数为$F$的$IID$样本，满足

• $\mathcal{F}$是凸的
• $\forall a<b$ ，记$S=[a,b)$,由$F(b)-F(a)>0$可导出$P\{X_1<x|X_1\in S\}\in \mathcal{F}$ 则该样本的次序统计量关于分布族是完备的

从这个定理可以看出，在许多情况下，次序统计量均是充分完备的，而且许多充分统计量都可以看成是次序统计量的组合。（比如均值也可以看成排序后的均值），从这个例子可以看出次序统计量的强大。

完备性的证明十分复杂，用到了高等概率论，和一些比较高级的数学知识，因此我这里给出参考论文，有兴趣的同学可以自行参考。 参考详见☞次序统计量完备性证明.pdf