多元第十一章习题

1.对于类$G_i$,总体的分布为$N({\mu }_i,{\sigma }_i^2)$,其中$i=1,2.$可以通过计算马氏距离进行判别， 不妨设${\mu }_1>{\mu }_2$,按距离判别准则有

$\{\begin{array}{llc}& x\in G_1,& x>{\mu }^{\ast },\\ & x\in G_2,& x⩽{\mu }^{\ast },\end{array}$

其中${\mu }^{\ast }=\frac{{\sigma }_1{\mu }_2+{\sigma }_2{\mu }_1}{{\sigma }_1+{\sigma }_2}.$试求错判概率 Pr(2|1)和 Pr(1|2).

首先给出马氏距离定义：

$$d(x)=\frac{(x-\mu {)}^2}{{\sigma }^2}$$

将两个总体带入后易得到分界点：${\mu }^{\ast }=\frac{{\sigma }_1{\mu }_2+{\sigma }_2{\mu }_1}{{\sigma }_1+{\sigma }_2}.$

Pr(2|1)=P{$x\in G_2|x\in G_1$}

根据距离判别准则有：

$$\begin{array}{rl}Pr(2|1)& =P_{X_1}\{X\le {\mu }^{\ast }\}\\ & =P\{\frac{X-{\mu }_1}{{\sigma }_1}\le \frac{{\mu }_2-{\mu }_1}{{\sigma }_1+{\sigma }_2}\}\\ & =1-\varphi (\frac{{\mu }_1-{\mu }_2}{{\sigma }_1+{\sigma }_2})\end{array}$$

对于$Pr(1|2)$同理

2.设三个总体${\pi }_1,{\pi }_2$和${\pi }_3$的分布分别为：$N(2,0.5^2),N(0,2^2)$和$N(3,1^2).$采用下面两 种判别准则，试问样品 $x=2.5$ 应判归为哪一类？ (1) 按距离判别准则； (2)按 Bayes 判别准则，取先验概率为$q_1=q_2=q_3=1/3$,且考虑损失，当$i\ne j$时，损失 为$C(j|i)=1$,否则损失为$C(j|i)=0.$

(1)按照马氏距离准则判别：将$x=2.5$带入马氏距离中

$$d(x)=\frac{(x-\mu {)}^2}{{\sigma }^2}$$ $$\begin{array}{rl}& {\pi }_1:d_1(2.5)=1\\ & {\pi }_1:d_2(2.5)=1.5625\\ & {\pi }_1:d_3(2.5)=0.25\end{array}$$

因此按距离判别准则，归为${\pi }_3$

(2)贝叶斯判别准则：

$$C(j|i)q_i{f}_i$$

由于惩罚项和贝叶斯先验概率一致，因此至于比较密度函数大小即可

$$\begin{array}{r}{f}_1(2.5)=\frac{1}{\sqrt{2\pi }\ast 0.5}exp\{-\frac{1}{2}{d}_1\}\\ f_2(2.5)=\frac{1}{\sqrt{2\pi }\ast 2}exp\{-\frac{1}{2}{d}_2\}\\ f_3(2.5)=\frac{1}{\sqrt{2\pi }\ast 1}exp\{-\frac{1}{2}{d}_3\}\end{array}$$

比较后可得$f_1(2.5)$最大，因此按照贝叶斯判别准则，应该归类为${\pi }_1$

3.设总体${\pi }_i$的均值为${\mathbf{\mu }}_i(i=1,2)$,具有相同的协方差矩阵为$\mathbf{\Sigma }$,令$\overline{\mu }=\frac{1}{2}({\mathbf{a}}^{\prime }{\mathbf{\mu }}_1+{\mathbf{a}}^{\prime }{\mathbf{\mu }}_2)$, 其中$a={\mathbf{\Sigma }}^{-1}({\mathbf{\mu }}_1-{\mathbf{\mu }}_2).$试证明： (1) $E({\mathbf{a}}^{\prime }\mathbf{X}|{\pi }_1)>\overline{\mu };$ (2) $E({\mathbf{a}}^{\prime }\mathbf{X}|{\pi }_2)<\overline{\mu }.$

(1)要证明

$$\begin{array}{rl}& a^{\prime }{\mu }_1>\frac{1}{2}{a}^{\prime }({\mu }_1+{\mu }_2)\\ & \frac{1}{2}{a}^{\prime }({\mu }_1-{\mu }_2)>0\\ & \frac{1}{2}({\mu }_1-{\mu }_2{)}^{\prime }{\Sigma }^{-1}({\mu }_1-{\mu }_2)>0\\ & 由\Sigma 为正定矩阵可知不等号成立\end{array}$$

(2)与(1)同理

4.设有两个二元正态总体${\pi }_1\sim N_2({\mathbf{\mu }}_1,{\mathbf{\Sigma }}_1)$和${\pi }_2\sim N_2({\mathbf{\mu }}_2,{\mathbf{\Sigma }}_2)$,其中

${\mu }_1=\left(\begin{array}{c}10\\ 15\end{array}\right),{\mathbf{\Sigma }}_1=\left(\begin{array}{cc}18& 12\\ 12& 32\end{array}\right),{\mathbf{\mu }}_2=\left(\begin{array}{c}20\\ 25\end{array}\right),{\mathbf{\Sigma }}_2=\left(\begin{array}{cc}20& -7\\ -7& 5\end{array}\right).$

假设先验概率$q_1=q_2$,且损失为$C(2|1)=10$和$C(1|2)=75.$ 试问样本$x_1=(20,20{)}^{\prime }$和$x_2=(15,20{)}^{\prime }$ 各应判归为哪一类？

(1) 按 Fisher 判别准则； (2)按 Bayes 判别准则，其中假设${\Sigma }_2={\Sigma }_1=\left(\begin{array}{cc}18& 12\\ 12& 32\end{array}\right);$ (3)已知样品$x=(20,20{)}^{\prime }$,对$i=1,2$,试计算后验概率 Pr$({\pi }_i|x).$

(1)Fisher判别准则： 现在想要寻找某个方向$a$ ,使得不同组数据投影之后，在该方向上的中心拉的足够开。即使得两者 的距离达到最大

$\frac{||a{\bar{X}}_1-a{\bar{X}}_2||}{\sqrt{a\left({\Sigma }_1+{\Sigma }_2\right)a^{\prime }}}$ 考虑总体被分为 2 类，投影方向应该使得下面这个距离达到最大

$\hat{a}=\arg {\max }_a\frac{a^{\prime }\left({\mu }_1-{\mu }_2\right){\left({\mu }_1-{\mu }_2\right)}^{\prime }a}{a^{\prime }\left({\Sigma }_1+{\Sigma }_2\right)a}$ 由题5的不等式可知，此时$a$取$({\Sigma }_1+{\Sigma }_2{)}^{-1}({\mu }_1-{\mu }_2)$ 计算可得：

$$a=$$

(2)按Bayes判别准则：

$$\begin{array}{r}{R}_1=\{x:x^{\prime }{\Sigma }^{-1}({\mu }_1-{\mu }_2)-\frac{1}{2}({\mu }_1+{\mu }_2){\Sigma }^{-1}({\mu }_1-{\mu }_2)>lnk\}\\ R_2=\{x:x^{\prime }{\Sigma }^{-1}({\mu }_1-{\mu }_2)-\frac{1}{2}({\mu }_1+{\mu }_2){\Sigma }^{-1}({\mu }_1-{\mu }_2)<lnk\}\end{array}$$

由于惩罚项权重不同，因此取$k=\frac{q_{2}C(1|2)}{q_{1}C(1|2)}$ 即可

(3)

$$Pr({\pi }_i|x)=q_i{f}_i(x)/\sum (q_i{f}_i(x))$$

在本题中，由于先验概率相同，只需要看两个整体中的密度比即可

$$Pr({\pi }_i|x)=f_i(x)/\sum (f_i(x))$$

其中密度函数

$$f_i(x)=\frac{1}{\sqrt{2\pi }|{\Sigma }_i^{1/2}|}exp\{-\frac{1}{2}(x-{\mu }_i{)}^{\prime }{\Sigma }_i^{-1}(x-{\mu }_i)\}$$

5.已知$x_i^{(k)}$为来自类$G_k$的简单随机样本，其中$k=1,2;i=1,\cdots ,n_k$. 记$d=$ ${\overline{x}}^{(1)}-{\overline{x}}^{(2)}$,其中${\overline{x}}^{(k)}=\frac{1}{n_k}{\sum }_{i=1}^{n_k}{\mathbf{x}}_i^{(k)}.$ 令$\mathbf{S}=\frac{1}{n_1+n_2-2}({\mathbf{V}}_1+{\mathbf{V}}_2)$,其中${\mathbf{V}}_k$为类$G_k$的样本离差阵.试证明： $a={\mathbf{S}}^{-1}({\overline{x}}^{(1)}-{\overline{x}}^{(2)})$使比值$(a^{\prime }d{)}^2/a^{\prime }\mathbf{S}a$达最大值， 且最大值为马氏距离$D^2=({\overline{x}}^{(1)}-{\overline{x}}^{(2)}{)}^{\prime }{\mathbf{S}}^{-1}({\overline{x}}^{(1)}-{\overline{x}}^{(2)}).$

易知，若$a={\mathbf{S}}^{-1}({\overline{x}}^{(1)}-{\overline{x}}^{(2)})$使比值$(a^{\prime }d{)}^2/a^{\prime }\mathbf{S}a$达最大值，则带入后即为马氏距离 首先证明一个不等式： $(b^{\prime }d{)}^2\le (b^{\prime }Bb)\left(d^{\prime }{B}^{-1}d\right)$ 其中$b,d$为$p$维向量$B$为一个$p\ast p$的正定矩阵 $b^{\prime }d=b^{\prime }{B}^{1/2}{B}^{-1/2}d={\left(B^{1/2}b\right)}^{\prime }\left(B^{-1/2}d\right)$ 则可由Cauchy-Shwarz不等式可知（向量点乘平方小于模的平方相乘） $({\left(B^{1/2}b\right)}^{\prime }\left(B^{-1/2}d\right){)}^2\le (b^{\prime }Bb)\left(d^{\prime }{B}^{-1}d\right)$ 等号当且仅当${\left(B^{1/2}b\right)}^{\prime }=\lambda \left(B^{-1/2}d\right)$ 即向量共线成比例的时候成立 在本题中，取$a=b,d=d,B=S$

$$(a^{\prime }d{)}^2\le (a^{\prime }Sa)\left(d^{\prime }{S}^{-1}d\right)$$

则可知$(a^{\prime }d{)}^2/a^{\prime }\mathbf{S}a\le (d^{\prime }{S}^{-1}d)=D^2$ 得证 且等号成立条件为${\left(S^{1/2}a\right)}^{\prime }=\lambda \left(S^{-1/2}d\right)$ ,取$\lambda =1$将$S^{-1/2}$乘过去则可得到

$$a={\mathbf{S}}^{-1}({\overline{x}}^{(1)}-{\overline{x}}^{(2)})$$

6.试证明： $$\begin{gathered} -\frac{1}{2}(x-{\mu }_1{)}^{\prime }{\Sigma }^{-1}(x-{\mu }_1)+\frac{1}{2}(x-{\mu }_2{)}^{\prime }{\Sigma }^{-1}(x-{\mu }_2) \\ =({\mathbf{\mu }}_1-{\mathbf{\mu }}_2{)}^{\prime }{\mathbf{\Sigma }}^{-1}\mathbf{x}-\frac{1}{2}({\mathbf{\mu }}_1-{\mathbf{\mu }}_2{)}^{\prime }{\mathbf{\Sigma }}^{-1}({\mathbf{\mu }}_1+{\mathbf{\mu }}_2). \end{gathered}$$ 直接将原式展开证明即可： 注意$x^{\prime }{\Sigma }^{-1}\mu ={\mu }^{\prime }{\Sigma }^{-1}x$即可

7.考虑下面两个数据集：

${\mathbf{X}}_1=(\begin{array}{cc}3& 7\\ 2& 4\\ 4& 7\end{array}),{\mathbf{X}}_2=\left(\begin{array}{cc}6& 9\\ 5& 7\\ 4& 8\end{array}\right).$

计算可得：

${\overline{\mathbf{x}}}_1=\left(\begin{array}{c}3\\ 6\end{array}\right),{\overline{\mathbf{x}}}_2=\left(\begin{array}{c}5\\ 8\end{array}\right),{\mathbf{S}}_{\mathrm{pooled}}=\left(\begin{array}{cc}1& 1\\ 1& 2\end{array}\right).$

(1)计算由式(11.16)定义的线性判别函数； (2)如果假设先验概率和损失相等，对给定的观测值$x_0=(2,7{)}^{\prime }$,试用 Fisher 线性判别准则(11.17)把$x_0$归类为总体${\pi }_1$或${\pi }_2.$

$S_{pooled}$的求法可由题5得 (1)

$$W(x)=({\mathbf{\mu }}_1-{\mathbf{\mu }}_2{)}^{\prime }{\mathbf{\Sigma }}^{-1}\mathbf{x}-\frac{1}{2}({\mathbf{\mu }}_1-{\mathbf{\mu }}_2{)}^{\prime }{\mathbf{\Sigma }}^{-1}({\mathbf{\mu }}_1+{\mathbf{\mu }}_2)$$

带入得数后可得：

$$W(x)=(-2,0)x+8=-2x_1+8$$

(2)

$$W(x_0)=4>0$$

故归类为总体${\pi }_1$

8.在两个$p$元正态总体$N_p({\mathbf{\mu }}_k,\mathbf{\Sigma })(k=1,2)$下，设${\mathbf{\mu }}_1,{\mathbf{\mu }}_2$和$\mathbf{\Sigma }$均为已知.又设线性判

别函数为：

$W(\mathbf{X})=(\mathbf{X}-\overline{\mathbf{\mu }}{)}^{\prime }{\mathbf{\Sigma }}^{-1}({\mathbf{\mu }}_1-{\mathbf{\mu }}_2),\overline{\mathbf{\mu }}=\frac{1}{2}({\mathbf{\mu }}_1+{\mathbf{\mu }}_2).$

判别准则为：

$\{\begin{array}{ll}\text{判}\mathbf{X}\in G_1,& W(\mathbf{X})>0,\\ \text{判}\mathbf{X}\in G_2,& W(\mathbf{X})⩽0.\end{array}$

试求错判概率$\mathrm{Pr}(2|1)$和$\mathrm{Pr}(1|2)$.

易知$\mathrm{Pr}(2|1)$和$\mathrm{Pr}(1|2)$相等，这里只讨论$\mathrm{Pr}(2|1)$,由正态分布性质，若$X\in {\pi }_1$

$$W(X)\sim N(\frac{1}{2}({\mu }_1-{\mu }_2{)}^{\prime }{\Sigma }^{-1}({\mu }_1-{\mu }_2),({\mu }_1-{\mu }_2{)}^{\prime }{\Sigma }^{-1}({\mu }_1-{\mu }_2))$$

则可知

$$\begin{array}{rl}& P\{W(x)>0\}\\ & =P\{\frac{W(x)-\frac{1}{2}({\mu }_1-{\mu }_2{)}^{\prime }{\Sigma }^{-1}({\mu }_1-{\mu }_2)}{({\mu }_1-{\mu }_2{)}^{\prime }{\Sigma }^{-1}({\mu }_1-{\mu }_2)}>-\frac{1}{2}\}\\ & =1-\varphi (\frac{1}{2})=0.31\end{array}$$

9.考虑线性函数：$Y={\xi }^{\prime }X$.如果$X$来自总体${\pi }_1$,则 令 $E(\mathbf{X})={\mathbf{\mu }}_1$, Cov$(\mathbf{X})=\mathbf{\Sigma };$如果$X$来自总体${\pi }_2$,则令$E(\mathbf{X})={\mathbf{\mu }}_2$, Cov$(\mathbf{X})=\mathbf{\Sigma }$.令$m=\frac{1}{2}({\mu }_{1Y}+{\mu }_{2Y})=\frac{1}{2}({\mathbf{\xi }}^{\prime }{\mathbf{\mu }}_1+{\mathbf{\xi }}^{\prime }{\mathbf{\mu }}_2).$ 给定${\xi }^{\prime }=({\mathbf{\mu }}_1-{\mathbf{\mu }}_2{)}^{\prime }{\mathbf{\Sigma }}^{-1}$,试证明： (1) $E({\mathbf{\xi }}^{\prime }\mathbf{X}|{\pi }_1)-m={\mathbf{\xi }}^{\prime }{\mathbf{\mu }}_1-m>0;$ (2) $E({\mathbf{\xi }}^{\prime }\mathbf{X}|{\pi }_2)-m={\mathbf{\xi }}^{\prime }{\mathbf{\mu }}_2-m<0.$

直接带入即可：

$$\begin{array}{r}E({\mathbf{\xi }}^{\prime }\mathbf{X}|{\pi }_1)-m={\mathbf{\xi }}^{\prime }{\mathbf{\mu }}_1-m\\ =\frac{1}{2}({\mu }_1-{\mu }_2{)}^{\prime }{\Sigma }^{-1}({\mu }_1-{\mu }_2)\end{array}$$

由于$\Sigma$为正定矩阵，则可知原式严格大于零。 （2）同理可得

10.令两个总体的密度函数分别为

$f_1(x)=\{\begin{array}{ll}1-|x|,& |x|⩽1,\\ 0,& \text{其他},\end{array}{f}_2(x)=\{\begin{array}{ll}1-|x-0.5|,& -0.5⩽x⩽1.5,\\ 0,& \text{其他}.\end{array}$

(1)绘制 $f_1(x)$ 和 $f_2(x)$ 的密度函数； (2)当$q_1=q_2$且$C(2|1)=C(1|2)$时，试给出判别准则，并确定判别区域$R_1$和$R_2;$ (3)当$q_1=0.2$且$C(2|1)=C(1|2)$时，试给出判别准则，并确定判别区域$R_1$和$R_2.$

(1)

# 定义函数
f1 <- function(x) {
  ifelse(abs(x) <= 1, 1 - abs(x), 0)
}
 
f2 <- function(x) {
  ifelse(-0.5 <= x & x <= 1.5, 1 - abs(x - 0.5), 0)
}
 
# 创建x值的向量
x <- seq(-1, 1, length.out = 1000)
y <- seq(-0.5,1.5,length.out=1000)
# 计算函数值
y1 <- f1(x)
y2 <- f2(y)
 
# 绘制函数
plot(x, y1, type = "l", col = "blue", lwd = 2, xlim=c(-1,1.5),ylim = c(0, 1), xlab = "x", ylab = "Density", main = "Density Functions")
lines(y, y2, type = "l", col = "red", lwd = 2)
 
# 添加图例
legend("topright", legend = c("f1(x)", "f2(x)"), col = c("blue", "red"), lty = 1, lwd = 2)

（2）(3)直接考虑第三问即可，第二问为一个退化情况

$$\begin{array}{rl}ECM(R_1,R_2)& =C(2|1)Pr(2|1,R)q_1+C(1|2)Pr(1|2,R)q_2\\ & ={\int }_{R_2}C(2|1)q_1{f}_1+{\int }_{R_1}C(1|2)q_2{f}_{2}dx\\ & ={\int }_{R_2}(C(2|1)q_1{f}_1-C(1|2)q_2{f}_2)dx+C(1|2)q_2\end{array}$$

由于后一项为常数项，因此只需要考虑让前面积分值尽可能的小，也就是只积分负的部分则：

$$\begin{array}{r}{R}_1=\{x:[C(2|1)q_1{f}_1(x)\ge [C(1|2)q_2{f}_2(x)\}\\ R_2=\{x:[C(2|1)q_1{f}_1(x)<[C(1|2)q_2{f}_2(x)\}\end{array}$$

11.已知两个总体的分布为$N_p({\mathbf{\mu }}_k,\mathbf{\Sigma })(k=1,2).$又设${\mathbf{\mu }}_1,{\mathbf{\mu }}_2$和$\mathbf{\Sigma }$均为已知，先验概率为$q_1$和$q_2$,且满足$q_1+q_2=1$,错判损失为$C(1|2)$和$C(2|1).$试写出 Bayes 判别准则和距离判别准则，并说明它们之间的关系.

距离判别： $\{\begin{array}{ll}X\in G_1,& d^2\left(X,G_1\right)<d^2\left(X,G_2\right)\\ X\in G_2,& d^2\left(X,G_1\right)\ge d^2\left(X,G_2\right)\end{array}$

$$\begin{array}{rl}{d}^2(X,G_1)-d^2(X,G_2)& =(X-{\mu }_1{)}^{\prime }{\Sigma }^{-1}(X-{\mu }_1)-(X-{\mu }_2{)}^{\prime }{\Sigma }^{-1}(X-{\mu }_2)\\ & =(X-{\mu }_1{)}^{\prime }{\Sigma }^{-1}[(X-{\mu }_1)-(X-{\mu }_2)]+(X-{\mu }_1{)}^{\prime }{\Sigma }^{-1}(X-{\mu }_2)-(X-{\mu }_2{)}^{\prime }{\Sigma }^{-1}(X-{\mu }_2)\\ & =(X-{\mu }_1{)}^{\prime }{\Sigma }^{-1}({\mu }_2-{\mu }_1)+(X-{\mu }_2{)}^{\prime }{\Sigma }^{-1}(X-{\mu }_1)-(X-{\mu }_2{)}^{\prime }{\Sigma }^{-1}(X-{\mu }_2)\\ & =(X-{\mu }_1{)}^{\prime }{\Sigma }^{-1}({\mu }_2-{\mu }_1)+(X-{\mu }_2{)}^{\prime }{\Sigma }^{-1}({\mu }_2-{\mu }_1)\\ & =2(X-\frac{{\mu }_1+{\mu }_2}{2}{)}^{\prime }{\Sigma }^{-1}({\mu }_2-{\mu }_1)\\ & =2({\mu }_2-{\mu }_1{)}^{\prime }{\Sigma }^{-1}(X-\frac{{\mu }_1+{\mu }_2}{2})\end{array}$$

Bayes判别准则 判别函数：

$$W(x)=({\mathbf{\mu }}_1-{\mathbf{\mu }}_2{)}^{\prime }{\mathbf{\Sigma }}^{-1}\mathbf{x}-\frac{1}{2}({\mathbf{\mu }}_1-{\mathbf{\mu }}_2{)}^{\prime }{\mathbf{\Sigma }}^{-1}({\mathbf{\mu }}_1+{\mathbf{\mu }}_2)=({\mu }_2-{\mu }_1{)}^{\prime }{\Sigma }^{-1}(X-\frac{{\mu }_1+{\mu }_2}{2})$$

由于区域是与$lnk=C(1|2)q_2/C(2|1)q_1$进行比较，因此当该比例为1即$lnk=0$时距离判别与Bayes判别等价，这也说明Bayes判别在先验信息不足时退化为距离判别