多元第十章习题

(1)试给出因子载荷矩阵和特殊因子的方差，并用两者表示$\Sigma ;$ (2) 试计算各个变量的共同度； (3)试计算 Cov$(F_1,X_i)$,其中$i=1,2,3;$ (4)试给出因子 $F_1$ 可解释方差的比例.

（1）将原式改写为 $\left(\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right)=\left(\begin{array}{c}0.95\\ 0.9\\ 0.8\end{array}\right)F_1+\left(\begin{array}{c}{ϵ}_1\\ {ϵ}_2\\ {ϵ}_3\end{array}\right)$

则易得到因子载荷矩阵A $A=\left(\begin{array}{c}0.95\\ 0.9\\ 0.8\end{array}\right)$ （2） $A{A}^{\prime }=\left(\begin{array}{ccc}0.9025& 0.855& 0.76\\ 0.8550& 0.810& 0.72\\ 0.7600& 0.720& 0.64\end{array}\right)$ 由公式： $\Sigma =A{A}^{\prime }+\Psi$ 得到$\Psi$为(没啥用，就是想看看是不是对角阵) $\Psi =\left(\begin{array}{ccc}0.0975& 0& 0\\ 0& 0.19& 0\\ 0& 0& 0.36\end{array}\right)$ 由公式 $Var(X_i)={\sigma }_{ii}={\sum }_{j=1}^k{a}_{ij}^2+{\Psi }_i=h_i+{\Psi }_i$ 其中$h_i$为共同度,则可求得

$$h_1=0.9025,h_2=0.810,h_3=0.64$$

（3）

$$\begin{array}{c}\begin{array}{rl}Cov(F_1,X_i)& =E[(F_1-E[F_1])(X_i-E[X_i]{)}^{\prime }]\\ & =E[F_1,X_i]=E[F_1(a_i{F}_1+{ϵ}_i)]\\ & =a_{i}E[F_1{F}_1^{\prime }]=a_i\end{array}\end{array}$$

(4) 没有找到可解释方差的定义？

2.记$\hat{\mathbf{A}}$和$\hat{\Psi }$分别为由主成分法求得的因子载荷矩阵，见式(10.5)和式(10.6),令$\mathbf{E}=\mathbf{\Sigma }-(\hat{\mathbf{A}}{\hat{\mathbf{A}}}^{\prime }+\hat{\mathbf{\Psi }})$ 为残差阵，证明：tr$(\mathbf{E}{\mathbf{E}}^{\prime })⩽{\sum }_{k+1}^p{\hat{\lambda }}_i^2$, 其中${\hat{\lambda }}_1⩾{\hat{\lambda }}_2⩾\cdots ⩾{\hat{\lambda }}_p$ 为$\mathbf{\Sigma }$ 的$i=k+1$特征值.

$$\begin{array}{rl}E& =\Sigma -\hat{A}{\hat{A}}^{\prime }-\hat{\psi }\\ & =U_2{\Lambda }_2{U}_2^{\prime }-\hat{\psi }\end{array}$$

其中$\hat{\psi }$为$U_2{\Lambda }_2{U}_2^{\prime }$ 的对角阵 $E{E}^{\prime }=U_2{\Lambda }_2{\Lambda }_2{U}_2^{\prime }-2U_2{\Lambda }_2{U}_2^{\prime }\hat{\psi }+\hat{\psi }\hat{\psi }$ 由tr(AB)=tr(BA),以及对第二项直接使用迹的定义可知： $\begin{array}{rl}\mathrm{tr}(E{E}^{\prime })& ={\Lambda }_2{\Lambda }_2-\hat{\psi }\hat{\psi }\\ & =\sum _{i=k+1}^p{\lambda }_i^2-\sum _{i=1}^p{\mu }_i^2\end{array}$ 其中${\mu }_i$为矩阵$\hat{\psi }$的$p$个对角元，则可知原不等号得证。

$$\begin{gathered} 9.\text{ 试证明: Thomson 因子得分是将因子分析模型看成随机效应模型后的随机效应的线性} \\ \text{预测}. \end{gathered}$$ 我这里给出为什么Thomson因子得分是回归模型，以及为什么Bartlett得分是最小二乘模型

目标：找到一个估计矩阵$\hat{B}$使得$F=\hat{B}X$,对于$A$为正交的情况下，取其为转置即可，这里只考虑一般情况。

我们考虑第一节的结论$Cov(X,F)=A$来解方程： $a_{ij}=E\left[X_i{F}_j\right]=b_{j1}E[X_i{X}_1]+\cdots +b_{jp}E[X_i{X}_p]=b_{j1}{r}_{i1}+\cdots +b_{jp}{r}_{ip},i=1,\cdots ,p$ 通过这个关系我们可以构建方程组： $\{\begin{array}{l}{a}_{1j}=b_{j1}{r}_{11}+\cdots +b_{jp}{r}_{1p}\\ \cdots \cdots \\ a_{pj}=b_{j1}{r}_{p1}+\cdots +b_{jp}{r}_{pp}\end{array}$ 方程组等价于：

$$A=\hat{B}R$$

则有： $\hat{F}=A^{\prime }{R}^{-1}X=A^{\prime }(A{A}^{\prime }+\psi {)}^{-1}X$ 与Thomson因子得分形式等价

另外我额外给出Bartlett得分与最小二乘的关系：

由于此时不满足Gauss-Markov假设，因此要做一些标准化

$$\begin{array}{r}X=AF+\mu +\epsilon \\ X-\mu =AF+\epsilon \\ {\psi }^{-\frac{1}{2}}(X-\mu )={\psi }^{-\frac{1}{2}}AF+{\psi }^{-\frac{1}{2}}\epsilon \end{array}$$

此时可以做最小二乘得到 $\hat{F}=\left(\begin{array}{c}{A}^{\prime }{\psi }^{-1}A\end{array}\right)A^{\prime }{\psi }^{-1}X$