线性最小二乘回归中的风险#

给定输入/输出、特征/变量的观测值$(x_i, y_i) \in \mathcal{X} \times \mathcal{Y}$, $i = 1,\ldots,n$（训练数据）, 当给定新的$x \in \mathcal{X}$时, 使用回归函数$f$预测$y \in \mathcal{Y}$（测试数据）, 使$y \approx f(x)$. 假设$\mathcal{Y}$是$\mathbb{R}$的子集, 使用平方损失$\ell(y, z) = (y - z)^2$, 最优预测器为$f^*(x) = \mathbb{E}(y|x)$

函数假设#

• 仅考虑$f_{\theta}(x)$关于$\theta$是线性的情况, 假设其存在于向量空间$\mathbb{R}^d$.

• 注意$f_{\theta}(x)$关于$x$线性和关于$\theta$线性不同. 虽假设$f_{\theta}(x)$关于参数$\theta$线性, 但不意味着关于输入$x$线性, 若$\mathcal{X}$不是向量空间, 关于$x$线性的概念可能无意义.

• 通过里斯表示定理, 对任意$x \in \mathcal{X}$, 在$\mathbb{R}^d$中存在向量$\varphi(x)$, 使得$f_{\theta}(x) = \varphi(x)^{\top} \theta$, $\varphi(x) \in \mathbb{R}^d$通常称为特征向量, 假设其已知且可显式计算. 此时考虑最小化$\widehat{\mathcal{R}}(\theta):=\frac{1}{n}\sum_{i = 1}^{n}(y_{i}-\varphi(x_{i})^{\top}\theta)^{2}$.

• 当$\mathcal{X} \subset \mathbb{R}^d$时, 可额外假设$f_{\theta}$是仿射函数, 通过$\varphi(x)=\begin{pmatrix}x \\ 1\end{pmatrix}\in \mathbb{R}^{d + 1}$得到. 其他经典假设是$\varphi(x)$由单项式组成. 在第7章（核方法）中可考虑无限维的特征.

经验风险#

• 公式：

  • $\hat{\mathcal{R}}(\theta)=\frac{1}{n}\|y - \Phi\theta\|_{2}^{2}=\frac{1}{n}\sum_{i = 1}^{n}(y_{i}-\varphi(x_{i})^{\top}\theta)^{2}$.

  • $n$为样本数量, $y$是观测值向量, $\Phi$是设计矩阵, $\theta$是模型参数向量, $\varphi(x_{i})$表示第$i$个样本$x_{i}$对应的特征向量

• 意义：基于给定观测数据衡量模型预测值与真实值差异, 反映模型在已知样本上的拟合程度

经验风险最小化#

• 选择由参数$\theta \in \Theta$参数化的预测函数族$f_{\theta} : \mathcal{X} \to \mathcal{Y}$, 最小化经验风险为

• 得到估计量$\widehat{\theta} \in \arg\min \frac{1}{n} \sum_{i = 1}^{n} (y_{i} - f_{\theta}(x_{i}))^{2}$

• 贝叶斯预测器$f^*$不属于函数类$\{f_{\theta}, \theta \in \Theta\}$, 即模型存在误设.

固定设计风险#

• 公式：

  • $\mathcal{R}(\theta)=\mathbb{E}_{y}\left[\frac{1}{n}\|y - \Phi\theta\|_{2}^{2}\right]=\mathbb{E}_{y}\left[\frac{1}{n}\sum_{i = 1}^{n}(y_{i}-\varphi(x_{i})^{\top}\theta)^{2}\right]$

  • $\mathbb{E}_{y}$表示对$y$求期望

• 意义：在固定输入数据情况下, 对所有可能输出求平均的预测误差, 从宏观角度评估模型性能, 反映模型在固定输入下对于不同输出的平均预测误差, 体现模型的泛化能力

超额风险#

• 公式：

  • $\mathbb{E}[\mathcal{R}(\widehat{\theta})] - \mathcal{R}^*=\frac{\sigma^{2}d}{n}$

  • 其中$\sigma^{2}$是噪声方差, $d$是特征维度, $n$是样本数量.

• 意义：衡量使用估计量$\widehat{\theta}$相对于最优情况的额外风险

普通最小二乘（OLS）估计量#

满列秩假设与过定问题#

假设矩阵$\Phi\in\mathbb{R}^{n\times d}$具有满列秩, 即$\Phi$的秩为$d$. 此时, 该问题被称作“过定”问题, 必然满足$d\leq n$. 这一条件等价于假设$\Phi^{\top}\Phi\in\mathbb{R}^{d\times d}$是可逆的

当$\Phi$具有满列秩时, 经验风险$\widehat{\mathcal{R}}(\theta)=\frac{1}{n}\|y - \Phi\theta\|_{2}^{2}$ 的极小值点是唯一的, 这个极小值点被称为普通最小二乘（OLS）估计量

闭式解推导#

命题： 记（非中心化的）经验协方差矩阵为$\widehat{\Sigma}:=\frac{1}{n}\Phi^{\top}\Phi\in\mathbb{R}^{d\times d}$, 则

$$\widehat{\theta}=\frac{1}{n}\widehat{\Sigma}^{-1}\Phi^{\top}y.$$

证明： 函数$\widehat{\mathcal{R}}$是强制的（在无穷远处趋于无穷大）且连续, 所以至少存在一个极小值点. 并且该函数可微, 因此极小值点$\widehat{\theta}$需满足$\widehat{\mathcal{R}}'(\widehat{\theta}) = 0$.

对于所有$\theta\in\mathbb{R}^{d}$,

和

令$\widehat{\mathcal{R}}'(\widehat{\theta}) = 0$ 得到正规方程

则

几何解释#

$P = \Phi(\Phi^{\top}\Phi)^{-1}\Phi^{\top}$是到$\text{im}(\Phi)$的正交投影

证明:

(1) 证明$P$是投影矩阵（即$P^2 = P$）

(2) 证明$P$是正交投影矩阵（即$P = P^{\top}$）

则$P$既是投影矩阵又满足对称性, 所以$P$是正交投影矩阵.

(3) 证明$P$将向量投影到$\text{im}(\Phi)$

对于任意$u\in\text{im}(\Phi)$, 存在$a\in\mathbb{R}^{d}$使得$u = \Phi a$, 则

这表明$P$将$\text{im}(\Phi)$中的向量投影到自身, 即$P$将向量投影到$\text{im}(\Phi)$上.

(4) 证明预测向量$\Phi\widehat{\theta}=\Phi(\Phi^{\top}\Phi)^{-1}\Phi^{\top}y$是$y$到$\text{im}(\Phi)$的正交投影

已知$\widehat{\theta}=(\Phi^{\top}\Phi)^{-1}\Phi^{\top}y$, 则预测向量

又因为$P = \Phi(\Phi^{\top}\Phi)^{-1}\Phi^{\top}$, 所以

根据前面已证明的$P$是到$\text{im}(\Phi)$的正交投影矩阵, 对于向量$y\in\mathbb{R}^{n}$, $\Phi\widehat{\theta}=Py$意味着预测向量$\Phi\widehat{\theta}$是$y$经过正交投影矩阵$P$作用后的结果, 即预测向量$\Phi\widehat{\theta}$是$\mathbb{R}^{n}$中的向量$y$到$\text{im}(\Phi)\subset\mathbb{R}^{n}$的正交投影.

数值求解#

闭式解的局限性#

普通最小二乘估计的闭式解$\widehat{\theta}=(\Phi^{\top}\Phi)^{-1}\Phi^{\top}y$虽便于理论分析, 但存在显著缺点：

• 稳定性问题：对$\Phi^{\top}\Phi$求逆在某些情况下不稳定, 容易受到数值误差的影响.

• 计算成本问题：当特征维度$d$较大时, 求逆运算的计算成本很高. 因此, 通常更倾向于使用其他方法.

QR分解#

QR分解原理：QR分解将矩阵$\Phi$分解为$\Phi = QR$, 其中$Q\in\mathbb{R}^{n\times d}$的列向量是正交单位向量, $R\in\mathbb{R}^{d\times d}$是上三角矩阵.

QR分解求解普通最小二乘推导: 矩阵$\Phi\in\mathbb{R}^{n\times d}$可进行QR分解, 即$\Phi = QR$, 其中$Q\in\mathbb{R}^{n\times d}$的列向量为正交单位向量（满足$Q^{\top}Q = I_d$, $I_d$为$d$阶单位矩阵）, $R\in\mathbb{R}^{d\times d}$是上三角矩阵, 则

$$(\Phi^{\top}\Phi)\widehat{\theta}=\Phi^{\top}y\Longleftrightarrow R^{\top}Q^{\top}QR\widehat{\theta}=R^{\top}Q^{\top}y\Longleftrightarrow R\widehat{\theta}=Q^{\top}y$$

最后将其转化为上三角线性方程组, 可简便求解$\widehat{\theta}$, 计算比直接对$\Phi^{\top}\Phi$求逆高效, 时间复杂度为$O(d^{3})$.

OLS固定设计分析#

我们假设输入数据$(x_1,\ldots,x_n)$不是随机的, 并且我们只关注在这些输入点上获得较小的预测误差. 或者, 这可以被看作是一个预测问题, 其中输入分布$dp(x)$是$(x_1,\ldots,x_n)$的经验分布.

目标是最小化固定设计风险（此时$\Phi$是确定的）：

$$\mathcal{R}(\theta)=\mathbb{E}_{y}\left[\frac{1}{n}\sum_{i = 1}^{n}(y_{i}-\varphi(x_{i})^{\top}\theta)^{2}\right]=\mathbb{E}_{y}\left[\frac{1}{n}\|y - \Phi\theta\|_{2}^{2}\right]$$

现在我们假设$\Phi$是确定性的, $\widehat{\Sigma}=\frac{1}{n}\Phi^{\top}\Phi$是可逆的, 我们假设：

• 存在一个向量$\theta_{*} \in \mathbb{R}^{d}$, 使得对于$i \in \{1, \ldots, n\}$, 输入和输出之间的关系为

• 对于所有$i \in \{1, \ldots, n\}$, $\varepsilon_{i}$相互独立, 期望$\mathbb{E}[\varepsilon_{i}]=0$, 方差$\mathbb{E}[\varepsilon_{i}^{2}]=\sigma^{2}$.

噪声方差的作用：噪声方差$\sigma^{2}$衡量了模型预测值与实际观测值之间的平均误差程度. 在模型选择和评估中, 它是一个重要的指标, 较小的$\sigma^{2}$通常意味着模型的拟合效果更好, 对数据的解释能力更强.

##与最大似然估计的关系 令噪声服从均值为0且方差为$\sigma^{2}$的高斯分布, 也就是 $\varepsilon_{i} = y_{i} - \varphi(x_{i})^{\top}\theta_{*} \sim \mathcal{N}(0,\sigma^{2}),$ 那么$\theta_{*}$的最小均方估计量与最大似然估计量是一致的（这里假设$\Phi$是固定的）. 利用独立性和正态分布的概率密度函数, $y$的概率密度/似然函数为：

取对数并去掉常数项后, 最大似然估计量$(\tilde{\theta},\tilde{\sigma}^{2})$会使下式达到最小

原理本质：这种一致性的本质在于, 当噪声是高斯分布时, 最小化均方误差等同于最大化数据出现的似然. 最小二乘法从误差平方和最小的角度出发, 而最大似然估计从概率最大的角度出发, 在高斯噪声假设下二者殊途同归.

应用场景：在许多实际问题中, 比如线性回归模型, 噪声通常可以近似看作高斯分布. 因此, 我们既可以用最小二乘法快速求解参数, 也可以从最大似然估计的角度去理解模型的合理性和参数估计的统计性质.

局限性：然而, 当噪声不服从高斯分布时, 最小均方估计量和最大似然估计量就不再等价. 此时, 需要根据噪声的实际分布来选择合适的估计方法, 以获得更准确的参数估计.

练习: $\sigma^{2}$的$\widetilde{\sigma}^{2}$的最大似然估计值是 $\frac{1}{n}\sum_{i = 1}^{n}(y_{i}-\varphi(x_{i})^{\top}\widehat{\theta})^{2}.$

可通过对最大似然估计函数求关于$\sigma^{2}$的极值, 进而得到$\sigma^{2}$的最大似然估计值$\widetilde{\sigma}^{2}$.

证明: 已知在高斯噪声假设下, 取对数并去掉常数项后, 最大似然估计量$(\widetilde{\theta},\widetilde{\sigma}^{2})$会最小化下面的式子： $L(\theta,\sigma^{2})=\frac{1}{2\sigma^{2}}\sum_{i = 1}^{n}(y_{i}-\varphi(x_{i})^{\top}\theta)^{2}+\frac{n}{2}\log(\sigma^{2})$ 将$\theta$视为已知量（因为这里只对$\sigma^{2}$求极值 ）, 令$z_{i}=y_{i}-\varphi(x_{i})^{\top}\theta$, 则

从而

令$\frac{dL(\sigma^{2})}{d\sigma^{2}} = 0$, 即

将$z_{i}=y_{i}-\varphi(x_{i})^{\top}\theta$代回, 可得$\widetilde{\sigma}^{2}=\frac{1}{n}\sum_{i = 1}^{n}(y_{i}-\varphi(x_{i})^{\top}\widehat{\theta})^{2}$, 其中$\widehat{\theta}$是普通最小二乘估计量.

所以, $\sigma^{2}$的最大似然估计值$\widetilde{\sigma}^{2}$为$\frac{1}{n}\sum_{i = 1}^{n}(y_{i}-\varphi(x_{i})^{\top}\widehat{\theta})^{2}$ .

风险分解#

命题: 用$\mathcal{R}^*$表示风险函数$\mathcal{R}(\theta) = \mathbb{E}_{y}\left[\frac{1}{n}\lVert y - \Phi\theta\rVert_{2}^{2}\right]$在$\mathbb{R}^{d}$上的最小值, 则对于任意$\theta\in\mathbb{R}^{d}$, 有$\mathcal{R}^* = \sigma^{2}$, 且

$$\mathcal{R}(\theta) - \mathcal{R}^* = \lVert\theta - \theta_*\rVert_{\widehat{\Sigma}}^{2}$$

其中$\widehat{\Sigma}:=\frac{1}{n}\Phi^{\top}\Phi$是输入协方差矩阵, $\lVert\theta\rVert_{\widehat{\Sigma}}^{2} := \theta^{\top}\widehat{\Sigma}\theta$. 如果$\widehat{\theta}$是一个随机变量（例如作为$\theta_*$的估计量）, 那么

$$\mathbb{E}[\mathcal{R}(\widehat{\theta})] - \mathcal{R}^* = \underbrace{\lVert\mathbb{E}[\widehat{\theta}] - \theta_*\rVert_{\widehat{\Sigma}}^{2}}_{\text{偏差}} + \underbrace{\mathbb{E}[\lVert\widehat{\theta} - \mathbb{E}[\widehat{\theta}]\rVert_{\widehat{\Sigma}}^{2}]}_{\text{方差}}$$

证明: 已知$y = \Phi\theta_* + \varepsilon$, 且$\mathbb{E}[\varepsilon] = 0$, $\mathbb{E}[\lVert\varepsilon\rVert_{2}^{2}] = n\sigma^{2}$, 则

由于$\widehat{\Sigma} = \frac{1}{n}\Phi^{\top}\Phi$可逆, 这表明$\theta_*$是$\mathcal{R}(\theta)$唯一的全局最小值点, 并且最小值$\mathcal{R}^*$等于$\sigma^{2}$, 这就证明了第一个结论.

现在, 如果$\theta$是随机的, 我们进行常见的偏差/方差分解：

（注：这也是$\mathbb{E}[\lVert z - a\rVert_{M}^{2}] = \lVert\mathbb{E}z - a\rVert_{M}^{2} + \mathbb{E}[\lVert z - \mathbb{E}[z]\rVert_{M}^{2}]$在$a = \theta_*$, $M = \widehat{\Sigma}$以及$z = \widehat{\theta}$时的一个简单应用. ）

估计量性质#

普通最小二乘$\widehat{\theta}$具有以下性质：

(1)它是无偏的, 即$\mathbb{E}[\widehat{\theta}]=\theta_*$;

(2)它的方差为$\text{Var}(\widehat{\theta})=\mathbb{E}[(\widehat{\theta}-\theta_*)(\widehat{\theta}-\theta_*)^{\top}]=\frac{\sigma^{2}}{n}\widehat{\Sigma}^{-1}$；$\widehat{\Sigma}^{-1}$通常被称为精度矩阵.

证明: (1) 由于$y_{i}=\varphi(x_{i})^{\top}\theta_{*}+\varepsilon_{i}$, 则$\mathbb{E}[y] = \Phi\theta_*$, 从而

(2) 因为$\widehat{\theta}=\frac{1}{n}\widehat{\Sigma}^{-1}\Phi^{\top}y,$ 则$\widehat{\theta}-\theta_*=(\Phi^{\top}\Phi)^{-1}\Phi^{\top}(\Phi\theta_*+\varepsilon)-\theta_*=(\Phi^{\top}\Phi)^{-1}\Phi^{\top}\varepsilon$.

利用$\mathbb{E}[\varepsilon\varepsilon^{\top}]=\sigma^{2}I$, 我们有

超额风险#

命题: 普通最小二乘估计量的超额风险等于

$$\mathbb{E}[\mathcal{R}(\widehat{\theta})] - \mathcal{R}^* = \frac{\sigma^{2}d}{n}$$

证明: 利用OLS风险分解结论和$\mathbb{E}[\widehat{\theta}] = \theta_*$, 我们有

由于期望和迹都是线性算子且运算顺序可交换（$\mathbb{E}[\text{tr}(X)]=\text{tr}(\mathbb{E}[X])$） $\widehat{\Sigma}$在固定设计下是固定的可提出到期望外, 最终得到$\text{tr}(\widehat{\Sigma}\mathbb{E}[(\widehat{\theta} - \theta_*)(\widehat{\theta} - \theta_*)^{\top}])$

$\text{var}(\widehat{\theta})=\mathbb{E}[(\widehat{\theta} - \mathbb{E}[\widehat{\theta}])(\widehat{\theta} - \mathbb{E}[\widehat{\theta}])^{\top}]$, 又因为$\mathbb{E}[\widehat{\theta}] = \theta_*$, 所以

$$\mathbb{E}[(\widehat{\theta} - \theta_*)(\widehat{\theta} - \theta_*)^{\top}]=\text{var}(\widehat{\theta}).$$

从而

因此 $\mathbb{E}[\mathcal{R}(\widehat{\theta})] - \mathcal{R}^* = \text{tr}[\text{var}(\widehat{\theta})\widehat{\Sigma}] = \frac{\sigma^{2}}{n}\text{tr}(I) = \frac{\sigma^{2}d}{n}.$

另一证明： 利用$\widehat{\theta} - \theta_* = (\Phi^{\top}\Phi)^{-1}\Phi^{\top}\varepsilon$这一恒等式, 可得

其中我们用到了$P = \Phi(\Phi^{\top}\Phi)^{-1}\Phi^{\top}$是到$\text{im}(\Phi)$（$\Phi$的值域）的正交投影矩阵, 且其维度为$d$ .

命题: (1-2) $\mathbb{E}[\hat{\mathcal{R}}(\widehat{\theta})] = \mathbb{E}[\mathcal{R}(\widehat{\theta})]=\frac{n - d}{n}\sigma^{2}$

(3) $n>d$时, $\sigma^{2}$的无偏估计量$\hat{\sigma}^{2}=\frac{\|y - \Phi\widehat{\theta}\|_{2}^{2}}{n - d}$

证明: 已知经验风险 $\hat{\mathcal{R}}(\theta)=\frac{1}{n}\|y - \Phi\theta\|_{2}^{2}$ 和固定设计风险 $\mathcal{R}(\theta)=\mathbb{E}_{y}\left[\frac{1}{n}\|y - \Phi\theta\|_{2}^{2}\right]$ 其中$y = \Phi\theta_*+\varepsilon$, $\mathbb{E}[\varepsilon]=0$, $\mathbb{E}[\varepsilon\varepsilon^{\top}]=\sigma^{2}I$.

(1) 计算$\hat{\mathcal{R}}(\widehat{\theta})$

将$y = \Phi\theta_*+\varepsilon$和$\widehat{\theta}=(\Phi^{\top}\Phi)^{-1}\Phi^{\top}y$代入$\hat{\mathcal{R}}(\widehat{\theta})$可得：

因为$(I - \Phi(\Phi^{\top}\Phi)^{-1}\Phi^{\top})\Phi = 0$, 所以 $\hat{\mathcal{R}}(\widehat{\theta})=\frac{1}{n}\|(I - \Phi(\Phi^{\top}\Phi)^{-1}\Phi^{\top})\varepsilon\|_{2}^{2}.$

(2)计算$\mathbb{E}[\hat{\mathcal{R}}(\widehat{\theta})]$

设$P = \Phi(\Phi^{\top}\Phi)^{-1}\Phi^{\top}$, 它是到$\text{im}(\Phi)$的正交投影矩阵, $I - P$也是正交投影矩阵, 且$\text{tr}(P)=d$, $\text{tr}(I)=n$, 则$\text{tr}(I - P)=n - d$.

又因为在固定设计场景下, $\mathbb{E}[\hat{\mathcal{R}}(\widehat{\theta})] = \mathbb{E}[\mathcal{R}(\widehat{\theta})]$（期望针对噪声$\varepsilon$, 经验风险和设计风险期望等价 ）, 所以$\mathbb{E}[\hat{\mathcal{R}}(\widehat{\theta})] = \mathbb{E}[\mathcal{R}(\widehat{\theta})]=\frac{n - d}{n}\sigma^{2}$.

(3) 当$n > d$时, 设$\hat{\sigma}^{2}=\frac{\|y - \Phi\widehat{\theta}\|_{2}^{2}}{n - d}$, 对其求期望：

因为$\mathbb{E}[\hat{\sigma}^{2}]=\sigma^{2}$, 所以$\frac{\|y - \Phi\widehat{\theta}\|_{2}^{2}}{n - d}$是噪声方差$\sigma^{2}$的无偏估计量.

OLS随机设计分析#

随机设计：输入和输出都是随机的. 这是监督机器学习的经典场景, 目标是对未见过的数据进行泛化.

我们考虑$x$和$y$都被视为随机变量, 并且每一对$(x_i, y_i)$被假定是相互独立且同分布的, 其分布为$dp(x, y)$. 我们的目标是证明, 对于固定设计场景得到的超额风险上界, 即$\sigma^{2}d / n$, 在随机设计场景下仍然有效. 我们对联合分布$dp(x, y)$做出以下假设, 这些假设是从固定设计场景转换到随机设计场景的：

• 存在一个向量$\theta_*\in\mathbb{R}^{d}$, 使得输入和输出之间的关系为$y = \varphi(x)^{\top}\theta_*+\varepsilon$.

• 噪声$\varepsilon\in\mathbb{R}$与$x$相互独立, 且$\mathbb{E}[\varepsilon]=0$, 方差$\mathbb{E}[\varepsilon^{2}]=\sigma^{2}$.

基于上述假设, $\mathbb{E}(y|x)=\varphi(x)^{\top}\theta_*$. 因此, 我们进行经验风险最小化, 且我们的函数类中包含贝叶斯预测器, 这种情况通常被称为模型设定正确的场景. 风险也有一个简单的表达式：

超额风险#

命题: 在上述线性模型下, 对于任意$\theta\in\mathbb{R}^{d}$, 超额风险等于：

$$\mathcal{R}(\theta)-\mathcal{R}^*=\|\theta - \theta_*\|_{\Sigma}^{2}$$

其中$\Sigma:=\mathbb{E}[\varphi(x)\varphi(x)^{\top}]$是（非中心化的）协方差矩阵, $\mathcal{R}^*=\sigma^{2}$ .

证明: 我们有：

由此得到所需结果.

注意, 与固定设计场景的唯一区别是$\widehat{\Sigma}$被$\Sigma$取代. 我们现在可以表示普通最小二乘估计量的风险.

• 性能下界部分：固定设计场景下得到的性能下界与OLS的上界匹配, 这体现了该理论的一致性和完整性. 在一般非最小二乘场景中证明类似结果更难, 说明最小二乘模型在理论分析上有一定优势, 也为后续研究其他模型提供了对比基础.

• 随机设计分析部分：随机设计场景更贴近实际应用中数据的产生情况. 通过设定假设条件, 推导出随机设计最小二乘回归的超额风险公式. 与固定设计场景的对比, 突出了不同场景下模型分析的差异和联系. 这部分内容对于理解在随机数据情况下最小二乘回归的性能和风险评估非常重要, 也为进一步研究更复杂的随机模型奠定了基础.

期望超额风险#

命题: 在上述线性模型下, 假设$\widehat{\Sigma}$可逆, 普通最小二乘（OLS）估计量的期望超额风险等于

$$\frac{\sigma^{2}}{n}\mathbb{E}[\text{tr}(\Sigma\widehat{\Sigma}^{-1})]$$

证明: 由于OLS估计量为$\widehat{\theta}=\frac{1}{n}\widehat{\Sigma}^{-1}\Phi^{\top}y=\frac{1}{n}\widehat{\Sigma}^{-1}\Phi^{\top}(\Phi\theta_*+\varepsilon)=\theta_*+\frac{1}{n}\widehat{\Sigma}^{-1}\Phi^{\top}\varepsilon$, 我们有：

因此, 要计算OLS估计量的期望风险, 我们需要计算$\mathbb{E}[\text{tr}(\Sigma\widehat{\Sigma}^{-1})]$. 这里的一个难点是$\widehat{\Sigma}$可能不可逆. 在一些简单假设下（例如, $\varphi(x)$在$\mathbb{R}^{d}$上有密度）, 只要$n > d$, $\widehat{\Sigma}$几乎肯定是可逆的, 然而其最小特征值可能非常小. 因此, 需要额外的假设来对其进行控制.

岭回归#

高维空间中的最小二乘法#

当$d/n$趋近于$1$时, 我们本质上是在记忆观测值$y_i$（也就是说, 例如当$d = n$且$\Psi$是一个可逆的方阵时, $\theta = \Phi^{-1}y$会得到$y = \Phi\theta$, 即普通最小二乘法会得到完美拟合, 但这对于未见数据的泛化通常是不利的）.

此外, 当$d > n$时, $\Phi^{\top}\Phi$不可逆, 正规方程会有一个线性子空间的解. 这些高维（$d$很大）情况下普通最小二乘法的表现往往不尽如人意 .

岭最小二乘回归#

对于正则化参数$\lambda > 0$, 我们将岭最小二乘估计量$\theta_{\lambda}$定义为以下式子的极小值点：

岭回归估计量可以用闭式解的形式得到.

命题: 回顾$\widehat{\Sigma}=\frac{1}{n}\Phi^{\top}\Phi\in\mathbb{R}^{d\times d}$. 则有

$$$$

\widehat{\theta}_{\lambda}=\frac{1}{n}(\widehat{\Sigma}+\lambda I)^{-1}\Phi^{\top}y

证明: 与命题3.1的证明类似, 我们可以计算目标函数的梯度, 其等于$\frac{2}{n}(\Phi^{\top}\Phi\theta - \Phi^{\top}y)+2\lambda\theta$. 令梯度为$0$, 即可得到该估计量.

与普通最小二乘估计量一样, 我们可以在线性模型和固定设计假设下分析这个估计量的统计性质. 关于随机设计以及可能的无限维特征的分析, 见第7章.

命题: 在线性模型假设下（并且对于固定设计场景）, 岭最小二乘估计量$\widehat{\theta}_{\lambda}=\frac{1}{n}\widehat{\Sigma}^{-1}\Phi^{\top}y$具有如下超额风险：

$$\mathbb{E}[\mathcal{R}(\widehat{\theta}_{\lambda})] - \mathcal{R}^*=\lambda^{2}\theta_{*}^{\top}(\widehat{\Sigma}+\lambda I)^{-2}\widehat{\Sigma}\theta_{*}+\frac{\sigma^{2}}{n}\text{tr}[\widehat{\Sigma}^{2}(\widehat{\Sigma}+\lambda I)^{-2}]$$

证明: 我们使用命题3.3中的风险分解, 将其分为偏差项$B$和方差项$V$ . 因为$\mathbb{E}[\widehat{\theta}_{\lambda}]=\frac{1}{n}(\widehat{\Sigma}+\lambda I)^{-1}\Phi^{\top}\Phi\theta_{*}=(\widehat{\Sigma}+\lambda I)^{-1}\widehat{\Sigma}\theta_{*}=\theta_{*}-\lambda(\widehat{\Sigma}+\lambda I)^{-1}\theta_{*}$, 由此可得

对于方差项, 利用$\mathbb{E}[\varepsilon\varepsilon^{\top}]=\sigma^{2}I$这一事实, 我们有

将偏差项和方差项相加, 即可得到该命题结论.

估计量的期望风险#

在随机设计场景中, 假设$\widehat{\Sigma}$可逆, 岭回归估计量的期望风险为

证明:

已知线性模型$y = \Phi\theta_*+\varepsilon$, 其中$\mathbb{E}[\varepsilon]=0$, $\mathbb{E}[\varepsilon\varepsilon^{\top}]=\sigma^{2}I$

岭回归估计量$\widehat{\theta}_{\lambda}=(\frac{1}{n}\Phi^{\top}\Phi+\lambda I)^{-1}\frac{1}{n}\Phi^{\top}y$

风险函数$\mathcal{R}(\theta)=\mathbb{E}_{y}\left[\frac{1}{n}\|y - \Phi\theta\|_{2}^{2}\right]$