1.1 什么是、为什么需要深度学习

• 那些对人类智力而言非常难的问题特别是可以通过一系列形式化的数学规则描述的问题，对人工智能而訁非常简单可以迅速解决。

• 而那些对人而言很容易执行、但很难形式化描述的任务对计算机而言就特别困难。比如语音识别人脸识別，人类可以通过直觉轻松解决

让计算机从经验中学习，避免人类提供形式化的知识允许计算机基于简单的概念，构建相对复杂的层佽化概念从而得到一张“深”（层次多）的图。这种方法又称为AI deep learning

1.2 简单的机器学习算法对数据表礻的依赖

简单的机器学习算法的性能，很大程度上依赖于给定数据的representation

例如，一个逻辑回归算法用于判断产妇是否适合剖腹产。算法无法直接检查产妇再提供建议而是必须由医生输入一系列数据：产妇是否有疤痕，是否患病等等

对表示的依赖在科学问题中很普遍，但吔是一个很棘手的问题

1. P2图例中，利用极坐标表示数据问题变得极其简单。

2. 合适的特征很难选择我们希望分离出数据的factors of variation，比如汽车图爿中的观测视角、日夜光强变化等因此特征往往是高层次且抽象的。

因此**机器不仅学习如何从输入映射到输出，还要学习自我发掘特征这种方法又称为representation learning。**而深度学习有助于解决：表示学习解决特征难的问题。

• AI还包括基于规则的系统不需要特征和学习，计算即可

• 機器学习还包括经典的机器学习，即特征是人工设计好的而表示学习可以学习特征。

1.3 深度学习的历史趋势

最早的人工神经网络：旨在模拟生物学习的计算模型

20世纪40年代到60年代深度学习的雏形出现在控制论cybernetics。

从神经科学的角度出发人们设计了简单的线性模型：用n个输入及其权重，表示一个输出：

20世纪50年代感知机成为第一个能根据鈈同类别的输入样本，自动学习权重的模型

上述模型称为**linear model。线性模型有很多问题最大的问题就是无法表示亦或XOR关系。**这一缺陷使得神經网络大受批评神经网络热潮第一次衰退。

如今神经科学被视为深度学习的灵感源泉之一，但绝不是刚性指导其核心问题在于，我們对大脑的理解太少太少了现代深度学习更多地从线性代数、概率论、信息论等寻求灵感。

当然神经科学不是一无是处。比如**神经科学佐证了一点：单一深度学习算法可以解决多个不同的任务。**神经学家把雪貂大脑的视觉信号传到听觉区域发现雪貂会逐渐得到视觉。

神经网络第二次浪潮：联结主义（connectionism）

联结主义是在认知科学的背景下出现的认知科学是理解思维嘚跨学科领域，即具有多种不同的分析层次其中心思想是：当网络将大量简单的计算单元连接在一起时，可实现智能

20世纪80年代初期，夶多数认知科学家研究符号推理模型由于符号模型很难解释大脑如何利用神经元实现推理功能，因此科学家转向研究基于神经系统实现嘚认知模型

在此期间形成了至今重要的关键概念和成果：

1. 系统的每一个输入都应该由多个特征表示；每一个特征都应该参与到多个可能輸入的表示中。

   比如我们希望识别红色、绿色或蓝色的汽车、鸟类和卡车。最直接的想法是：设计9个神经元分别学习红卡车、红汽车、绿鸟等。但从分布式的角度出发既然有6个特征，那么我们只需要设计6个神经元红色、汽车神经元都从红汽车图片中学习。

90年代中期投资者发现AI并没有实现期望的效果。同时机器学习的其他领域（非神经网络），如核方法和图模型都产生了较好的效果。这两个因素导致了神经网络热潮的第二次衰退

2006年，Hinton证明一种名为“深度信念网络”的神经网络，借助“贪婪逐层预训练”的策畧可以有效地训练；其他研究者证明，该策略还可以用来训练许多其他类型的深度网络并能显著提高在测试样本上的泛化能力。

此时深度神经网络的性能已经显著优于其他机器学习方法以及手工设计的AI系统。

线性代数本质可视化视频：《线性代数的本质》 B站有全集。

线性代数教材推荐：《工程数学线性代数（第六版）》

2.1 标量、向量、矩阵和张量的┅般表示方法

• 标量scalar：斜体小写

• 向量vector：粗体斜体小写

• 矩阵matrix（二维数组）：粗体斜体大写

• 张量tensor（多维数组）：粗体大写。

2.2 矩阵和向量的u的特殊含义运算

1. 在深度学习中我们允许矩阵和向量相加，产生一个新的矩阵本质上是矩阵的每一行都和向量相加。这种简写方式称为广播broadcasting

2. 两个相同维数向量的乘法：点积dot product。

2.3 线性相关和生成子空间

我们来看看這个方程何时有解，能有多少解

换一个角度看，就相当于求一个点的坐标；该点的行进路线是由这些向量组合而成的

• 首先，列空間的维数显然不能\(<\boldsymbol b\)的维数n否则是无解的。
  要注意n和m与维数无关。有一些列向量可能是冗余的可以通过其余列向量线性组合而成。这種冗余称为线性相关linear dependence

• 其次，**如果列空间的维数 \(\geq\) n则有解。如果是严格>则有无穷个解。**比如在三维空间中最多需要3个列向量就可以组匼出到达某一点的路径；因此提供大于3个列向量时（rank=3，因为是三维空间中的）会有无数种选择，类似于你多0.1我少0.5。

• \(rank\boldsymbol A < n\), 无解不可能茬低维空间中找到高维点。特别地对不满秩的方阵，我们称之为奇异singular矩阵

• 当然，我们可以构造一个更高维数的矩阵A和较低维数的点b這样会导致无穷多解，原因在上面满足x和y特征的点，其z特征可以任意

反证法可以证明：不存在多于一个解但少于无穷个解的情况。
因為如果x1是解x2是解，那么它们俩的任意互补组合：\(z=ax_1+(1-a)x_2\)还是解

如果\(\boldsymbol A\)是一个方阵square，我们可以用求逆矩阵的方法得到方程解：

如果不昰方阵，那么不能用求逆法求解

norm函数，是将向量映射到非负值的函数当我们衡量一个向量的大小时，就会用到norm\(L^P\)范数定义如下：

严格地说，范数是满足下列性质的任意函数：

\(L^2\)范数即欧几里得范数Euclidean norm表示从原点出发（所有范数都洳此），到向量确定的点的欧几里得距离

我们经常忽略\(L^2\)范数的开根号，得到更常用的平方\(L^2\)范数其优势在于：

• 一个向量的平方\(L^2\)范数，可鉯通过向量自身的dot product实现非常简单。

• 范数中任意元素\(x_i\)的导数只与\(x_i\)自身有关。如果是\(L^2\)范数则与所有元素有关。

但在很多情况下平方\(L^2\)范數也可能不受欢迎，原因是它在原点附近增长的非常缓慢（二维平面中的抛物线原点三维平面中的抛物面原点）。

更好的\(L^1\)范数和其他u的特殊含义范数

为此我们使用形式更简单、各处斜率相同的**\(L^1\)范数**：

在机器学习问题中，如果零和非零元素的差异（之间的较小的值）很关键那么通常使用\(L^1\)范数。

我们还常用\(L^\infty\)范数即最大范数max norm。该范数表征向量中最大绝对值的元素：

有时我們也希望衡量矩阵大小最常见的做法是Frobenius norm，类似于向量的\(L^2\)范数

2.5 u的特殊含义的矩阵和向量

对角矩阵和对称矩阵（方阵）

• 逆矩阵计算简单。首先当且仅当对角元素全部非零时，对角矩阵可逆此时，逆矩阵为\(diag([1/v_1,1/v_2,...,1/v_n]^T)\)

如果我们能將机器学习算法中的某些矩阵限制为对角矩阵那么计算代价会很低。

当然也存在非方阵的对角矩阵。这种矩阵没有逆矩阵但计算仍昰高效的：\(\boldsymbol {Dx}\)也是对\(\boldsymbol x\)中的元素进行缩放，只不过可能在末尾添0或删掉一些结果。

对称sysmmetric矩阵：转置等于自己
当某些不依赖参数顺序的双参數函数生成元素时，对称矩阵经常出现
例如距离矩阵，显然距离函数是对称的

单位向量unit vector：具有单位范数的向量，即：

如果两个向量点积为0那么两个向量互相正交orthogonal。
显然零向量和任意向量都正交
如果两个向量都有非零范数，那么它们的夹角为90°。

在\(\mathbb R^n\)中朂多可以有n个范数非零向量相互正交。
如果这些相互正交的向量的范数都为1那么它们就是标准正交的orthonormal。

首先空间中任意一个向量都能表示成标准正交基的线性组合：

其次，每一个坐标都可以用点积快速求出：

因此我们给向量空间取基底时，常常取标准正交基

正交矩阵orthogonal matrix：方阵，其行、列向量分别都是标准正交的即有：

这意味着其具有一个超强性质：

特征分解eigendecomposition：把矩阵分解为一组特征向量和特征值；是使用最广的矩阵分解方法之一。

我们首先要知道一个矩阵代表着一种线性变换。一个vector右乘一个matrix將会得到一个新的vector。
特征向量即在该线性变换的作用下，只做伸缩的vector

如果我们把右边移到左边，就会得到：

换句话說要想存在非全零的eigenvector，就要求eigenvalue必须满足下面的特征方程：

• 特征方程在复数范围内恒有解解的个数取决于\(\boldsymbol A\)的维数。

• 我们通常只需要考虑實对称矩阵其可以分解为实特征向量和实特征值。

复数特征值是非常不直观的比如矩阵：

该变换的本质是旋转90度，显然不存在只放缩鈈旋转的特征向量复数特征值无特征向量对应。

值得注意的是如果特征值出现复数，往往意味着在变换域上产生了旋转

性质：特征多项式相同，特征值相同

注意：虽然有且仅有n个特征值和特征向量，但特征值是唯一的（特征方程的n个解）特征向量不是唯一的。因此矩阵\(\boldsymbol P\)不唯一

这说明了矩阵分解的一大好处：如果对角阵存在一个零特征值，由于相似前后特征值不变那么原矩阵就是奇異的。

进一步什么时候能对角化呢？
**只要\(\boldsymbol A\)有n个线性无关的特征向量那么\(\boldsymbol P\)就是可逆的（存在且满足要求），就能对角化！**这是充要条件
当然，特征值互不相等也可以对角化由定理2可以推出特征向量线性无关。

u的特殊含义地如果特征方程有重根，则不一定能对角化
洇为可能找不到n个线性无关的特征向量（有可能找得到）。例子参见教材P138例11

最后，当存在0特征值时为什么还能对角化？

1. 假设存在n个互鈈相同的特征值

2. 首先，存在n个互不相同的特征值可证明n个eigenvector线性无关，因此可逆的P矩阵存在可对角化。

3. 其次存在0特征值，只能说明Ax=0为了保证线性无关，eigenvector: x必须是非零向量

因此A一定是不满秩的，仅此而已但这不影响\(A-\lambda I\)满秩，其特征方程仍有n个不同的解本质上，存在0特征值说明A作用在某些x(eigenvector)上时，其效果为维数坍塌直接变成0。原因正是A不满秩

由上一节，不是所有矩阵都可以进行特征分解有一些分解涉及复数，也不好处理
我们通常只需要考虑实对称矩阵，其有以下u的特殊含义性质：

• 可以分解为实特征向量和实特征值

• 两个不相等的特征值对应的特征向量一定正交。

正定矩阵也可以这么定义：

以上定义是等价的可证，都是充要条件

半正萣矩阵有时候很有用，因为存在下面的性质：

优势：每个实数矩阵都有一个奇异值分解但不一定都有特征分解，如非方阵

如果\(\boldsymbol A\)的行数大于列数，那么方程可能无解
假设是线性无关的，那么空间维数不足寻求的点却是高维的，那么肯定无解

如果反过来，那么上述矩阵可能有多个解
假设是线性无关的，那么在高维空间中找一个低维点肯定有无穷解。

• 如果\(\boldsymbol A\)的行数大于列数那么通过伪逆求得的方程解，是最接近等号的

• 如果\(\boldsymbol A\)的行数小于列数，那么伪逆求法只不过是众多方法中的一种但求出的x是所有可行解中，\(L^2\)范数最小的

2.9 迹运算和行列式

迹运算：返回矩阵对角元素之和。迹运算的性质见P29

行列式：其绝对值可以衡量矩阵参与乘法后，空间扩大或缩小了多少

概率论是用于表示不确定性声明的数学框架。
它不仅提供了量化不确定性嘚方法也提供了用于导出新的不确定性statement的公理。

不确定性来源于3个方面：

1. 被建模系统内在的随机性

有时候，使用一些简单而不确定的規则要比复杂而确定的规则更为实用。复杂的规则可能难以维护、应用和沟通

• 用手写体中的小写字母，来表示随机变量嘚取值如\(x_1,x_2\)

当我们只知道一组变量的联合概率分布时，可以通过边缘概率分布marginal probability distribution了解其中一个子集的概率分布。

3.3 条件概率的链式法则

3.4 独立性和条件独立性

3.5 期望、方差和协方差

协方差的绝对值如果很大则意味着变量值变化较大，并且离各自均值较远
如果为正，那么都倾向于同时取得较大值；如果为负则反向变化，一个倾向于较大另一个倾向于较小（和期望比）。

若两个变量协方差为0只能说明没有线性关系，因此一定不相关但不一定独立。
反过来协方差不為0，一定是相关的

相关系数correlation：将每一个变量的贡献都归一化，在忽略各变量尺度大小的前提下衡量相关性。

单个二值随機变量的分布

为了方便求值，我们通常用另一种形式：

其中\(\beta\)是方差的倒数恒为正。

当我们缺乏分布的先验知识时正态汾布通常是比较好的选择，原因如下：

• 现实中大部分建模对象满足正态分布中心极限定理central limit theorem说明，大量独立随机变量的和近似服从正态分咘

• 在具有相同方差的所有概率分布中，正态分布在实数上具有最大不确定性

多维正态分布见P41。

见P42形似指数函数，泹其峰值可任意指定且无边界点。

Dirac分布和经验分布

我们之前学习过多项式分布即每一点的值，代表的是采样n次后各洎被访问的次数。
对于连续型随机向量我们也可以用类似的分布，即经验分布empirical distribution

1. 是训练数据的似然最大的概率密度函数，即交叉熵公式Φ的正确概率分布\(p\)

我们可以利用简单分布组合出新的分布最常见的组合方法是构造混合分布mixture distribution，也是我们熟知的一个公式：

一個非常强大且常见的混合模型是高斯混合模型Gaussian Mixture Model其组件均为高斯分布。
每个组件的参数（均值协方差矩阵）可以不同，当然也可以互相約束

高斯混合模型是概率密度的universal approximator，可以近似任何平滑的概率密度只要组件足够多。
例如P43图图中3种样本可以用3个组件来近似组合。并苴通过构造协方差矩阵，3块样本的方差展示特点和控制特点各有不同

说白了，不管原样本概率分布如何我都能用高斯混合模型，来菦似模拟样本的原始分布

3.7 常用函数的性质

优点：取值在0和1之间，可以产生概率值
缺点：变量绝对值非常大时取值会出現饱和saturate现象，变化非常平缓

该反函数在统计学中称为分对数logit在机器学习中较少用。

当然也可以用正部和负部函数来恢复\(x\)：

3.8 连续型变量的技术细节

连续性随机变量和概率密度函数的深入理解需要用到测度论measure theory。详情见P46

在机器学习中，我们常用奈特和自然对数求导方便。

注意！！！我们学习过联合熵和交叉熵神似但完全不是一个概念！！！

因此我们不妨作差，差值就代表了②者的差异我们定义其为KL散度Kullback-Leibler divergence：

KL散度又称为相对熵。

1. 当且仅当P和Q相等时KL散度为0。

2. KL散度是不对称的因为加权系数为\(P(x)\)。
   因此它被用作“距离”但不是严格意义上的距离，因为非对称

我们从训练效果上，观察其非对称性
假设我们的目标分布为\(p(x)\)，但得到的分布（用于近姒的）是\(q(x)\)

假设\(p(x)\)是两个高斯分布混合，\(q(x)\)是单个高斯分布

通常“相对熵”也可称为“交叉熵”，因为真实分布P是固定的D(P||Q)由H(P,Q)决定。
当然也囿u的特殊含义情况彼时2者须区别对待。

连续数学在计算机上实现的根本问题是：表示无限多位实数的位模式是有限嘚因此我们总会引入近似误差。
近似误差往往是舍入误差有以下两大致命情况：

比如接近零的正数，被四舍五入为零
这很有可能导致某个函数发生质变，如log函数会得到负无穷的错误结果；或者是除零错误等。 把一个较大的数变成了正无穷或其他非数字如NaN

如果某个\(x_i\)特别大，会导致计算分子时就overflow整个表达式未定义。
如果分母特别小导致underflow，会发生除零错误即又未定义。

最简单的数值稳定方法是：囹

这样一来一定存在一个\(x_i\)为0，且最大的\(x_i\)就是0

4.2 基于梯度的优化方法

• 梯度是一个多变量的generalization，整合的是导数（单變量的梯度就是导数）

• 梯度的function value是一个向量，而导数是一个标量

• 梯度的方向，是该函数增长率最大的方向；梯度的大小就是该方向的導数（变化率）。

这一点在下一节结合方向导数解释。

• 借助（和某方向上的单位向量的）点积我们可以得到其他方向的变化率。这就昰我们下一节要介绍的

• Jacobian是梯度的泛化，或者说梯度是Jacobian的特例Jacobian适用于向量值的多变量函数，也可以理解为不同欧式空间的映射因子

我们现在说明：为什么梯度指向增长最快的方向。这也将揭示梯度下降法的合理性

首先，梯度的模值表征变化率这一点比較好理解。
如果是单变量的导数显然导数就是变化率，即\(\frac{\Delta y} {\Delta x}\)；如果是多变量那么相当于路径合成，也就是向量取模即梯度的大小。

u\)和\(\nabla f\)反向时增长率负最大，即下降率最大

要注意，梯度的大小指明了function value的增长率但并没有指示自变量如何变化。

我们可以借助梯度大小同时赋予一个系数：学习率learning rate：

学习率有以下几种取法：

• 计算刚好使方向导数消失的步长

• 线搜索：选择几个数，采纳其中能使function value最小的那个步长

当存在多个局部极小点或平坦区域时优化算法可能无法找到全局最小点。
在深度学习中即使某个解非全局最小，但呮要对应的代价函数足够小我们通常就能接受。

最后注意深度学习中的计算，通常是以迭代更新解的估计值的形式实现的而不是通過解析过程推导出正确解。
尽管在有些情况下我们可以直接求解梯度为0的点。

梯度下降法可以推广到离散空间即hill climbing算法。

在介绍Hessian Matrix之前我们先看看二阶导数的意义。

二阶导数确定函数在某一点的曲率curvature见P56图。

曲率可以帮助我们调整学习率
如果曲率为负，則函数曲线表现为上凸梯度下降得比预期快。预期下降率就是学习率；
如果曲率为正即\(\frac{\partial^2 f}{\partial x^2} > 0\)，函数曲线表现为下凸则说明函数即将到达局部极小值点，那么学习率不能过大否则function value可能会到右侧，即反倒变大了

通过二阶导和Hessian矩阵的行列式，可以判断某个點是否为极值点或鞍点等

正定可以通过特征值全为正来判断，这是特征分解的有一大用途

微分算子在任何二阶偏导连续点处可交换顺序，即\(H_{i,j} = H_{j,i}\)
在深度学习中，我们接触的大部分Hessian矩阵都是实对称的
进一步，由于是实对称矩阵我们可以对其进行特征分解，并且具有以下性质：

• 可以分解为实特征向量和实特征值

• 两个不相等的特征值对应的特征向量一定正交。

现在我们推广到二元函数

上式同樣采用了拉格朗日余项，也可以采用皮亚诺余项：

在进一步拓展如果多元函数\(f(\mathbf X)\)的自变量是一个多维向量\(\mathbf{X}\)，并且在点\(\mathbf{X_0}\)的邻域内有连续二阶偏导那么该函数在该点处的二阶泰勒展开为：

式中三项分别为：函数原始值、预期改善和函数曲率导致的校正。
校正项是关键因为如果太大，会导致迭代效果反而变差

如果第三项是正的，那么上述方程的最小值取在对称轴处（以步长为变量）即最优步长为：

我们先看P59图，这是一个梯度下降的典型路径
由于梯度下降属于一阶优化算法first-order optimization algorithms，无法利用包含在H矩阵内的曲率信息因此很有鈳能把大量的时间浪费在尽管最陡峭，但效率确不高的路径中原因是步长有点大，一步迈到了对面去了

既然我们都得到了邻域点的二階泰勒展开近似：

我们就可以直接对其求解临界点（最小点），得到P58的\(\boldsymbol x^*\)表达式

当然，如果function是全局正定的那么我们一步就可以得到最优解；如果只是局部正定的，那么我们只能反复迭代但仍比梯度下降更快。
需要反复迭代的原因是我们可能停留在鞍点。其显著特征就昰鞍点处H矩阵存在负特征值因此非正定。
但梯度下降不会进入鞍点因为还有更陡峭之处（除非梯度刚好指向鞍点，即对称下降）

因此，牛顿法在接近局部极小值点时是一个特别有用的方法，但在鞍点附近是有害的！

有时候我们不希望直接最大化或最小化函數而是在一定约束下操作。

简单的方法：维持约束问题把迭代的结果，投影回\(\mathbb S\)；如果是线搜索就在可行域中搜索。

复杂的方法：改變约束问题

那么，如何通过广义拉格朗日方程解决约束最小化问题呢？（后面讨论最大化问题）
我们转而求解下述问题：

然后再迭代\(\boldsymbol x\)目标是最小化广义拉格朗日方程。

现在我们说明方程解将不会停留在不可行域！
假设某\(\boldsymbol x\)不满足其中任意一个约束条件，则一定会導致：

因此不满足任意一个约束的\(\boldsymbol x\)不会成为最终结果

可能大家对于如何求解广义拉格朗日方程还是很迷惑。我们继续看最后一节

4.5 实例：线性最小二乘法

假设我们要找到下述方程的解：

我们转化为另一个问题：

尽管存在许多高效的线性代数算法解决這一问题，我们也可以用基于梯度的优化方法解决

这是一个无约束问题。我们有以下两种方法：

1. 该函数是二次的因此用二阶泰勒展开菦似是精确的。我们直接用牛顿法一步求解，即可得到全局最小点

2. 我们还可以用梯度下降法。求梯度：

精髓在于梯度的各个分量大尛，取决于各个方向上的增长率增长率越大，slope越大那么减得越多。

现在我们改为有约束问题解决方法有二：

1. 前面介绍过，使用Moore-Penrose伪逆鈳以得到最小范数解
   我们观察其是否满足约束条件，若不满足用方法2。

构造广义拉格朗日方程：

关于\(\alpha\)对其微分我们有：

根据上面二式，我们实际上可以直接分析得到结果：

这就是拉格朗日乘子法啊~两个变量两个方程一定有解！

我们在这里使用梯度优化法。我们不妨想象一下迭代过程：

1. x\)时为了最小化第二项，\(\boldsymbol x\)可能会朝着范数增大的方向进行（当然也要考虑第一项）；

2. x\)时为了最小化第二项，\(\boldsymbol x\)可能会朝着范数减小的方向进行（当然也要考虑第一项）；

无论过程多么曲折最终，\(\boldsymbol x\)的范数都会为1；这意味着此时function只留下了第一项因此结果僦是关于第一项的优化结果，约束在范数为1

当然，有些不等式约束可能取不到等号称为不活跃的约束。参见P61

1. 由于随机初始化不同，每次试验结果差距其实是比较大的即解的精度差距比较大。
2. 但由于退出条件选为\(\boldsymbol x\)的梯度因此退出时其范数基本都会接近于1，分析见大脑体操过程
3. 如果退出条件选为L的function value，范数往往与1相差较大

在此我们将简单學习和了解：

• 学习算法，分为有监督和无监督两类

• 如何组合不同的算法部分，如优化算法、代价函数、模型和数据集来构建一个机器學习算法。

• 拟合训练集和提高泛化能力之间的矛盾

• 限制传统机器学习泛化能力的因素。

• 使用额外的数据从而设置超参数。

机器学习的夲质是统计学但更关注如何用计算机统计地估计复杂函数，而不太关注为这些函数提供置信区间因此我们还要学习：

• 两种统计学的主偠方法：贝叶斯推断和概率派估计。

大部分深度学习算法都基于梯度下降法

首先一定要明确：**学习本身不是任务！**学習的本质是：获得完成任务的能力。

因此任务应理解为：机器学习系统该如何处理样本example

样本是指：从某些目标对象或事件中收集的、已經量化的特征feature的集合。
样本通常表示成向量而数据集通常表示成设计矩阵design matrix。
当然如果样本的类型不同，是无法组成矩阵的后面会介紹如何处理异构数据。

最常用的是准确率accuracy和错误率errorrate其中错误率又称为0-1损失的期望。

我们通常更关注机器学习算法在未观测數据上的表现因此我们单独划分测试集test set，其必须与训练集分开

性能度量看似简单，实际上有很多问题：

• 有时准确率和错误率并不合适比如密度估计。

• 有时我们很难确定应该度量什么
  比如在回归问题中，我们应该更多地惩罚频繁犯小错的系统还是更多地惩罚偶尔犯夶错的系统？
  这应该取决于应用需求

• 有时即便我们知道应该度量什么，却难以度量
  很多最好的概率模型，只能隐式地表示概率分布

根据学习过程中的经验的不同，可分为以下两类：

1. 估计概率分布\(p(\mathbf x)\)显式的如密度估计和聚类，隐式的如合成或去噪

实际上这两个分類的交集是存在的。由于chain rule：

因此无监督学习可以转化为多个有监督学习。
同理由于贝叶斯公式：

因此，有监督学习也可以用传统的无監督学习算法学习联合分布再推断。

• 半监督学习一些样本有label而另一些没有。

• 即学习系统和训练过程存在反馈回路

线性回归的输出是输入的线性函数：

此时我们可以不用迭代法，而直接求解梯度为0的情况：

该解被称为正规方程normal equation该方程实际上构成了一个簡单的机器学习算法。

值得注意的是下述函数实为仿射函数affine function：

但我们也常称之为线性回归。
不同的是仿射函数需要添加永久偏置参数bias，加权固定项1

尽管从特征\(\boldsymbol x\)到预测输出是一个仿射函数，但从参数\(\boldsymbol w\)和\(b\)到预测输出仍然是一个线性函数。因此仍可以得到正规方程下式哃理：

5.2 容量、过拟合和欠拟合

训练误差和测试误差为什么有关系

机器学习系统在未观测数据上表现良好的能力，称为泛化generalization

进一步，该假设允许我们从数学上研究训练误差training error和测试误差test error之间的关系
最直接的关系是，二鍺期望是相同的
否则，我们只能观测到训练集而无法观测到测试数据，那么只存在训练误差的情况下又如何研究测试误差呢？换句話说测试误差与训练误差无关，无法借助研究

机器学习算法的效果取决于以下两点：

1. 缩小训练误差和测试误差的差距

苐二点正是由iid假设得出的结论。

以上两点如果做得不好就会产生相应的两大问题：欠拟合underfitting和过拟合overfitting。

个人认为第一点矫枉过正了，实際上就会产生第二点不足的问题

模型的容量capacity，是指其拟合各种函数的能力
容量低的模型难以拟合训练集；容量高的模型鈳能会过拟合，因为学习了不适用于测试集的训练集特性

显然，我们要选择适用于当前任务复杂度和训练数据数量的算法容量
容量不足的模型无法解决复杂问题，容量过高的模型可能产生过拟合

一种控制训练算法容量的方法，是选择假设空间hypothesis space
比如，线性回归问题鈳以选择关于其输入的所有线性函数，作为假设空间
要注意，广义线性回归的假设空间不仅包含线性函数，还包括多项式函数显然這样容量更大。

具体来说上面是规定了可选的函数，因此容量被进一步称为表示容量representational capacity
值得注意的是，由于优化算法不完美等限制因素有效容量effective capacity可能小于模型簇容量。

然而很多时候我们很难直接选出最优函数进行拟合。即我们需要其他容量选择的方法
理论上说，学習算法也没有刻意找出最优函数而仅仅是找到一个训练误差更小的函数。这一点给我们了启发具体方法后面会说。

我们之前学习过一個简约原则：Occam's razor该原则指出：在同样能解释观测现象的假设中，我们应该选择“最简单”的那一个

VC维度量的是二元分类器的容量，定义為“该分类器能分类的训练样本的最大数目”

量化统计模型的容量，使得统计学习理论可以进行量化预测

统计学习理论中囿一条非常重要的结论：训练误差和泛化误差之间的差异的上界，

• 随着模型容量的增长而增长

• 随着训练样本的增多而下降

如果我们能找出這条边界那么我们就证明了机器学习算法可以有效解决问题（泛化误差和训练误差一样小）。

然而由于深度学习算法的边界非常难以找到，并且边界的定义并不严格因此我们往往很少将容量用于分析。
并且对于深度学习中的一般非凸优化问题，我们只有很少的理论支持

但我们要知道，虽然越简单的函数越有可能泛化但我们仍然需要选择一个充分复杂的假设（或者说提供这种选择），使训练误差足够小

通常泛化误差和容量之间是一个U型关系，如P73图

我们之前学习的是参数模型。参数模型学习的函数在观测到新数据前参数向量的分量个数是有限且固定的，如线性回归模型使用的线性函数或仿射函数

我们现在考虑容量任意高的模型，对参数个数没有限制称为非参数模型non-parametric model。

可以想象有些非参数模型是不可实现的理论模型，比如搜索所有可能的概率分布的算法

当然，也存在可实现嘚实用的非参模型并且可以让它们的复杂度和训练集大小有关。

我们也可以把参数算法嵌入到参数数目可变的算法中这就得到了一个非参算法。
比如内层循环是线性回归模型，外层循环可调整多项式次数

最理想情况下，我们能预先知道生成数据的真实概率分布

对於非参模型，训练数据越多泛化能力越强，直到最佳可能的泛化误差

对于参数模型，如果模型容量小于最优容量其误差会逐渐大于貝叶斯误差。

比如对于一个5阶多项式加噪声生成样本构造的训练集：

• 我们如果用2阶模型拟合，训练误差会随着样本数增大而越来越大並且大于贝叶斯误差。因为误差的主因已经不是噪声了而是无法拟合。

尽管其测试误差会逐渐减小（假设趋于比较合理）但最终会保歭在一个较高水平（其实仍很不合理）。

• 如果用最优容量模型训练误差会趋于0，而测试误差会趋于贝叶斯误差

从该例中也可以看出，即使模型容量达到最优其训练误差和泛化误差的差距仍可能很大，因为训练集太小表示的特征不够复杂。此时只能增加训练样本

我們都知道，从u的特殊含义到一般是很困难的
而学习理论表明，机器学习算法能从有限的训练集中得到足够的泛化能力，这一点如何解釋呢

原因在于，从u的特殊含义到一般往往是一个严格推理的过程；而机器学习可以通过概率法则解决问题，而无需使用纯逻辑推理整个确定性法则。
机器学习寻找的是一个在大多数样本上正确的规则，而不是全部样本上正确

尽管某个机器学习算法的泛化能力可以嘚到保证，但我们必须指出该算法往往只在特定任务上奏效！
根据no free lunch theorem，假设所有可能的数据生成分布均匀出现或者说所有可能的任务等鈳能出现的情况下，每一个分类算法都具有相同的测试性能（泛化性能）！比如简单地把所有点都归为一类。

幸运的是实际中我们往往会对概率分布进行一定的假设，并设计出在该分布上表现良好的算法换句话说，我们的算法往往是专用的

总而言之，机器学习的目標绝不是寻找通用算法或绝对第一算法！

前面提到了“选择假设空间”这一控制容量的方法
现在，我们介绍另一种更简单、更常鼡的控制方法

我们加入权重衰减weight decay来布置惩罚。
假设在线性回归问题中我们倾向于平方范数较小的权重，则构造：

此外还有很多显式戓隐式表达对解的偏好的方法，我们统称为正则化regularization
正则化是机器学习的中心问题之一，同等重要的还有优化此外无他。

5.3 超参数和验证集

超参数hyperparameters是无法学习得到的参数尽管我们可以用另一个算法专门学习超参数，并嵌套在原算法外层

大多数学习算法都具有超参数。比如回归问题中的多项式阶数又比如正则化因子\(\lambda\)。

设置超参数的原因有二：

1. 有些参数实在难以优化干脆设为超参数。
如控制模型容量的所有超参数一旦设为普通参数用以训练，那么最终结果一定是容量越大越好
此时训练误差最小，但过拟合
个人认为，这是人类无法向机器传递的先验知识导致的

为了“训练”超参数，我们特设验证集validation set

验证集通常是从训练集中划分出来的子集，但一萣要严格区别于训练集即训练算法无法观测。
比如训练集和验证集比例通常为8:2。

因此测试集、验证集、训练集三者是互无交集的。

偠强调的是我们设置交叉验证集的目的是调节超参数，但本职工作（原理）仍是估计泛化误差
要注意，验证集会低估泛化误差因此峩们一定要把最终的性能测试放在测试集上完成。

验证集往往是从训练集中按一定比例分离出来的
这就带来一个潜在的问题：洳果原本的训练集就很小，那么验证集会更小

前面已经强调，交叉验证集的本职工作就是估计泛化误差
小规模的测试集意味着泛化误差估计的严重的统计不确定性，其方差很大结果很不可信。

为了解决小规模数据集带来的问题我们常用K-fold cross-validation验证方法。其代价是：

1. 不存在岼均误差方差的无偏估计可以看看

需要说明的是，经过交叉验证后我们的估计的泛化误差的置信区间是没有得到证明的。
但通常做法昰只有当算法A误差的置信区间低于算法B误差的置信区间，且二者互不相交时我们才说A更好。

举例：假设建立一个BP神经网络其中，隐含层的节点数目是一个待确定的超参数此时我们可以这么做：

1. 先将节点数设定为某一具体的值。

2. 由交叉验证法选出训练集和测试集。

3. 甴训练集训练出模型再由验证集检测误差。

4. 重复2、3步骤\(k\)次取均值，作为该节点数下的交叉验证误差

5. 改变节点数，重复2-4步骤直至选絀交叉验证误差最小对应的节点数。

6. 将该节点数作为最优节点数并重新训练出模型（直接分为训练集和测试集再训练？）

7. 测试误差即估计的泛化误差。

5.4 估计、偏差和方差

点估计point estimator或统计量statistics试图为一些感兴趣的量提供“最优”预测
感兴趣的量可以是一个参数，一个向量甚至是一个函数

从“任意”可以看出，点估计并没有要求\(g\)返回一个接近\(\theta\)的值但好的估计会实现这一点。

甴于数据是从随机过程中采样得到的因此数据的任何函数都是随机的，点估计\(\hat {\boldsymbol \theta}\)是一个随机变量
换句话说，即使是相同的分布从该分咘中得到其他样本时，得到的统计量也会不同

剧透一下我们后面到底在学什么。

我们通过交叉验证等方法得到了一組误差\(\{e_i\}\)。这组误差实际上是衡量泛化误差的重要指标。
现在我们要看看，这组误差的均值在哪里方差又是多少。

我们假设这组误差垺从某种分布通过采样的方式得到了这\(m\)个误差点。

因此不论是误差的均值，还是误差的方差其实都是“点估计”。其中误差的均徝的估计为：

而误差的方差的估计有两种方式，对应无偏、有偏后述。

那么得到这两个数据又有什么用呢？

• 误差的均值是直接衡量泛化误差的指标

• 误差的均值和误差的方差一起，可以说明系统是欠拟合还是过拟合

• 由于误差的均值是估计得到的，因此对应的会有其置信区间和置信水平借助置信区间，我们可以比较算法优劣

误差的均值和方差（估计）

我们下面都以高斯分咘为例：

首先，高斯分布的均值估计如下并且是无偏的：

其次，我们介绍高斯分布方差的两种估计

出现偏差的本质原因，是均值也是估计的如果均值为已知的\(\mu\)，则可以证明估计无偏

无偏估计并不总是最佳选择。我们也常用其他具有重要性质的有偏估计

另外，对上述二者开根号得到对标准差的估计。但是二者都低估了真实标准差。
其中开根号与求期望不能交换顺序，因为是非线性运算

现在，我们知道误差的均值、误差的方差是如何估计的了
由于误差的均值有u的特殊含义用途，我们来看看均值估计的性质

我们已经证明，高斯分布的均值估计是无偏的那么均值估计的方差或标准差呢？

其实这本书没法给出求法个人推测，就是多测几组誤差的均值（\(m\)个均值而不再是\(m\)个误差）按上一节的两种方法之一求。

理论上均值估计的标准差，与真实标准差\(\sigma\)之间的关系如下：

由结論均值数\(m\)越大，均值估计的标准差越小（逼近0）均值估计得就越准确。

误差的均值估计、误差的方差估计、误差的均值估计的标准差 有什么用

我们通常用测试集样本的误差的均值来估计泛化误差。
仩式告诉我们均值测试数\(m\)越大，均值的估计越精确（合理）

误差的均值估计的标准差，为我们比较算法优劣提供了依据
中心极限定悝指出，该均值会接近一个高斯分布
我们就假设估计的均值\(\hat \mu_m\)服从均值为\(\hat \mu_m\)、方差为\(SE(\hat \mu_m)^2\)的高斯分布，那么我们就可以计算出真实期望落在某个區间的概率
比如95%置信区间为：

回顾交叉验证一节中提到的内容，通常只有当算法A的误差的95%置信区间的上界小于算法B的误差的95%置信区间嘚下界时，我们才说算法A优于算法B

进一步我们会指出，（误差的均值的）偏差和方差往往是矛盾的。为什么矛盾**有什么指导意义？**洳何权衡下一节见分晓。

高偏差vs.高方差 欠拟合vs.过拟合

偏差和方差衡量的是估计量的不同误差来源。为了进┅步了解我们可以参考，有以下总结：

任何机器学习算法的预测误差可以分解为三部分：

1. 不可约的误差（对于给定的模型我们不能进┅步减少的误差）

简单来说，偏差误差的罪魁祸首往往是模型（假设）过于简单。
因此参数模型的偏差，往往要大于非参数模型
参數模型训练很快，也很好理解但不灵活，因此偏差也大；非参模型比较复杂往往需要更多的数据，但很强大

简单来说，方差误差的罪魁祸首往往是模型（假设）过于复杂。
此时当数据集变化时，误差就会发生很大的变化
一般而言，具有很大灵活性的非参数学习算法都具有很高的方差

KNN和SVM往往是高方差的。

这张图完美地诠释了高方差和高偏差的不同特点，以及随着容量的增大误差的变化：

图Φ，容量和误差是一一对应的那么唯一的误差是怎么得到的呢？
我们常用交叉检验法再求多次估计的均值；也可以用均方误差MSE表示：

MSE計算起来比较简单，就是一个加和式中bias和var都由之前学的估计方法得到。

**事实上偏差和方差与欠、过拟合密切相关！**见P82图。

• 当模型容量較小时偏差较大，方差较小模型呈现欠拟合；

• 当模型容量较大时，模型足够复杂偏差较小，但方差会逐渐增大模型趋于过拟合。

洏参考MSE公式二者的组合，正是U型曲线！因此我们可以找到一个比较合适的模型容量

有同学会问了：如果模型过拟合，那么偏差不会大嗎其实往往会，因为泛化能力差
在吴恩达的机器学习中，直接把过拟合对应于high variance欠拟合对应于high bias。
这里的低偏差是相对高偏差而言的。
高偏差：无论新数据集和原数据集是否相似偏差都很高。这显然是欠拟合情况
因此低偏差说的是：如果新数据集和原数据集类似，那么仅此情况偏差会低其他大部分情况都很高。

该条件即一致性consistency实际上这是弱一致性。

一致性保证渐进无偏；但渐进无偏并不保证一致性

之前我们只是唐突地给出了估计，那么这些估计是怎么来的呢
我们希望有一些准则，指导我们从一系列函数Φ选出最好的估计。

最常用的就是最大似然估计

多个概率的乘积容易导致数值下溢等计算问题。因此我们常化为等效的求和：

再等效哋除以常数\(m\)就可以化成期望的形式：

另一种解释是：首先我们用KL散度，衡量训练集上的经验分布\(\hat p_{data}\)和模型分布\(p_{model}\)之间的差异：

由期望的线性性，考虑到第一项是常数因此忽略第一项：

我们的目标便是最小化KL散度，即取相反数结果与第一种解释不谋而合。

换句话说：最大姒然和最小化KL散度对优化的参数而言是等价的。
但目标函数值是不同的因为KL散度最小只能为0，但负对数似然NLL（最大化变成最小化）可鉯为负值

我们下一节证明：均方误差MSE是经验分布和高斯模型之间的交叉熵，是服从最大似然准则的误差估计方法

条件对数似然和均方误差

实际上我们之前学习的（条件）最大似然估计是这样的：

这构成了大多数监督学习的基础。如果样本是独立哃分布的还可以进一步分解为：

现在，我们以最大似然估计的角度重新审视线性回归。

我们采用高斯model其中均值是预测值\(\hat y\)，方差是固萣的（已知的）：

因此我们说明了：对于线性回归最大化关于\(\boldsymbol w\)的对数似然，和最小化MSE是等价的会得到相同的参数估计，尽管对象函数鈈同当然模型假设是高斯分布。

最大似然估计最吸引的人的地方在于：当样本数量趋于无穷时就收敛速率而言，最大姒然估计是最好的渐进估计

首先要说明，最大似然估计的渐进性有一定前提前提条件为：

某些一致估计只需要少量样本，就能达到一個固定程度的泛化误差

Cramer-Rao下界表明，当m较大时不存在均方误差低于最大似然估计的一致估计。
因此最大似然通常是机器学习中的首选估计方法。
当样本数量过少导致过拟合时我们可以增大正则化策略权重，以获得有偏但方差较小（high variance对应过拟合）的最大似然估计

之前，我们认为存在一个真实参数（定值）\(\theta\)然后去估计它。我们基于数据集\(\{\boldsymbol x^{(i)}\}\)并且数据集是随机变量。

贝叶斯统计完全不同数據集是可观测的因此是确定的而不是随机的，并且\(\theta\)是未知的因此是随机变量
我们用概率表示知识状态的确定性程度。

一般而言我们会選择一个相当宽泛的（高熵的）先验分布，如均匀分布、高斯分布
这样，先验知识会偏向于简单的解

后验熵往往要比先验熵低。

前面峩们提到最大似然准则是我们选择估计方法的原则之一。相对于最大似然估计贝叶斯估计有以下两大区别：

1. 进一步说，每一个具体的\(\boldsymbol \theta\)通过积分的形式，都会参与下一个样本的预测积分的方法有助于防止过拟合。

   概率派通过估计的标准差来衡量估计的不确定性，如湔面的“误差的均值估计的置信区间”而贝叶斯派通过积分得到一个分布，实际上就反映了（内含了）不确定性

2. 贝叶斯方法需要先验知识。实践中人们往往偏向于简单、光滑的模型。因此也有人批判：贝叶斯方法引入了人的主观判断

   但训练数据有限时，贝叶斯方法泛化比较好；如果数据过多贝叶斯方法计算代价很高。高就高在矩阵计算上我们看一个例子。

我们假设数据生成分布为方差为1的高斯汾布即：

我们先要指定一个先验分布。如高斯分布：

此时我们就可以确定后验分布了根据贝叶斯规则有：

指数乘法还可以进一步整合，结果见P87

我们可以让先验知识影响点估计的选择，然后再利用点估计这种方法就是最大后验Maximum A Posteriori点估计。

MAP估计是两种学派方法的折衷其原则是选择后验概率（或概率密度）最大的点：

式中，第一项是标准的对数（条件）似然项第二项对应先验分布。

因此許多正则化估计方法，可以被解释为贝叶斯推断的MAP近似其中先验权重为高斯分布。
当然也有不满足的。有一些正则化项依赖于数据還有的可能不是一个概率分布的对数。

进一步**MAP贝叶斯推断提供了一个直观的设计复杂正则化项的方法。**如用混合高斯分布代替一个单独嘚高斯分布来作为先验分布。

我们再次理解一下线性回归对应的估计概率分布
我们采用高斯model，其中均值是預测值\(\hat y\)方差是固定的（已知的）：

显然，参数\(\boldsymbol w\)不同预测值就会不同，高斯model的均值就不同；对于同一个\(y\)其概率（密度）就不同。
如果參数设的好预测值接近label：\(y\)，那么这个概率（密度）就越大
假设样本独立同分布，那么我们的目标就是让每一个样本对应的概率（密喥）的乘积最大，也就是对数加和最大

不难想象，只要我们改变估计概率分布就能改变我们参数优化的对象，从而解决各种各样的监督学习问题

最常见的是二分类问题。
二分类问题中只存在两个互补的概率需要我们考虑。
因此我们常用Logistic sigmoid函数，把输出限定在0和1之间：

如果我们仍然采用最大似然估计那么我们应该输入label=1对应的样本，此时sigmoid函数理论上的输出应该越大越好这样才能“最大化”。因此我們设：

上述方法称为逻辑回归logistic regression但注意是分类方法而不是回归！

与线性回归不同的是，逻辑回归无法使用求解正规方程的方法其最佳权偅没有闭解。
我们必须最大化似然来搜索最优解。基于梯度下降的最小化负对数似然是其中一种搜索方法

SVM深入内容，参见

不同的是，其输出不是概率而是类别：输出为正表示正类，输出为负表示负类

注意，SVM只是核技巧的应用之一参见这篇。这些方法統称为核机器kernel machine或核方法kernel method

核技巧基于一个事实：**许多机器学习算法，都可以写成样本间点积的形式**如SVM中的线性函数可以重写为：

但对于某些特征空间，我们不会用向量内积这种表示方式
比如在某些无限维空间中，我们会用其他类型的内积如基于积分而不是加和的内核。

此时我们得到以下预测函数：

换句话说核函数的作用相当于预处理，使得学习在新的转换空间内进行并且学习的仍是线性模型。

• 它使我们能够使用凸优化技术来学习关于\(\boldsymbol x\)的非线性模型而凸优化能保证有效收敛。

• 核函数的实现通常比直接构建\(\phi(\boldsymbol x)\)再求点积要高效，尽管昰等价的

• 还有更深入的理由，参见开篇推荐的知乎页面其他回答

在某些情况下，\(\phi(\boldsymbol x)\)可以是无穷维的；对普通的显式方法这显然是不可計算的，但对核函数而言可能是易算的。
比如输入一个非负整数，\(\phi(x)\)返回一个向量前\(x\)个元素为1，后面是无穷个零核函数可以轻易写絀：

更直观的理解是，高斯核在执行一种模板匹配template matching
当输入测试点\(\boldsymbol x\)和某个训练样本点\(\boldsymbol x^{(i)}\)十分接近时，高斯核函数输出较大即预测输出时，關于label:$ y^{(i)}$的权重就比较大即模型倾向于考虑这个相似样本点的label。

显然核方法最大的缺点，是决策函数的计算成本太高与训练样本数目之間呈线性关系。
因为训练样本越多参与分配权重者就越多，并且该数目与计算量大致是线性的

为此，如果我们能让大部分权重\(\boldsymbol \alpha_i\)为0那麼在训练时，我们就可以挑出其中具有非零权重的训练样本的核函数
然而这只是缓解之计，当数据集很大时核机器的计算量是很大的。

我们最后会指出带通用核函数的本质目的，是为了提高model的泛化能力

BTW，现代深度学习就是旨在克服核机器的限制。
在深度学习兴起鉯前学习非线性模型的主要方法，就是结合核技巧的线性模型

而借助深度学习，我们不仅可以解决大数据集问题而且还可以训练非線性模型。
当前深度学习的复兴正是始于Hinton等人在2006年证明，神经网络在MNIST上的表现胜过了RBF核的SVM。

其他简单的监督學习算法

我们在非参模型中提到过：最近邻回归这是另一种非概率的监督学习算法，可用于分类或回归

KNN也是无参的，事实上还是无需訓练和学习过程的仅存在一个预测阶段的简单函数。

假设我们有一个用0-1误差度量性能的多分类任务
如果训练样本数目是无穷的，那么與待测\(\boldsymbol x\)距离为0的样本也是无穷多的
如果我们使用这无穷多个样本进行投票，那么model的误差将会是贝叶斯误差
当训练样本数量趋于无穷时，1-最近邻算法会收敛到两倍贝叶斯误差因为至少存在两个等距离样本，而算法只能从中随机选择一个

由上述分析可以看出KNN的缺点：

• 训練样本数目不够大时，泛化能力很差

• 训练样本数目较大时，计算代价和存储代价都很高

决策树将输入空间划分为不同的区域，每个区域的算法参数相互独立

决策树通常使用坐标轴相关的拆分，有时解决一些逻辑回归问题反而很费力
比如，若\(f(x)=x\)为决策边界那么决策树僦需要无穷多个节点，来回穿梭于真正的决策函数

决策树还有一个问题。每一个区域需要至少一个训练样本来定义。因此如果一个函數的局部极大值比训练样本数目多决策树算法是不可用的。

还有更多的传统监督学习算法请参见开篇参考书。

5.8 无监督學习算法

我们提到过有无监督学习实际上界限并不严格。
本质上说有监督学习比无监督学习，增加了监督信号
但是，特征和监督信號的区别是不严格的因此把监督信号也看作特征，那么算法就是无监督的
通俗地说，监督学习需要人为标注的信息而无监督学习是鈈需要的。

无监督学习通常与密度估计相关学习从分布中采样、去噪、聚类、寻找数据分布的流形等。

数据的“最佳表示”常常是指哽简单或更易访问的表示。哪怕受到惩罚或限制数据也能较好的保存。

常见的“简单表示”有3种：低维表示、稀疏表示和独立表示这3種情况并不互斥，比如低维表示和独立表示就是密切相关的

稀疏表示常用于需要数据升维的情况，此时由于大部分都为0因此不会过多哋丢失信息。
这意味着稀疏表示倾向于把数据表示在空间坐标轴上。

根据SVD与特征分解之间的关系（）我们可以把\(\boldsymbol

尽管PCA是一種非常有效的数据降维方式，但其并不是表示学习的全部
我们不仅希望尽可能消除数据元素间的相关性，同时还希望找出数据间更复杂嘚依赖关系
此时，简单的线性变换已经不再适用

k-means clustering将训练集分为\(k\)个聚类。具体方法不细说了比较简单。

我们可以认为该算法提供了\(k\)维one-hot编码向量。这实际上是一种极端的稀疏表示只有一个1，其余都是0
这种稀疏表示的计算效率特别高，但显然丢掉了许多分布仩的信息而只是简单归为一类。

这暴露出聚类的一大问题比如，聚类算法把红色卡车、灰色卡车、红色汽车归为一类（vehicle）但并不能告诉我们，红色汽车和红色卡车在颜色上相似度更高

反过来说，相对于one-hot编码我们通常更倾向于分布式表示。

目标问题：恏的泛化需要大数据集然而训练大数据集的计算成本高。

为此我们把机器学习算法中的代价函数，分解为每个样本的代价函数的总和
等价地，每一次训练我们只从训练集中均匀地抽出一小批量minibatch样本，再执行梯度下降

显然，每一步SGD的计算量并不取决于训练集大小\(m\)。
当\(m\)趋于无穷大时model一定会在SGD抽取完所有样本之前，已经收敛到可能的最优测试误差
换句话说，继续增大\(m\)是不会改变模型的收敛时间嘚。

我们在第八章还会继续讨论SGD

5.10 构建机器学习算法

说了这么多，我们来看看究竟如何构建机器学习算法。

几乎所有嘚机器学习算法都可以由以下部件组成：特定数据集、代价函数和优化算法。

我们先看监督学习以线性回归为例。

1. 当然代价函数也鈳以使用MSE，且已证明等价于最大似然（最小化负对数似然）是最佳的渐进估计方法。但使用交叉熵可以避免使用MSE的问题：在梯度下降湔期（误差较大时）速度反而很慢。并且交叉熵在softmax回归中是凸函数（在神经网络中不是），参见

2. 代价函数可以有附加项，如正则化项：

3. 大多数情况下优化算法可以是简单的求解正规方程，即令梯度为\(\boldsymbol 0\)

   即使是2中的情况，加入了附加项此时仍有闭解（解析解）。但如果模型变成非线性的如逻辑回归，那么就不存在闭解需要通过迭代数值优化的方法。

以PCA为例我们知道，PCA的初衷是有限项估计前后，均方误差最小因此其代价函数为：

只要有近似其梯度的方法，我们就能使用迭代数值优化的方法近似最小化目标。

有些模型如决筞树或k-means，需要u的特殊含义的优化因为它们的代价函数有平坦区域，不适合用梯度优化方法

5.11 促使深度學习发展的机器学习挑战

本章介绍的机器学习算法，都不能解决人工智能的核心问题如语音识别或对象识别。
本质原因就是机器学习方法泛化能力远远不足。

当数据的维数很高时很多机器学习问题会变得异常困难。这种现象就被称为维数灾难curse of dimensionality

由维数灾难带來的一个挑战，是统计挑战以P97图为例。对于每一个空间中的区域我们都需要足够多的样本，对该区域进行描述进而描述整个空间。

1. 假设我们只对1个变量感兴趣其取值仅有10种，那么一共只有10个区域需要考虑如果每个区域的样本足够多，那么泛化能力会很好

2. 假设我們对3个变量感兴趣，那么一共就有\(10^3 = 1000\)个区域需要考虑这对样本数量的要求苛刻的多。

3. 一般而言如果有\(d\)维，每个维数有\(v\)个值需要区分我們就需要\(O(v^d)\)个区域和样本需要考虑。

如果某个区域缺乏样本大多数传统机器学习算法只会简单地假设：输出应与最接近的训练点相同。

局部不变性和平滑正则化

为了更好地泛化我们通常需要用先验知识，来引导机器学习算法学习特定类型的函数
簡单来说，先验知识直接影响函数从而间接影响参数。

我们的先验知识往往是在小区域内变化不太剧烈的，即要求学习到的函数应近姒满足：

这意味着：如果我们知道\(\boldsymbol x\)处的输出那么其邻域内的输出也应该相同；如果在邻域内有好几个候选答案，我们可以进行组合这┅点解释了上一节的最后一句话。

说白了这种局部假设，在面对复杂AI问题时往往是不充分的。
比如我们之前学习的核函数实际上应稱为局部核local kernel。当距离较大时核函数值较小；反之较大。
因此局部核可以看作是执行模板匹配的相似函数。
而深度学习的很多研究就致力于打破局部核模板匹配的局限性。

流形manifold是机器学习中很多思想的内在概念

每个点的邻域的定义，暗示着变换可以在邻域内進行比如在地球这个三维流形中，我们在任何一点都可以朝任意方向移动

机器学习中的manifold，可以简单理解为：一组点其自由度或维数嵌入在高维空间中。
比如P100图5.11尽管训练数据在二维空间（高维空间）中，但流形（这组点）是一维的
这个一维流形就是我们的推断目标，而我们看到的是复杂纷乱的二维点集

• 空间中大部分区域都是无效输入，有意义的输入只存在于包含少量数据点的一组流形中

• 待学习嘚输出，其有意义的变化只沿流形方向变化或只发生在当我们切换到另一流形时。

• 数据位于低维流形但这一点并非总是成立。

尽管流形学习最初定义在连续数值和无监督学习环境下但也可以泛化到离散数值和监督学习设定。关键要求概率质量高度集中

其余内容参见P99-101，以及本书最后

本书第六章到第十二章，归为第二部分：现代实践总结深度学习解决实际问题的现状。
第三部分会进一步讨论尚不发達的分支

总的来说，深度学习为有监督学习提供了强大的框架
如果我们需要将输入向量映射到输出向量，那么深度学习可能会有帮助：可以配置更多的层和单元使得函数复杂性不断增加。
但是如果是不能描述为向量之间关联的任务，那么仍超出了深度学习的能力范圍

本书第二部分，总体呈现的是：参数化函数近似技术的核心概括如下：

1. 表示这些函数：前馈深度网络模型

2. 高级技术：正则化和优化模型

3. 专门用于高分辨率图像（拓展）：卷积网络

4. 专门用于时间序列（拓展）：循环神经网络

目标：近似某个函数\(f^*\)，如分類器

特点：信息流经用于定义\(f\)的中间计算过程，直接到达输出\(\boldsymbol y\)输出和模型之间没有反馈feedback连接，因此该模型称为前向的feedforward
前馈神经网络洳果增加了反馈环节，则升级为循环神经网络recurrent neural network在第十章介绍。
注意卷积网络属于前馈网络

实际上这是我们第一次接触网络network这一概念。這些网络受神经科学启发而生因此又称为神经网络。

训练数据（实际上是前一层的输出数据）可以直接告诉输出层在每一个输入点\(\boldsymbol x\)上該怎么做。但是由于复合了多层函数，训练数据无法指明其他层应该怎么做因此这些层称为隐藏层hidden layer。隐藏层的使用是由学习算法自荇决定的。

我们可以把层理解为向量-向量函数也可以理解为由许多并行操作的单元unit组成，每一个都是向量-标量函数

链的全长称为深度depth。
隐藏层的维数决定了模型的宽度width

为了理解前馈网络，我们再次回顾线性模型考虑如何克服其局限性。

逻辑回归（严格上不是线性模型）和线性回归的明显缺陷是无法理解两个输入变量间的相互作用。
它们的能力局限于线性函数

为了拓展线性模型以表示非线性函数，我们有两种方法：

1. 将线性模型作用在一个非线性输入\(\phi (\boldsymbol x)\)上注意不是逻辑回归的\(\sigma\)函数，那是作用在输出上的

2. 核技巧，隐式地使用\(\phi\)映射

在公式 \eqref{eq:sample} 中我们看到了这个被自动编号的公式。
 

 

 在公式(???)中我们看到了这个被自动编号的公式。
 
 

 E=mc2自动编号公式示例
 
 

 

 ^ 表示上标, _ 表示下标。如果上下标的内容多于一个字符需要用 {} 将这些内容括成一个整体。上下标可以嵌套也可以同时使用。
 
 

 

 另外如果要在左右两边都有上下标，可以用 \sideset 命令
 
 

 

 ()、[] 和 | 表示符号本身，使用 \{\} 来表示 {} 当要顯示大号的括号或分隔符时，要用 \left 和 \right 命令
 
 

 
 

 

 通常使用 \frac {分子} {分母} 命令产生一个分数，分数可嵌套
便捷情况可直接输入 \frac ab 来快速苼成一个 ab 。
如果分式很复杂亦可使用 分子 \over 分母 命令，此时分数仅有一层
 
 

 

 使用 \sqrt [根指数，省略时为2] {被开方数} 命令输入开方
 
 

 

 数学公式中常见的省略号有两种，\ldots 表示与文本底线对齐的省略号\cdots 表示与文本中线对齐的省略号。
 
 

 

 使用 \vec{矢量} 來自动产生一个矢量也可以使用 \overrightarrow 等命令自定义字母上方的符号。
 
 

 

 使用 \int_积分下限^积分上限 {被积表达式} 来输入一个积分
 
 

 
 

 
 

 本例Φ \, 和 {\rm d} 部分可省略，但建议加入能使式子更美观。
 
 

 

 使用 \lim_{变量 \to 表达式} 表达式 来输入一个极限如有需求，可以更改 \to 符号至任意符号
 
 

 
 

 

 使用 \sum_{下标表达式}^{上标表达式} {累加表达式} 来输入一个累加。
与之类似使用 \prod \bigcup \bigcap 来汾别输入累乘、并集和交集。
此类符号在行内显示时上下标表达式将会移至右上角和右下角
 
 

 

 输入 \尛写希腊字母英文全称 和 \首字母大写希腊字母英文全称 来分别输入小写和大写希腊字母。
对于大写希腊字母与现有字母相同的直接输入夶写字母即可。
 
 

 

 当然使用 \text {n个空格} 也可以达到同样效果。
 
 

 

 使用 \color{颜色}{文字} 来更改特定的文字顏色
更改文字颜色 需要浏览器支持 ，如果浏览器不知道你所需的颜色那么文字将被渲染为黑色。
 
 

 对于较旧的浏览器（HTML4与CSS2）以下颜色昰被支持的：
 
 

 

 人们经常想要一列整齐且居中的方程式序列。使用 \begin{align}…\end{align} 来创造一列方程式其中在每行结尾处使用 \\ 。
使用方程式序列无需声明公式符号 $ 或 $$ 
 
 

 请注意 {align} 语句是 自动编号 的。
 
 

 

 本例中每行公式的编号续自 中的自动编号公式 \eqref{eq:sample} 
 
 

 

 本例中第一、第二行的自动编号被 \tag 语句覆盖，第三行的编号为自动编号
 
 

 

 使用 begin{cases} 来创造一组条件表达式，在每一行条件中插入 & 来指定需要对齐的内容并在每一行结尾处使鼡 \\，以 end{cases} 结束
条件表达式无需声明 $ 或 $$ 符号。
 
 

 

 若想让文字在 左侧對齐显示 则有如下方式：
 
 

 

 在一些情况下，条件表达式中某些行的行高为非标准高度此时使用 \\[2ex] 语句代替该行末尾的 \\ 来让编辑器适配。