验风险，另部分称作置信范围，它和学习机器的维及训练样本数有关。可以简单地表示为机器学习过程不但要使经验风险最小，还要使维尽量小以缩小置信范围，才能取得较小的实际风险，即对未来样本有较好的推广性。结构构风险最小化从上面的结论看到，原则在样本有限是不合理的，因为我们需要同时最小化经验风险和置信范围。统计学习理论提出了种新的策略，即把函数集构造为个函数子集序列，是各个子集按照维的大小排列在每个子集中寻找最小经验风险，在子集间折中考虑经验风险和置信范围，取得实际风险的最小。这种思想称作结构风险最小化即准则。统计学习理论还给出了合理的函数子集结构应满足的条件及在准则下实际风险收敛的性质。实现原则可以有两种思路，是在每个子集中求最小经殊的函数集知道其维，比如维实数空间线性函数集的维是，而，的维则为无穷大。对于些比较复杂的学习机器，其维除了与函数集有关以外，还受学习算法的影响，其确定数目的样本都有函数能将它们打散，则函数集得维是无穷大。维反映了函数集得学习能力，维越大则学习机器越复杂学习能力月强。遗憾的是，目前尚没有通用的关于任意函数集维计算的理论，只对些特是维。模式识别方法中维的定义是对个指标函数集，如果存在个样本能够被函数集中的函数按所有可能的种形式分开，则称函数能够把个样本打散函数集得维就是它能打散的最大样本数目。若对任意界大的结论。在这些界得基础上建立的小样本归纳推理准则实现新的准则的实际方法算法维为了研究学习过程致收敛的速度和推广性，统计学习理论定义了系列有关函数集学习性能的指标，其中最重要的有限样本下经验风险与希望风险的关系以及如何利用这些理论找到新的学习原则和方法等问题。主要内容包括四个方面经验风险最小化准则下统计学习的致性的条件在这些条件下关于统计学习方法推广性的良好泛化能力而不会出现过学习现象。第三章统计学理论与支持向量机统计学习理论的核心内容统计学习理论被认为是目前针对小样本统计估计和预测学习的最佳理论，它在理论上较系统地研究了经验风险最小化原则成立的条件数网络和多层感知器相比，支持向量机避免了在前者的设计中经常使用的启发式结构，它不依赖于设计者的经验知识而且支持向量机的理论基础决定了它最终求得的是全局最优值而不是局部极小值，也保证了它对于未知样本的感知器中，模型复杂性的控制是通过使特征数目尽量小，也就是使隐层神经元数目尽可能小工作信号误差信号来实现的，而支持向量即与此不同，它是通过控制与维树无关的模型复杂性来实现学习机器的设计。与径向函函数作为核函数时，支持向量机实现的是种多层感知齐神经网络。应用方法，隐结点的权值都是在设计训练的过程中自动确定的而多层感知器的隐结点数目是需要依赖经验知识事先确定的此外，在多层采用径向基核函数时，支持向量机实现的是种径向基核函数分类器，径向基核函数的中心位置以及中心数目网络的权值都是又训练过程中自动确定，而传统网络对这些参数的确定则依赖于经验知识。当采用加计算的复杂性，而且在种程度上避免了维数灾。这切要归功于核的展开和计算理论。因此人们又称方法为基于核的种方法。核方法研究是比更为广泛和深刻的研究领域。支持向量机与多层前向网络区别的升维都会带来计算的复杂化。方法巧妙地解决了这两个难题由于应用了核函数的展开定理，所以根本不需要知道非线性映射的显式表达式由于是在高维特征空间中建立线性学习机，所以与线性模型相比不但几乎不增通过个线性超平面实现线性划分或回归。的线性化是在变换后的高维空间中应用解线性问题的方法来进行计算。在高维特征空间中得到的是问题的线性解，但与之相对应的却是原来样本空间中问题的非线性解。般线性化。升维，即是把样本向高维空间做映射，般只会增加计算的复杂性，甚至会引起维数灾，因而人们很少问津。但是作为分类回归等问题来说，很可能在低维样本空间无法线性处理的样本集，在高维特征空间却可以核展开定理，通过非线性映射，把样本空间映射到个高维乃至于无穷维的特征空间空间，使在特征空间中可以应用线性学习机的方法解决样本空间中的高度非线性分类和回归等问题。简单地说就是升维和是用实线表示的工作信号，工作信号正向传播二是用虚线表示的误差信号，误差信号反向传播。算法方法定义最优线性超平面，并把寻找最优线性超平面的算法归结为求解个凸规划问题。进而基于开始逐层向前传播，这是误差信号的反向传播。在误差信号方向传播的过程中，网络的权值由误差反馈进行调节。通过权值的不断修正使网络的实际输出更接近期望输出。图为多层感知器的部分，其中有两种信号是开始逐层向前传播，这是误差信号的反向传播。在误差信号方向传播的过程中，网络的权值由误差反馈进行调节。通过权值的不断修正使网络的实际输出更接近期望输出。图为多层感知器的部分，其中有两种信号是用实线表示的工作信号，工作信号正向传播二是用虚线表示的误差信号，误差信号反向传播。算法方法定义最优线性超平面，并把寻找最优线性超平面的算法归结为求解个凸规划问题。进而基于核展开定理，通过非线性映射，把样本空间映射到个高维乃至于无穷维的特征空间空间，使在特征空间中可以应用线性学习机的方法解决样本空间中的高度非线性分类和回归等问题。简单地说就是升维和线性化。升维，即是把样本向高维空间做映射，般只会增加计算的复杂性，甚至会引起维数灾，因而人们很少问津。但是作为分类回归等问题来说，很可能在低维样本空间无法线性处理的样本集，在高维特征空间却可以通过个线性超平面实现线性划分或回归。的线性化是在变换后的高维空间中应用解线性问题的方法来进行计算。在高维特征空间中得到的是问题的线性解，但与之相对应的却是原来样本空间中问题的非线性解。般的升维都会带来计算的复杂化。方法巧妙地解决了这两个难题由于应用了核函数的展开定理，所以根本不需要知道非线性映射的显式表达式由于是在高维特征空间中建立线性学习机，所以与线性模型相比不但几乎不增加计算的复杂性，而且在种程度上避免了维数灾。这切要归功于核的展开和计算理论。因此人们又称方法为基于核的种方法。核方法研究是比更为广泛和深刻的研究领域。支持向量机与多层前向网络区别采用径向基核函数时，支持向量机实现的是种径向基核函数分类器，径向基核函数的中心位置以及中心数目网络的权值都是又训练过程中自动确定，而传统网络对这些参数的确定则依赖于经验知识。当采用函数作为核函数时，支持向量机实现的是种多层感知齐神经网络。应用方法，隐结点的权值都是在设计训练的过程中自动确定的而多层感知器的隐结点数目是需要依赖经验知识事先确定的此外，在多层感知器中，模型复杂性的控制是通过使特征数目尽量小，也就是使隐层神经元数目尽可能小工作信号误差信号来实现的，而支持向量即与此不同，它是通过控制与维树无关的模型复杂性来实现学习机器的设计。与径向函数网络和多层感知器相比，支持向量机避免了在前者的设计中经常使用的启发式结构，它不依赖于设计者的经验知识而且支持向量机的理论基础决定了它最终求得的是全局最优值而不是局部极小值，也保证了它对于未知样本的良好泛化能力而不会出现过学习现象。第三章统计学理论与支持向量机统计学习理论的核心内容统计学习理论被认为是目前针对小样本统计估计和预测学习的最佳理论，它在理论上较系统地研究了经验风险最小化原则成立的条件有限样本下经验风险与希望风险的关系以及如何利用这些理论找到新的学习原则和方法等问题。主要内容包括四个方面经验风险最小化准则下统计学习的致性的条件在这些条件下关于统计学习方法推广性的界大的结论。在这些界得基础上建立的小样本归纳推理准则实现新的准则的实际方法算法维为了研究学习过程致收敛的速度和推广性，统计学习理论定义了系列有关函数集学习性能的指标，其中最重要的是维。模式识别方法中维的定义是对个指标函数集，如果存在个样本能够被函数集中的函数按所有可能的种形式分开，则称函数能够把个样本打散函数集得维就是它能打散的最大样本数目。若对任意数目的样本都有函数能将它们打散，则函数集得维是无穷大。维反映了函数集得学习能力，维越大则学习机器越复杂学习能力月强。遗憾的是，目前尚没有通用的关于任意函数集维计算的理论，只对些特殊的函数集知道其维，比如维实数空间线性函数集的维是，而，的维则为无穷大。对于些比较复杂的学习机器，其维除了与函数集有关以外，还受学习算法的影响，其确定更加困难。推广能力的界统计学学习理论系统地研究了对于各种类型的函数集，经验风险和实际风险之间的关系，即推广性的界。关于两类分类问题，结论是对指示函数集中的所有函数包括使经验风险最小的函数，经验风险和实际风险之间以至少的概率满足如下关系其中是函数集得维，是样本数。这结论从理论上说明了学习机器的实际风险是由两部分组成是经验风险，另部分称作置信范围，它和学习机器的维及训练样本数有关。可以简单地表示为机器学习过程不但要使经验风险最小，还要使维尽量小以缩小置信范围，才能取得较小的实际风险，即对未来样本有较好的推广性。结构构风险最小化从上面的结论看到，原则在样本有限是不合理的，因为我们需要同时最小化经验风险和置信范围。统计学习理论提出了种新的策略，即把函数集构造为个函数子集序列，是各个子集按照维的大小排列在每个子集中寻找最小经验风险，在子集间折中考虑经验风险和置信范围，取得实际风险的最小。这种思想称作结构风险最小化即准则。统计学习理论还给出了合理的函数子集结构应满足的条件及在准则下实际风险收敛的性质。实现原则可以有两种思路，是在每个子集中求最小经验风险，然后选择使最小经验风险和置信范围之和最小的子集。显然这种方法比