结论表述为定理定理给定向量„，，阈值„，，以及参数„，，设为阈值前馈网络，且隐层数目足够多，则该网络的第隐层所产生的函数族为式，该网络的维为式。定理说明，阈值前馈网络的第个隐证明，对仅有个隐层且输入为实值向量的前馈阈值神经网络来说，如果网络有个可调参数，则其维下界为。年，对的结论做了进步扩展，证明对至少有两个隐和等人分别证明，对以阈值函数为响应函数的前馈神经网络，若网络有个连接权，则其维上界为，其中表示以为底的对数。年，和。对于任意函数和，如果存在使得，则记为如果存在使得，则记为如果和同时满足，则记为。阈值网络以阈值函数分段多项式函数和函数为响应函数的神经网络上。为便于讨论，我们引入三个符号年，通过构造性方法证明，神经网络的维并不定是有限的。因此，对神经网络维的讨论必须针对定的网络结构，这样才能保证维为有限值。目前，这方面的研究成果主要集中在的统计学方面做了大量的工作，他们的成果与等人在计算学习理论方面的工作起，被引入学习模型中。从此，神经网络维的计算受到了极大的重视。果我们能求出其维，则可以确定合适的训练集规模。显然，这对寻找指出的最优解有重要的启发作用。最早进行了神经网络维的计算工作，在此之后，在相关数的数目，而后者又是由网络的拓扑结构所确定的，因此，网络的维与拓扑结构之间有必然的联系。在给定训练集的情况下，如果我们能求出合适的维，则可以帮助确定网络的结构反之，在给定网络结构的情况下，如表示该集合可能的取值集合，则神经网络的学习过程可被视为通过选择来确定函数，。这样，如果求出函数族的维，我们就得到了该神经网络的维。由于神经网络的维取决于网络中可调参说，每个权值阈值等参数都已被确定的神经网络就相当于个函数。不妨假设网络有个输入神经元，个输出神经元，则该网络对应于个函数。如果我们用来表示所有权值阈值等可调参数的集合，，要获得个泛化性能较好的学习系统，就需要在学习系统的维与训练集规模之间达成定的均衡。研究进展概述由于神经网络也是种基于统计的学习方法，因此其维也满足节中关于般学习系统的讨论。从功能上来置信度。由式可以看出，在学习系统维与训练集规模的比值很大时，即使经验风险较小，也无法保证期望风险较小，即无法保证学习系统具有较好的泛化能力。因此任取满足，下列边界以概率成立其中为函数族，，的维，为训练集规模。式右侧第二项通常称为的最小值。与证明，该假设成立的充要条件是函数族，，的维为有限值。还证明，期望风险满足个上界，即代替期望风险，用使最小的，来近似使最小的，。这类方法有个基本的假设，即如果收敛于，则的最小值收敛于的扩大，将逐渐收敛于。基于统计的学习方法大多建立在经验风险最小化原则基础上，其思想就是利用经验风险却是确定的，如式所示，其中，为训练样本，为训练集中样本数，即训练集规模。由数理统计中的大数定理可知，随着训练集规模的却是确定的，如式所示，其中，为训练样本，为训练集中样本数，即训练集规模。由数理统计中的大数定理可知，随着训练集规模的扩大，将逐渐收敛于。基于统计的学习方法大多建立在经验风险最小化原则基础上，其思想就是利用经验风险代替期望风险，用使最小的，来近似使最小的，。这类方法有个基本的假设，即如果收敛于，则的最小值收敛于的最小值。与证明，该假设成立的充要条件是函数族，，的维为有限值。还证明，期望风险满足个上界，即任取满足，下列边界以概率成立其中为函数族，，的维，为训练集规模。式右侧第二项通常称为置信度。由式可以看出，在学习系统维与训练集规模的比值很大时，即使经验风险较小，也无法保证期望风险较小，即无法保证学习系统具有较好的泛化能力。因此，要获得个泛化性能较好的学习系统，就需要在学习系统的维与训练集规模之间达成定的均衡。研究进展概述由于神经网络也是种基于统计的学习方法，因此其维也满足节中关于般学习系统的讨论。从功能上来说，每个权值阈值等参数都已被确定的神经网络就相当于个函数。不妨假设网络有个输入神经元，个输出神经元，则该网络对应于个函数。如果我们用来表示所有权值阈值等可调参数的集合，表示该集合可能的取值集合，则神经网络的学习过程可被视为通过选择来确定函数，。这样，如果求出函数族的维，我们就得到了该神经网络的维。由于神经网络的维取决于网络中可调参数的数目，而后者又是由网络的拓扑结构所确定的，因此，网络的维与拓扑结构之间有必然的联系。在给定训练集的情况下，如果我们能求出合适的维，则可以帮助确定网络的结构反之，在给定网络结构的情况下，如果我们能求出其维，则可以确定合适的训练集规模。显然，这对寻找指出的最优解有重要的启发作用。最早进行了神经网络维的计算工作，在此之后，在相关的统计学方面做了大量的工作，他们的成果与等人在计算学习理论方面的工作起，被引入学习模型中。从此，神经网络维的计算受到了极大的重视。年，通过构造性方法证明，神经网络的维并不定是有限的。因此，对神经网络维的讨论必须针对定的网络结构，这样才能保证维为有限值。目前，这方面的研究成果主要集中在以阈值函数分段多项式函数和函数为响应函数的神经网络上。为便于讨论，我们引入三个符号和。对于任意函数和，如果存在使得，则记为如果存在使得，则记为如果和同时满足，则记为。阈值网络和等人分别证明，对以阈值函数为响应函数的前馈神经网络，若网络有个连接权，则其维上界为，其中表示以为底的对数。年，证明，对仅有个隐层且输入为实值向量的前馈阈值神经网络来说，如果网络有个可调参数，则其维下界为。年，对的结论做了进步扩展，证明对至少有两个隐层的前馈阈值神经网络来说，其维下界为。的结论表述为定理定理设为层数至少两个隐层的层间全连接神经网络的任意序列，并且有个输入神经元和个计算神经元包括隐层神经元和输出神经元，其中个计算神经元位于第隐层，至少个位于第隐层，则有个权，其维。年，和研究了神经网络维与组合几何之间的关系，利用多项式给出了阈值前馈网络维计算公式，其结论表述为定理定理给定向量„，，阈值„，，以及参数„，，设为阈值前馈网络，且隐层数目足够多，则该网络的第隐层所产生的函数族为式，该网络的维为式。定理说明，阈值前馈网络的第个隐，邵栋，周志华，陈兆乾模糊神经网络研究计算机应用研究，许锐，黄达诠，李志能光学神经网络的现状与进展中国图象图形学报周志华，陈兆乾，陈世福算法对噪音数据的处理清华大学学报自然科学版