1、充分展示了神经计算作为种数值型示例学习方法蕴含的巨大潜力。从此，神经计算成为了个非常热门的研究领域，经过多年的发展，已成为人工智能两大主流连接主义和符号主义之。随着研究的深入，目前神经计算研究中存在的问题也逐渐暴露出来，其中的些已成为神经计算进步发展的阻碍。但是，从另个方面来看，它们也揭示了该领域下步应该着重研究的问题。本文从理论方法应用等不同层面，综述了神经计算些重要研究领域的研究进展，主要包括神经网络维计算神经网络集成基于神经网络的数据挖掘，并指出了些有待研究的重要问题。限于篇幅，本文没有对神经计算的其他重要领域做深入剖析，仅在结束语中简要述及。国家自然科学基金江苏省自然科学基金资助神经网络维计算重要性神经计算技术已经在很多领域得到了成功的应用，但由于缺少个统的理论框架，经验性成分相。
2、络结构。联系到等人所证明的结论，即仅有个隐层的网络就可以任意精度逼近任何函数，但确定该网络的结构是难问题，显然，神经网络维计算的研究对神经网络的发展将会产生极大的促进作用。维学习系统的容量对其泛化能力有重要影响。低容量学习系统只需要较小的训练集，高容量学习系统则需要较大的训练集，但其所获的解将优于前者。对给定训练集来说，高容量学习系统的训练集误差和测试集误差之间的差别将大于低容量学习系统。指出，对学习系统来说，训练集误差与测试集误差之间的差别是训练集规模的函数，该函数可以由学习系统的维表征。换言之，维表征了学习系统的容量。将维定义为设为个从维向量集到,的函数族，则的维为的子集的最大元素数，其中满足对于任意，总存在函数，使得当时，但时。维可作为函数族复杂度的度量，它是个自然数，其。
3、类规则计算机学报,神经计算研究现状及发展趋势陈兆乾周志华陈世福南京大学计算机软件新技术国家重点实验室，南京摘要神经计算是软计算的重要组成部分。近二十年来，该学科的研究受到了极大的重视，取得了大量成果，但也暴露出很多目前研究中存在的不足。本文综述了神经计算的研究现状及发展趋势，主要介绍了神经计算理论方法应用等不同层面的些重要研究领域的研究进展，并指出了些有待研究的重要问题。关键词神经网络，维，计算学习理论，集成，数据挖掘，快速学习，增量学习，规则抽取引言神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，其组织能够模拟生物神经系统对真实世界所作出的交互反应。基于神经网络建立计算模型，并用于解决科学和工程中的问题就称为神经计算。该领域最早的研究可上溯到和提出的模型。在提出了学习规则研制。
4、高。这使得研究者们难以对各种神经计算模型的性能及其适用范围进行理论分析，仅能用不十分可靠的实验性比较评价优劣。另方面，在利用神经计算解决问题时，也只能采取具体问题具体分析的方式，通过大量费力耗时的实验摸索，确定出合适的神经网络模型算法以及参数设置。这些缺陷已经对神经计算的进步发展造成了极大的阻碍。如果能提供套比较完备的理论方法，将可望解决上述问题。最近十年里，很多研究者都致力于这方面的研究，力图在个统的框架下来考虑学习与泛化的问题。学习模型就是这样个框架。作为学习的核心以及学习系统学习能力的度量，维在确定神经网络的容量泛化能力训练集规模等的关系上有重要作用。如果可以计算出神经网络的维，则我们可以估计出要训练该网络所需的训练集规模反之，在给定个训练集以及最大近似误差时，我们可以确定所需要的。
5、,的维为有限值。还证明，期望风险满足个上界，即任取满足，下列边界以概率成立其中为函数族,,的维，为训练集规模。式右侧第二项通常称为置信度。由式可以看出，在学习系统维与训练集规模的比值很大时，即使经验风险较小，也无法保证期望风险较小，即无法保证学习系统具有较好的泛化能力。因此，要获得个泛化性能较好的学习系统，就需要在学习系统的维与训练集规模之间达成定的均衡。研究进展概述由于神经网络也是种基于统计的学习方法，因此其维也满足节中关于般学习系统的讨论。从功能上来说，每个权值阈值等参数都已被确定的神经网络就相当于个函数。不妨假设网络有个输入神经元，个输出神经元，则该网络对应于个函数。如果我们用来表示所有权值阈值等可调参数的集合，表示该集合可能的取值集合。
6、学习系统维与训练集规模的比值很大时，即使经验风险较小，也无法保证期望风险较小，即无法保证学习系统具有较好的泛化能力。因此，要获得个泛化性能较好的学习系统，就需要在学习系统的维与训练集规模之间达成定的均衡。研究进展概述由于神经网络也是种基于统计的学习方法，因此其维也满足节中关于般学习系统的讨论。从功能上来说，每个权值阈值等参数都已被确定的神经网络就相当于个函数。不妨假设网络有个输入神经元，个输出神经元，则该网络对应于个函数。如果我们用来表示所有权值阈值等可调参数的集合，表示该集合可能的取值集合，则神经网络的学习过程可被视为通过选择来确定函数,。这样，如果求出函数族的维，我们就得到了该神经网络的维。由于神经网络的维取决于网络中可调参数的数目，而后者又是由网络的拓扑结构所确定的。
7、构，这样才能保证维为有限值。目前，这方面的研究成果主要集中在以阈值函数分段多项式函数和函数为响应函数的神经网络上。为便于讨论，我们引入三个符号和。对于任意函数和，如果存在使得，则记为如果存在使得，则记为如果和同时满足，则记为。阈值网络和等人分别证明，对以阈值函数为响应函数的前馈神经网络，若网络有个连接权，则其维上界为，其中表示以为底的对数。年，证明，对仅有个隐层且输入为实值向量的前馈阈值神经网络来说，如果网络有个可调参数，则其维下界为。年，对的结论做了进步扩展，证明对至少有两个隐层的前馈阈值神经网络来说，其维下界为。的结论表述为定理定理设为层数至少两个隐层的层间全连接神经网络的任意序列，并且有个输入神经元和个计算神经元包括隐层神经元和输出神经元，其中个计算神经元。
8、其中,为样本空间的实际概率分布。由于,通常是未知的，因此无法直接计算。但是，对给定的训练集，其经验风险却是确定的，如式所示,其中,为训练样本，为训练集中样本数，即训练集规模。由数理统计中的大数定理可知，随着训练集规模的扩大，将逐渐收敛于。基于统计的学习方法大多建立在经验风险最小化原则基础上，其思想就是利用经验风险代替期望风险，用使最小的,来近似使最小的,。这类方法有个基本的假设，即如果收敛于，则的最小值收敛于的最小值。与证明，该假设成立的充要条件是函数族,,的维为有限值。还证明，期望风险满足个上界，即任取满足，下列边界以概率成立其中为函数族,,的维，为训练集规模。式右侧第二项通常称为置信度。由式可以看出，。
9、，则神经网络的学习过程可被视为通过选择来确定函数,。这样，如果求出函数族的维，我们就得到了该神经网络的维。由于神经网络的维取决于网络中可调参数的数目，而后者又是由网络的拓扑结构所确定的，因此，网络的维与拓扑结构之间有必然的联系。在给定训练集的情况下，如果我们能求出合适的维，则可以帮助确定网络的结构反之，在给定网络结构的情况下，如果我们能求出其维，则可以确定合适的训练集规模。显然，这对寻找指出的最优解有重要的启发作用。最早进行了神经网络维的计算工作，在此之后，在相关的统计学方面做了大量的工作，他们的成果与等人在计算学习理论方面的工作起，被引入学习模型中。从此，神经网络维的计算受到了极大的重视。年，通过构造性方法证明，神经网络的维并不定是有限的。因此，对神经网络维的讨论必须针对定的网络。
10、感知机之后，神经计算受到了极大的重视，吸引了大批研究人员参与该领域的研究工作，并取得了定的进展。但是，由于年和指出感知机的缺陷并表示出对该方面研究的悲观态度，同时，以产生式规则为内部表示的专家系统方法展示出灿烂的前景，很长时间内神经计算的研究处于停滞状态。在此期间，为专家系统服务的知识工程成为了人工智能研究的主流。但是，随着知识工程的发展，等知识工程倡导者意识到了所谓知识瓶颈问题，即将人类专家的知识转化为机器可执行的规则存在着很大的困难，而如果机器能够自学习，则可望解决该瓶颈问题。于是，机器学习研究得到了迅猛的发展。在研究中，研究者们,发现，与机械学习类比学习等学习方式相比，示例学习是解决知识瓶颈问题唯可行的方法。年，利用全互连型神经网络和计算能量函数成功求解了计算复杂度为完全型的问题。。
11、于第隐层，至少个位于第隐层，则有个权，其维。年，和研究了神经网络维与组合几何之间的关系，利用多项式给出了阈值前馈网络维计算公式，其结论表述为定理定理给定向量„,，阈值„,，以及参数„,，设为阈值前馈网络，且隐层数目足够多，则该网络的第隐层所产生的函数族为式，该网络的维为式。定理说明，阈值前馈网络的第个隐,邵栋,周志华,陈兆乾模糊神经网络研究计算机应用研究,许锐,黄达诠,李志能光学神经网络的现状与进展中国图象图形学报周志华,陈兆乾,陈世福算法对噪音数据的处理清华大学学报自然科学版周志华,陈兆乾,陈世福自适应谐振理论综述计算机科学,周志华,何佳洲,尹旭日,陈兆乾种基于统计的神经网络规则抽取方法软件学报,张朝晖,陆玉昌,张钹利用神经网络发现。
12、有可能为无穷大，它表示无论以何种组合方式出现均可被函数族正确划分为两类的向量个数的最大值。对于实函数族，可定义相应的指示函数族，该指示函数族的维即为原实函数族的维。为便于讨论，我们针对典型的二元模式识别问题进行分析。设给定训练集为„，其中，,。显然，是个维输入向量，为二值期望输出。再假设训练样本与测试样本均满足样本空间的实际概率分布,。对基于统计的学习方法来说，学习系统可以由族二值函数,,表征，其中参数可以唯确定函数，为所有可能的取值集合。因此,的维也表征了该学习系统的复杂度，即学习系统的最大学习能力，我们称其为该学习系统的维。学习的目的就是通过选择个参数，使得学习系统的输出,与期望输出之间的误差概率最小化，即出错率最小化。出错率也称为期望风险，如式所示。
参考资料：
1、该文档不包含其他附件(如表格、图纸)，本站只保证下载后内容跟在线阅读一样，不确保内容完整性，请务必认真阅读。
2、有的文档阅读时显示本站（www.woc88.com）水印的，下载后是没有本站水印的（仅在线阅读显示），请放心下载。
3、除PDF格式下载后需转换成word才能编辑，其他下载后均可以随意编辑、修改、打印。
4、有的标题标有”最新”、多篇，实质内容并不相符，下载内容以在线阅读为准，请认真阅读全文再下载。
5、该文档为会员上传，下载所得收益全部归上传者所有，若您对文档版权有异议，可联系客服认领，既往收入全部归您。
毕业论文：神经计算研究现状及发展趋势