1、,其中,是常数。引理设假定成立，,为问题的近似特征点，则,结合，得到问题的解满足如下充分下降性条件引理设假定成立，若存在常数，对全部的满足，则存在常数，使得定理设假定成立，信赖域子问题的解满足式，且算法只有限步迭代成功，则必存在个，使得，。定理设假定成立，且集合的元素个数，则定理设假定成立，且则定理设假定成立，对充分大的，存在常数，，再设，则存在当时，,。第六章算法的数值实验用编程来实现算法，参数选择如下,，设定的终止准则是，程序的运行过程中，利用公式修正得。
2、,老师多次审阅我的论文，对论文的修改提出了许多宝贵切实可行的指导性的意见和建议，深表感谢,感谢班全体同学，感谢和我起生活了四年的全体室友，她们在我写作论文期间给予我的大力支持和无尽的帮助。感谢学院理学院四年来对我的谆谆教导，感谢领导和老师对我的帮助和支持，是他们为我提供了良好的学习机会。表问题毕业论文题目无约束优化问题算法初探英文题目院系理学院专业数学与应用数学姓名班级指导教师二零二年三月摘要对于无约束最优化问题可表述为其中是连续可微函数。无约束条件下多变量函数的寻优方法大致分成两类。类在迭代过程中仅用到函数值,不必计算函数的导数,这类方法称为直接法或搜索法。般说来,直接法的收敛速度较慢,只是在变量较少时才适用。但迭代法的迭代步骤简单,特别是当目标函数的解析表达式十分复杂,甚至写不出具。
3、以及确定，并满足如下的拟牛顿方程步长和下点由线性搜索确定。第个变尺度法是戴维登于年首先提出的，而由弗莱彻和鲍威尔在理论上作了研究并于年公开发表，所以通常称为方法,在这个方法中的定义如下。由于方法的成功，在其后十多年间,又提出了许多变尺度方法,这些方法只在的定义方法上有所不同。在理论上,只要取得相同，那么在定条件下，由不同的变尺度方法产生的点列尣都只依赖于参数但在实际计算中,由于舍入误差的关系,由不同的变尺度方法产生的点列未尽相同。最成功的变尺度法是法，它的定义为与方法相比，方法具有较好的数值稳定性。牛顿拉弗森方法在要求计算偏导函数值的算法类中，般取移动方向满足，这里的表示矩阵或向量的转置运算，墷ƒ表示ƒ在点尣上的梯度，即式保证了在以为始点，为方向的半直线够大的常数步骤计算，若满足条件。
4、到,实验的结果见表，其中是变量的维数，为迭代的次数，为目标函数的计算次数，为目标函数梯度的计算次数。从表的结果看，对于问题，当为和，算法比信赖域算法有所改善，对于问题，当为和，算法在迭代的次数和梯度的计算次数比信赖域算法小，因此算法是有效的。结束语参考文献姜启源,谢金星数学模型北京高等教育出版社，张衍林,艾平运筹学华中科技大学出版社，韩润春,孙凤芹,杨景运筹学中国铁道出版社,刘满凤,陶长琪,柳键运筹学教程清华大学出版社，李维铮运筹学天津大学出版社胡运权运筹学哈尔滨工业大学管理学院谢辞本次毕业设计是在老师的悉心指导和支持下完成的，从论文的选题到结构安排，都倾注了老师大量的心血，谨此向尊敬的老师表示衷心的感谢,她无论是在理论还是在实践中，都给予我很大的帮助，使我得到很大的提高。在论文撰写阶。
5、或因此得到令则有称为牛顿方向。牛顿算法的步骤如下选取初始数据。选取初始点,给定终止误差，令求梯度向量。计算，若，停止迭代，输出，否则，进行步骤。构造牛顿方向。计算，取求下迭代点。令,转步骤。原始牛顿法原始牛顿法的基本原理是原目标函数用在迭代点邻域展开的泰勒二次多项式去近似的代替，再以这个二次函数的极小点作为原目标函数的下个迭代点，这样重复迭代若干次后，使迭代点点列逐步逼近原目标函数的极小点。二次逼近函数可写为式中分别为原目标函数在点的梯度和赫森矩。
6、易计算偏导数的情形。第二章牛顿法及其修正算法为了寻找收敛速度较快的求解无约束问题的优化算法，我们在每轮迭代中用适当的二次函数来近似目标函数，即利用二阶导数的无约束最优化方法，并用迭代点处指向近似二次函数的极小点作为搜索方向。牛顿法设，在点处具有连续二阶偏导数，且在点的海赛矩阵正定，是的个极小点的第轮估计值。把在点展开为泰勒级数，并取二阶近似为下面来求的平衡点，记矩阵向量数将式代入式，得到则有令,记为的平衡点，则。
7、情况，这表明原始牛顿法不能保证函数值稳定地下降，在严重的情况下甚至可能造成迭代点列的发散而导致计算失败。修正牛顿法为了克服牛顿法的弱点，人们保留选取牛顿法方向作为搜索方向，舍弃了其步长恒等于而用维搜索确定最有步长。这种方法通常称为修正牛顿法。修正后的牛顿法的迭代公式为其中是维搜索得到的最优步长，满足修正牛顿法的算法步骤与梯度法完全类似，只是有利的搜索方向换成了式所给的方向。阻尼牛顿法为消除原始牛顿法的上述弊病，对其加以改进，提出了阻尼牛顿法。阻尼牛顿法每次迭代方向仍采用式表达的牛顿方向，但每次迭代需沿此方向作维搜索，求其最优步长因子。即将原始牛顿法的迭代公式修改为此即阻尼牛顿法的迭代公式。式中又称为。
8、文第二章给出了用梯度法求解对称正定线性方程组的族新步长，并建立其收敛性。我们从插值的角度进步解释了步长，并将中给出的步长公式推广到数值实验表明，些步长的选取能够取得很好的数值效果。第三章对共轭梯度法进行了些改进，给出了三种改进方案，并建立了算法对致凸函数的收敛性。修改后的方法在算法进行过程中能够产生下降方向，算法无需重开始。数值结果表明，修改后的算法比著名的，共轭梯度法表现要好。第四章给出个解无约束优化问题的子空间算法，并建立了它对致凸函数的收敛性。该算法具有合理利用内存，收敛速度快等优点„„第章直接法直接法往往以直观或以计算实践为基础而产生，这类算法的特点是只要求计算函数值本身，因而易于使用，但是与另些要求计算偏导数值的方法相比，又收敛得慢。所以直接法常常用于变量极少而函数比较复杂且不。
9、阵。的极小点可由极值存在的必要条件，令其梯度来求得，亦即这样，若为可逆矩阵，将上式等号两边左乘以，则得将取作下个优化迭代点，即可得到原始牛顿法的迭代公式为由上式可知原始牛顿法的搜索方向为这个方向称牛顿方向。由式还可看到迭代公式中没有步长因子，所以原始牛顿法是种定步长的搜索迭代。当目标函数是二次函数时，由于二次泰勒展开函数与原目标函数不是近似而是完全相同的二次式，赫森矩阵是个常数矩阵，用式原始牛顿法从任初始点出发，只需步迭代即达的极小点，因此牛顿法也是种具有二次收敛性的算法。对于非二次函数，若函数的二次性态较强，或迭代点已进入极小点的邻域，则其收敛速度也是很快的，这是牛顿法的主要优点。但原始牛顿法由于迭代公式中没有步长因子，而是定步长迭代，对于非二次型目标函数，有时会使函数值上升，即出现的。
10、，则终止步骤姐信赖域子问题，得到，记步骤记，计算步骤确定试验点的可接受性若，则若，则若，，则，否则步骤更新信赖域半径，取,产生对称矩阵，记,转步骤第五章算法的收敛性记,为证明算法收敛性的需要，作如下假定在上二次连续可微算法的所有迭代点都在中的个有界闭域中对所有的，致有界，即存在使得设是满足,的最小正整数，其中,，,是常数，记，称为信赖域子问题的近似柯西点，对存在如下结论引理设假定成立，是信赖域子问题的近似柯西点，则。
11、阻尼因子，是通过沿牛顿方向维搜索寻优而得。当目标函数的赫森矩阵处处正定时，阻尼牛顿法能保证每次迭代点的函数值均有所下降，从而保持了二次收敛的特性。阻尼牛顿法的具体迭代步骤如下给定初始点，迭代精度，维数。计算迭代点的梯度和梯度的模。检验是否满足迭代终止条件若满足，停止迭代，输出最优解否则进行下步。计算处的赫森矩阵，并求其逆矩阵。确定牛顿方向，从点出发，沿方向进行维搜索求最优步长，使。计算迭代新点。置，返回步骤进行下次迭代计算。拟牛顿方法拟牛顿方法也有人称为变尺度方法。这是近二十多年来发展起来的类很有成效的寻优方法。理论分析和计算实践都表明这类方法的收敛速度较快，同时又无需计算二阶偏导数矩阵。这类方法的共同特点是移动方向由定义,其中为阶对称正定方阵可以任意选取,但通常取当时,由。
12、体表达式时,他们的导数很难求得,或根本不存在，这时,就只有用直接法了。另类是在计算过程中要用到函数的阶导数和或二阶导数,这时，在中总假定有阶或二阶连续偏导数由于用到函数的解析性质,故称为解析法。关键词关键词无约束优化牛顿迭代信赖域算法梯度法目录引言第章直接法第二章牛顿法及其修正算法牛顿法原始牛顿法阻尼牛顿法修正牛顿法拟牛顿法牛顿拉弗森方法第三章梯度法最速下降法共轭梯度法第四章信赖域法解无约束优化问题的新算法第五章算法的收敛性第六章算法的数值检验结束语参考文献谢辞引言无约束优化计算方法是数值计算领域中十分活跃的研究课题之。快速地求解无约束优化问题，除了其自身的重要性外，还体现在它也构成些约束优化问题的子问题。因此，对于无约束优化问题，如何设计快速有效的算法直都是优化工作者十分关心的问题。本。
参考资料：
1、该文档不包含其他附件(如表格、图纸)，本站只保证下载后内容跟在线阅读一样，不确保内容完整性，请务必认真阅读。
2、有的文档阅读时显示本站（www.woc88.com）水印的，下载后是没有本站水印的（仅在线阅读显示），请放心下载。
3、除PDF格式下载后需转换成word才能编辑，其他下载后均可以随意编辑、修改、打印。
4、有的标题标有”最新”、多篇，实质内容并不相符，下载内容以在线阅读为准，请认真阅读全文再下载。
5、该文档为会员上传，下载所得收益全部归上传者所有，若您对文档版权有异议，可联系客服认领，既往收入全部归您。
毕业论文(设计)_无约束优化问题算法初探