最小二乘法及其应用 ㊣ 精品文档 值得下载

„总结„„„„„„„„„„„„„„„„„„„„„„„„„„„„„„谢辞„„„„„„„„„„„„„„„„„„„„„„„„„„„„„„„主要参考文献„„„„„„„„„„„„„„„„„„„„„„„„„„„摘要和关键字的英文„„„„„„„„„„„„„„„„„„„„„„„„最小乘法及其应用摘要数值方法是高等代数的重要组成部分。

本文先介绍数值方法中最小乘法的定义及其基本公式，接着介绍了从最小乘法扩展开的整体最小乘法，递推最小乘法，泛最小乘法，非线性最小乘法。

最后例举几个最小乘法在实际中的应用，直接的反应了最小乘法的的作用。

关键字最小乘法递推泛非线性最小乘法的定义在自然科学社会科学等领域内，为确定客观存在着的变量之间的函数关系，需根据大量的实验观测或社会调查所得的数据建立函数关系式。

这些数据中往往带有随机的误差，但有时却无法重新采集。

如果利用这些数据按插值法球函数关系近似表达式，必然将不合理的误差形象地称作噪声带入函数关系式中来。

如测试物体的直线运动，得到，得到组数据将其描在坐标平面上，如图，由于测试有误差，所以数据点没能落在条直线上。

显然，再用插值法求运动方程，会得出不符合实际的结果，必须寻求新的方法。

图根据平面上测试点的分布情况，可以画出很多条靠近这些点的直线，其方程都可以表示为，其中，为待定参数。

我们要从形如的所有直线中，找出条用种度量标准来衡量为最靠近所有数据点，的直线。

令，用表示测试数据，的重度，称为权系数，通常用。

作为衡量与数据点，偏离大小的度量标准，通常用定式中的待定参数比较方便。

我们将上述问题推广至般情形。

设，为给定的组数据，，，为个点的权系数通常要求诸，要求在函数类，，，中，求函数，满足，其中为中任意函数。

称按条件求函数的方法为数据拟合的最小乘法，简称最小乘法。

并称为最小乘解，为拟合函数。

下面我们用个例题来更加详细的了解最小乘法的用法。

首先利用法方程公式中的内积，，。

我们可以运用估计式的参数，有乘法构造函数。

分别令，，可得。

则，，为的泛最小乘估计。

泛最小乘估计的基本性质性质泛最小乘法估计，是有偏估计。

性质泛最小乘法估计是最小乘法估计的种压缩设计。

由于最小乘法只有在小的特征根所对应的特征向量的方向上的估计才是不精确的，而在大的特征根所对应的特征向量的方向上是精确的，可见泛最小乘估计对最小乘估计进行了过度的压缩。

非线性最小乘法非线性最小乘法是以误差的平方和最小为准则来估计非线性静态模型参数的种参数估计方法。

设非线性系统的模型为，。

式中是系统的输出，是输入，是参数他们可以是向量。

这里的非线性是指对参数的非线性模型，不包括输入输出变量随时间的变化关系。

在估计参数时模型的形式是已知的，经过次试验取得数据，。

估计参数的准侧或称目标函数选为模型的误差平方和非线性最小乘法求是求使达到极小的参数估计值。

，。

由于的非线性，所以不能像线性最小乘法那样用求多元函数极值的办法来得到参数估计值，而需要采用复杂的优化算法来求解。

常用的算法有两类，类是搜索算法，另类是迭代算法。

参数整体最小乘法解围回代到方程求的参数。

也可以按下式求解。

未知数为。

通过以上分析可以得到采用整体最小乘法拟合直线同时顾及了自变量和因变量的误差，无论选取那种自变量模型及其结果都是完全致的，和普通最小乘法相比，采用整体最小乘法拟合直线能够获得最佳的拟合效果。

递推最小乘法在计算机算法中，般使用的最小乘次完成算法适合理论分析。

在具体的实际使用过程中，不仅占用的内存量大，还不适合在线辨识。

为了减少计算量，减少数据在计算机所占的存储量，也为了有可能实时地辨识出动态系统的特性，在用最小乘法进行参数辨识的时候，把它转化成种既经济又有效的参数递推辨识。

所谓的递推最小乘辨识，就是当被辨识系统在运行时，每取得次新的观测数据后，就在前次估计的结果的基础上，利用新引入的观测数据对前次估计的结果，根据递推算法进行修正，从而递推地得出参数估计值。

这样，随着新的观测数据的逐次引入，次接着次的进行参数估计，直到参数估计到达满意的精确程度为止。

最小乘递推算法的基本思想可以概括为新的估计值老的估计值修正项。

递推最小乘法在些工程建设中应用比较广泛这里我们简单举个桥梁建设的例子来说明下。

般在进行桥梁建设之前，我们都会得到桥梁的些基本数据，只有得到这些数据后我们才可以进行下步。

首先进行桥梁施工力学分析，评估桥梁力学参数对目标的敏感性，其次根据各参数的敏感性分为主要涉及参数和次要设计参数，并结合实际桥梁施工过程中各参数发生偏差大小的可能性，以选取合适的最小乘法辨识的力学参数。

般选取混泥土弹性模量混凝土徐变系数有效预应力系数作为重点辨识参数。

由此我们可以建立般的参数调整向量，式中为混凝土弹性模量的调整系数为混凝土徐变的调整系数为有效预应力的调整系数。

接着我们可以用以上公式根据般数据进行误差的计算与分析。

在实际中，由于新的监测信息随着工程进展而不断反馈，所以般的系统都采用最小乘法的递推算法，不必重新对大量旧数据算遍，而是设法在原先预测的基础上加入新信息以修正，从而得到新的参数预计值。

泛最小乘法可以考虑线形回归模型，其中为向量为设计矩阵，为误差向量为阶单位阵，为的未知回归系数向量的最小乘法为。

泛最小乘法则为其中是给定非负纯量因子，在极化过程中对和起平衡作用，成为平衡因子，为适当给定的正定矩阵，称为正规化举阵。

假设两潮位站在时间段，内进行同步观测，两站观测所得水位时分别为和。

依次做出两站的水位曲线，通过计算两条水位曲线的相似程度，来判断和分析两站潮汐的相似性。

从离散数学原理可知，两曲线的相似程度是由定采样值的相关系数决定的。

为了衡量曲线相似程度，考虑采用误差能量方程，。

式中，为与在，时间内的相关系数，可表达为，。

从式中可以看出接近时，误差能量较小，时，相对误差能量为，说明曲线完全相似为时，相对误差能量最大，说明曲线不相似。

利用误差能量理论，根据潮汐曲线的相关系数。

即可以判断性质的相似性。

当关系系数接近时，表示两个验潮站的潮汐性质相似，相反之则相似性差。

若长期验潮站和临时验潮站水位序列分别，。

潮位曲线关系如图所示图潮位曲线关系表示两站的潮差比，为两站间潮波传播延迟系数潮时差，为基准面偏差，则两个曲线之间的关系可以用线性关系来表达。

实际水位观测序列是离散的，体现了不同分潮叠加及非潮汐作用共同影响下的复杂形式。

为了得到式个参数的解，在计算时，首先取前两个参数的近似值，对分别为和，然后对该式线性化，行成矩阵形式。

式中，。

矩阵的第行元素为，，前项用函数插值法得到，而未知数向量为，。

最小二乘法及其应用。

参数整体最小乘法解围回代到方程求的参数。

也可以按下式求解。

未知数为。

通过以上分析可以得到采用整体最小乘法拟合直线同时顾及了自变量和因变量的误差，无论选取那种自变量模型及其结果都是完全致的，和普通最小乘法相比，采用整体最小乘法拟合直线能够获得最佳的拟合效果。

递推最小乘法在计算机算法中，般使用的最小乘次完成算法适合理论分析。

在具体的实际使用过程中，不仅占用的内存量大，还不适合在线辨识。

为了减少计算量，减少数据在计算机所占的存储量，也为了有可能实时地辨识出动态系统的特性，在用最小乘法进行参数辨识的时候，把它转化成种既经济又有效的参数递推辨识。

所谓的递推最小乘辨识，就是当被辨识系统在运行时，每取得次新的观测数据后，就在前次估计的结果的基础上，利用新引入的观测数据对前次估计的结果，根据递推算法进行修正，从而递推地得出参数估计值。

这样，随着新的观测数据的逐次引入，次接着次的进行参数估计，直到参数估计到达满意的精确程度为止。

最小乘递推算法的基本思想可以概括为新的估计值老的估计值修正项。

递推最小乘法在些工程建设中应用比较广泛这里我们简单举个桥梁建设的例子来说明下。

般在进行桥梁建设之前，我们都会得到桥梁的些基本数据，只有得到这些数据后我们才可以进行下步。

首先进行桥梁施工力学分析，评估桥梁力学参数对目标的敏感性，其次根据各参数的敏感性分为主要涉及参数和次要设计参数，并结合实际桥梁施工过程中各参数发生偏差大小的可能性，以选取合适的最小乘法辨识的力学参数。

般选取混泥土弹性模量混凝土徐变系数有效预应力系数作为重点辨识参数。

由此我们可以建立般的参数调整向量，式中为混凝土弹性模量的调整系数为混凝土徐变的调整系数为有效预应力的调整系数。

接着我们可以用以上公式根据般数据进行误差的计算与分析。

在实际中，由于新的监测信息随着工程进展而不断反馈，所以般的系统都采用最小乘法的递推算法，不必重新对大量旧数据算遍，而是设法在原先预测的基础上加入新信息以修正，从而得到新的参数预计值。

泛最小乘法可以考虑线形回归模型，其中为向量为设计矩阵，为误差向量为阶单位阵，为的未知回归系数向量的最小乘法为。

泛最小乘法则为其中是给定非负纯量因子，在极化过程中对和起平衡