。

因此，变换后的模型满足假定条件，对此模型用最小乘法求得的估计量，这种对原模型变换后再应用最小乘法求得的估计量的方法，就叫作对原模型的广义最小乘法，称作广义最小乘估计量。

当时，ˆ，广义最小乘法就是普通最小乘法。

可以说，普通最小乘法是广义最小乘法的种特殊情况，广义最小乘法是普通最小乘法的推广。

因此，广义最小乘估计量也具有线性性无偏性和最小方差性的优点。

讨论用广义最小乘法建立线性回归模型的具体方法，为简单起见，以元线性回归模型为例，因是异方差，异方差性就是随机项在解释变量的不同取值时方差不同，这就是说异方差是解释变量的函数。

设，其中为有限常数，用除以模型两边得，记，则，这说明变换后的模型具有等方差性。

因此，可以对变换后的模型应用最小乘法。

如果进步把问题简化，设随机项的异方差形式为或，只要对原模型两边同除或进行转换即可。

现行统计职称教材和统计学原理在讲解回归分析方法时，没有考虑随机项的异方差性问题，即默认具有等方差性，把最小乘法作为最优拟合准则。

而许多经济现象如收入与储蓄，以及个人可支配收入与消费支出，家庭收入与住房支出等都不具备等方差性，对这类经济现象进行回归分析时，应该广义最小乘法较为合理，这对提高统计回归模型的拟合度和预测精度具有重要意义。

偏最小乘法的介绍随着分析仪器的不断革新和发展，人们能够从样品中获得越来越多的测试数据，这就要求我们研究有效的计算方法从大量数据中提取有用的信息。

偏最小乘法，是目前最好的种多元分析方法。

许多研究表明，方法稳定，准确度高，能用较少的主成份来表达自变量和函数的关系。

近来，方法又运用于处理高维数据。

我们相信它将成为处理现代分析仪器数据的主要手段。

偏最小乘法比较适合于处理自变量数大的回归建模问题，特别是当自变量之间存在严重多重相关性时，该法仍能避免过拟合，而得到预报稳定性较高的模型。

但在实际应用中，特别是处理海量数据或自变量数很大的实际问题时，所得到的模型由于回归系数个数很多而复杂。

如果能根据偏最小乘法建模过程的些信息，如回归系数等，以筛选原始自变量，在不损失模型的预报能力的条件下，除去部分冗余的或影响不大的变量，便可得到更简单的回归模型，对分析和处理实际问题意义很大。

反之，在数据建模时，由于变量数特别大，模型的回归系数也就特别多，使变量或因子的重要性分析变得十分困难。

偏最小乘回归方法开辟了有效的回归分析途径，利用成分提取的思路，采用了信息综合和筛选技术，有效的克服在应用最小乘回归时遇见的自变量间的多重相关性。

然而应用偏最小乘回归分析建立的模型是种多元线性回归模型，要求因变量与自变量间有显著的线性关系，但是，在实际应用中，还会遇到些因变量集合与自变量集合间存在非线性的情况。

这时，若仍采用偏最小乘分析就很难得到较理想的回归模型，所以有必要对非线性回归模型进行探讨。

多项式回归为这问题提供了行之有效的解决办法。

根据数学分析证明在点的领域内连续的函数，可以用多项式任意逼近，所以，只要因变量与自变量的成分间存在着相关关系，就可以用多项式来进行回归分析。

根据偏最小乘回归分析的原理且结合多项式回归分析方法，现将基于偏最小乘分析实现非线性回归的原理和算法简述如下设有个因变量和个自变量，观测了个样本点。

由此构成了自变量与因变量的数据表和。

偏最小乘回归分别在和中提取成分和。

即是的线性组合，是的线性组合。

在提取成分时，有下列两个要求和应尽可能的携带各数据表中的信息和的相关程度能够达到最大。

这两个要求表明，和应尽可能好的代表数据表和同时自变量的成分对因变量的成分有具有最强的解释能力。

在第个成分和被提取后，根据各因变量与成分的散点图的趋势曲线，分别实施对的多项式回归以及对的线性回归。

如果回归方程已达到满意的精度，则算法终止否则将利用被解释后的残余信息以及被解释后的残余信息进行第轮成分提取。

如此反复，直到能达到个较满意的精度为止。

若最终对共提取了个成分，偏最小乘法将通过施行对的多项式回归。

然后再表达成关于原自变量的回归方程。

根据上述原理，偏最小乘回归的算法可归纳为如下步骤将原始数据表，标准化，得到标准化后的自变量矩阵和因变量矩阵提取第轴和及相应的第成分和，式中，是矩阵的最大特征值对应的单位化的特征向量是矩阵的最大特征值对应的单位化的特征向量。

分别求和对的回归，式中，回归系数向量表示第个因变量表示第个因变量对第成分的多项式的回归系数表示第个因变量对第成分的回归多项式次数表示第个因变量回归后的残差。

最小二乘法的原理和应用。

再由式对和求阶导数后，可知，，这样和式给出的和对应于的极小值，即用最小乘法对拟合直线所得的两个参量斜率和截距。

于是，就求得了直线的回归方程式。

如果实验是在已经线性函数关系下进行的，那么用上述最小乘法线性拟合，可得出最佳直线及其截距斜率，从而得出回归方程。

如果实验是要通过，的测量值寻找经验公式，则还应判断由上述元线性拟合所找出的线性回归方程是否恰当，这可用下列相关系数来判别。

相关系数的数值大小表示了相关程度的好坏，如图所示，若表示变量，完全线性相关，拟合直线通过全部实验点，当时，实验点的线性不好，越小线性越差，表示与完全不相关。

图相关程度示意图例题讲解例用最小乘法求中学数学中直线型经验公式的最佳近似解个弹簧的长度和它悬挂的重量间的关系如下求关于的经验公式。

解设所求的经验公式为。

把表中各数据代入此方程得方程组，由最小乘法原理知，解得，。

例实验数据的最小乘法拟合在落体运动中，物体的位移与时间的关系可表为表出位移，表初速，为重力加速度。

在次落体实验中，得到如下数据秒厘米试根据以上数据确定和。

解现在要用个试验点拟合的是次多项式，，即。

有最小乘法的曲线拟合原理知，，所以，，即。

所拟合的次多项式为，所以。

参考文献叶兴德，程晓良，陈明飞数值分析基础浙江大学出版社北京大学数学系，几何与代数教研室前代数小组高等代数高等教育出版社施吉林，刘淑珍，陈桂林计算机数值方法高等教育出版社，郎静波广义最小乘法在建立回归模型中的应用，李通化，丛培盛快速偏最小乘法及其应用分析化学，朱尔，林燕利用偏最小乘法的种变量筛选法计算机与应用化学，鲁庆华，任康乐，周凤玺基于偏最小乘法实现非线性回归分析甘肃科技，张彬，曹福军用最小乘法处理回归问题唐山师范学院学报，邹乐强最小乘法原理及其简单应用河南工程技术学校，李通化，丛培盛快速偏最小乘法及其应用分析化学。

由于为正定对称矩阵，根据线性代数知识，肯定存在个非奇异矩阵，使得，因此，，用同乘式两边得，，令，，则模型，变成，这样。

因此，变换后的模型满足假定条件，对此模型用最小乘法求得的估计量，这种对原模型变换后再应用最小乘法求得的估计量的方法，就叫作对原模型的广义最小乘法，称作广义最小乘估计量。

当时，ˆ，广义最小乘法就是普通最小乘法。

可以说，普通最小乘法是广义最小乘法的种特殊情况，广义最小乘法是普通最小乘法的推广。

因此，广义最小乘估计量也具有线性性无偏性和最小方差性的优点。

讨论用广义最小乘法建立线性回归模型的具体方法，为简单起见，以元线性回归模型为例，因是异方差，异方差性就是随机项在解释变量的不同取值时方差不同，这就是说异方差是解释变量的函数。

设，其中为有限常数，用除以模型两边得，记，则，这说明变换后的模型具有等方差性。

因此，可以对变换后的模型应用最小乘法。

如果进步把问题简化，设随机项的异方差形式为或，只要对原模型两边同除或进行转换即可。

现行统计职称教材和统计学原理在讲解回归分析方法时，没有考虑随机项的异方差性问题，即默认具有等方差性，把最小乘法作为最优拟合准则。

而许多经济现象如收入与储蓄，以及个人可支配收入与消费支出，家庭收入与住房支出等都不具备等方差性，对这类经济现象进行回归分析时，应该广义最小乘法较为合理，这对提高统计回归模型的拟合度和预测精度具有重要意义。

偏最小乘法的介绍随着分析仪器的不断革新和发展，人们能够从样品中获得越来越多的测试数据，这就要求我们研究有效的计算方法从大量数据中提取有用的信息。

偏最小乘法，是目前最好的种多元分析方法。

许多研究表明，方法稳定，准确度高，能用较少的主成份来表达自变量和函数的关系。

近来，方法又运用于处理高维数据。

我们相信它将成为处理现代分析仪器数据的主要手段。

偏最小乘法比较适合于处理自变量数大的回归建模问题，特别是当自变量之间存在严重