假设系数误差已经修正，即每个测量值都是等精度的次测量值的条件相同，所以误差符合正态分布，这样才可以使用最小乘法原理如果，都有误差，只要把误差较小的作为变量，使不确定度得计算变得简单即可。

由于测量的分散性，实验点不可能都落在条直线上。

对于我们所拟合的直线，和个相对应的与直线在方向的残差为。

如图所示，根据最小乘法原理。

如果的值小，那么标准偏差就小，能够使最小的直线就是我们所要拟合的直线。

由式可见，和决定的大小，能够使为最小值的和的值就是回归方程的系数。

图残差示意图使式中为极小值的条件是，，，。

式中，是测量值，变量是和，分别对和求偏导数，。

由式可解得，。

再由式对和求阶导数后，可知，，这样和式给出的和对应于的极小值，即用最小乘法对拟合直线所得的两个参量斜率和截距。

于是，就求得了直线的回归方程式。

如果实验是在已经线性函数关系下进行的，那么用上述最小乘法线性拟合，可得出最佳直线及其截距斜率，从而得出回归方程。

如果实验是要通过，的测量值寻找经验公式，则还应判断由上述元线性拟合所找出的线性回归方程是否恰当，这可用下列相关系数来判别。

这就是最小乘解所满足的代数方程，它是个线性方程组，系数矩阵是，常数项是。

这种线性方程组总是有解的。

最小乘法通过最小化误差的平方和寻找数据的最佳函数匹配。

利用最小乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。

最小乘法还可用于线性拟合。

最小乘法的简单运用例求下列方程的最小乘解用到子空间距离最短的线是垂线的语言表达出上面方程的最小乘解的几何意义。

由此列出方程并求解。

用位有效数字计算。

解令。

那么到子空间距离最短的线是垂线的意思就是的值最小。

因而最小乘解的几何意义是在，中求的内射影。

令，可得而，，所以，，例已知种材料在生产过程中的废品率与种化学成分有关。

下列表中记载了工厂生产中与相应的的几次数值我们想找出对的个近似公式。

解已知，。

最小乘解，所满足的方程就是，即为，解得，取位有效数字。

解之，求得从而得到拟合直线。

定理最小乘法问题线性方程组，可能无解。

即任何组数都可能使不等于零。

我们设法找到使最小，这样的称为方程组的最小乘解。

这种问题就叫最小乘法问题。

下面我们利用欧式空间的概念来表示最小乘法，并给出最小乘法所满足的代数条件。

令用距离的概念，就是。

最小乘法就是找使与的距离最短。

但从，知道向量就是。

把的各列向量分别记成。

由它们生成的子空间为。

就是中的向量。

于是最小乘法问题可叙述成找使最小，就是在中找向量，使得到它的距离比到子空间中其它向量的距离都短。

应用前面所讲的结论，设是所要求的向量，则必须垂直于子空间。

为此只须而且必须。

回忆矩阵乘法规则，上述串等式可以写成矩阵相乘的式子，即。

而按行正好排成矩阵，上述串等式合起来就是，或。

由于为正定对称矩阵，根据线性代数知识，肯定存在个非奇异矩阵，使得，因此，，用同乘式两边得，，令，，则模型，变成，这样。

因此，变换后的模型满足假定条件，对此模型用最小乘法求得的估计量，这种对原模型变换后再应用最小乘法求得的估计量的方法，就叫作对原模型的广义最小乘法，称作广义最小乘估计量。

当时，ˆ，广义最小乘法就是普通最小乘法。

可以说，普通最小乘法是广义最小乘法的种特殊情况，广义最小乘法是普通最小乘法的推广。

因此，广义最小乘估计量也具有线性性无偏性和最小方差性的优点。

讨论用广义最小乘法建立线性回归模型的具体方法，为简单起见，以元线性回归模型为例，因是异方差，异方差性就是随机项在解释变量的不同取值时方差不同，这就是说异方差是解释变量的函数。

设，其中为有限常数，用除以模型两边得，记，则，这说明变换后的模型具有等方差性。

因此，可以对变换后的模型应用最小乘法。

如果进步把问题简化，设随机项的异方差形式为或，只要对原模型两边同除或进行转换即可。

现行统计职称教材和统计学原理在讲解回归分析方法时，没有考虑随机项的异方差性问题，即默认具有等方差性，把最小乘法作为最优拟合准则。

而许多经济现象如收入与储蓄，以及个人可支配收入与消费支出，家庭收入与住房支出等都不具备等方差性，对这类经济现象进行回归分析时，应该广义最小乘法较为合理，这对提高统计回归模型的拟合度和预测精度具有重要意义。

偏最小乘法的介绍随着分析仪器的不断革新和发展，人们能够从样品中获得越来越多的测试数据，这就要求我们研究有效的计算方法从大量数据中提取有用的信息。

偏最小乘法，是目前最好的种多元分析方法。

许多研究表明，方法稳定，准确度高，能用较少的主成份来表达自变量和函数的关系。

近来，方法又运用于处理高维数据。

我们相信它将成为处理现代分析仪器数据的主要手段。

偏最小乘法比较适合于处理自变量数大的回归建模问题，特别是当自变量之间存在严重多重相关性时，该法仍能避免过拟合，而得到预报稳定性较高的模型。

但在实际应用中，特别是处理海量数据或自变量数很大的实际问题时，所得到的模型由于回归系数个数很多而复杂。

如果能根据偏最小乘法建模过程的些信息，如回归系数等，以筛选原始自变量，在不损失模型的预报能力的条件下，除去部分冗余的或影响不大的变量，便可得到更简单的回归模型，对分析和处理实际问题意义很大。

反之，在数据建模时，由于变量数特别大，模型的回归系数也就特别多，使变量或因子的重要性分析变得十分困难。

偏最小乘回归方法开辟了有效的回归分析途径，利用成分提取的思路，采用了信息综合和筛选技术，有效的克服在应用最小乘回归时遇见的自变量间的多重相关性。

然而应用偏最小乘回归分析建立的模型是种多元线性回归模型，要求因变量与自变量间有显著的线性关系，但是，在实际应用中，还会遇到些因变量集合与自变量集合间存在非线性的情况。

这时，若仍采用偏最小乘分析就很难得到较理想的回归模型，所以有必要对非线性回归模型进行探讨。

多项式回归为这问题提供了行之有效的解决办法。

根据数学分析证明在点的领域内连续的函数，可以用多项式任意逼近，所以，只要因变量与自变量的成分间存在着相关关系，就可以用多项式来进行回归分析。

根据偏最小乘回归分析的原理且结合多项式回归分析方法，现将基于偏最小乘分析实现非线性回归的原理和算法简述如下设有个因变量和个自变量，观测了个样本点。

由此构成了自变量与因变量的数据表和。

偏最小乘回归分别在和中提取成分和。

即是的线性组合，是的线性组合。

在提取成分时，有下列两个要求和应尽可能的携带各数据表中的信息和的相关程度能够达到最大。

这两个要求表明，和应尽可能好的代表数据表和同时自变量的成分对因变量的成分有具有最强的解释能力。

在第个成分和被提取后，根据各因变量与成分的散点图的趋势曲线，分别实施对的多项式回归以及对的线性回归。

如果回归方程已达到满意的精度，则算法终止否则将利用被解释后的残余信息以及被解释后的残余信息进行第轮成分提取。

如此反复，直到能达到个较满意的精度为止。

若最终对共提取了个成分，偏最小乘法将通过施行对的多项式回归。

然后再表达成关于原自变量的回归方程。

解之，求得从而得到拟合直线。

定理最小乘法问题线性方程组，可能无解。

即任何组数都可能使不等于零。

我们设法找到使最小，这样的称为方程组的最小乘解。

这种问题就叫最小乘法问题。

下面我们利用欧式空间的概念来表示最小乘法，并给出最小乘法所满足的代数条件。

令用距离的概念，就是。

最小乘法就是找使与的距离最