【最小二乘估计】最小二乘估计的算法

网友回答

【答案】 以线性回归为例,说明最小二乘法的算法：
　　令线性回归方程为：y=ax+b (1)
　　a,b为回归系数,要用观测数据(x1,x2,...,xn和y1,y2,...,yn)确定之.
　　为此构造 Q(a,b)=Σ(i=1->n)[yi-(axi+b)]^2 (2)
　　使偏差的平方和取极小,就是最小二乘法的核心思想：
　　为使Q(a,b)取最小,a,b应满足：
　　∂Q/∂a= 2Σ(i=1->n)[yi-(axi+b)](-xi)= 0 (3)
　　∂Q/∂b= 2Σ(i=1->n)[yi-(axi+b)] = 0 (4)
　　由(3)、(4)解出a ,b就确定了回归a和b.整理(3),(4)得到：
　　a Σ (Xi)² + b Σ Xi = Σ Xi Yi (5)
　　a Σ Xi + b n = Σ Yi (6)
　　由(5)、(6)是关于a,b的二元线性方程组,解出a,b代入(1)就完成了一元线性回归.
　　这就是最小二乘法算法的基本思路.