小白求问一下加权最小二乘法是啥在一些软件中经常遇到,在拟合的时候要求选择一个权数,比如1/x,x&#

网友回答

呃,楼上是个广告男……
加权最小二乘（WLS）最一般的用法是克服异方差.比方说,现在有一个多元回归y = bX + e（矩阵表示,【X'】代表矩阵X转置）.原来的一般最小二乘（OLS）公式是
b = (X'X)^(-1) * X'y
而在异方差情况下,由于不满足OLS的五大假定,因此OLS的结果不再有效（not efficient,不是not valid）.因此相应的做法是将异方差矩阵分解,并左乘到回归模型中,得到的结果就是WLS回归.比如说,异方差阵为W,且W的逆可以分解为W^(-1) = P'P,那么经过一系列推导（略,可以找一本计量的课本,参考异方差相应章节）,可以知道
b* = (X'P'PX)^(-1) * X'P'Py
换言之,正如题主所言,要用矩阵P去变换这个X和y,从而得到WLS回归,其中W矩阵里的元素,就是权重（weight）.至于选择什么权重,就取决于W矩阵的设定形式.
举个简单的例子,设一个一元回归y = bx + e,而扰动项e的方差协方差阵W是一个对角矩阵,即W = diag(s1,s2,...,sn),其中si代表第i个对角元,si ≠ sj
那么W^(-1) = diag(1/s1,1/s2,...,1/sn)
如果用sqrt(a)表示a的开方,那么P矩阵就是P = diag(sqrt(1/s1),...sqrt(1/sn))
从而说b* = Σ(xi * yi/si) / Σ(xi * xi/si)
可以看到,权重在这里是1/si,而对数据的变换方法是每个数据都乘以sqrt(1/si)
至于更复杂的设定形式（如 ln x 等）,代表更复杂的方差协方差阵W的设定.这里不再展开.有兴趣可以参考计量经济学教材（如,伍德里奇的）,有更详细的推导.
======以下答案可供参考======
供参考答案1: