刚刚无聊推导了一下
线性回归方程式
令理想的直线方程式为
y=ax+b
而我们手上有的资料点为
yi=ax+b+c
此时c为描述实际资料与模型的误差
我们目标是令误差越小越好，有很多种求法
最简单的就是最小平方法
所以我们的目标函数建立如下
Q = Σ(yi-axi-b)^2
做偏微分运算
∂/∂a (Q) = 2*Σ[(yi-axi-b)xi] = 0
∂/∂b (Q) = 2*Σ(yi-axi-b) = 0
整理方程式
Σ(xi^2) * a + Σ(xi) * b = Σ(xiyi)
Σ(xi) * a + n * b = Σ(yi)
解联立,克拉玛简单解一下
|Σ(xi^2) Σ(xi)| | a | | Σ(xiyi)|
| | | | = | |
| Σ(xi) n | | b | | Σ(yi) |
Δ = n*Σ(xi^2) - Σ(xi)Σ(xi)
Δa = n*Σ(xiyi) - Σ(xi)Σ(yi)
Δb = Σ(xi^2)*Σ(yi) - Σ(xiyi)*Σ(xi)
a = [n*Σ(xiyi) - Σ(xi)Σ(yi)] / [n*Σ(xi^2) - Σ(xi)Σ(xi)]
b = [Σ(xi^2)*Σ(yi) - Σ(xiyi)*Σ(xi)] / [n*Σ(xi^2) - Σ(xi)Σ(xi)]
有更简单的形式，不过原则点到此