単回帰モデル
[math]
Y=\alpha + \beta X
[/math]
において、Yの算術平均のまわりの総変動[math]S_{yy}[/math]は以下のように分解できる。
[math]
S_{yy}=\sum _{i=1}^{n} (y_i -\bar{y})^2 = \sum _{i=1}^{n} (y_i -(\hat{\alpha}+\hat{\beta} x_i )+(\hat{\alpha} +\hat{\beta} x_i)-\bar{y})^2
[/math]
[math]
=\sum _{i=1}^{n} (\hat{\alpha}+\hat{\beta} x_i -\bar{y})^2 + \sum _{i=1}^{n} (y_i -(\hat{\alpha} + \hat{\beta} x_i))^2
[/math]
ここで計算の際に、交互作用項
[math]
\sum _{i=1}^{n} (y_i -(\hat{\alpha}+\hat{\beta} x_i))((\hat{\alpha} + \hat{\beta} x_i)-\bar{y})
[/math]
は、[math] \hat{\beta}=\frac{S_{xy}}{S_{xx}} , \ \hat{\alpha}=\bar{y}-\hat{\beta}\bar{x} [/math]を代入することによりゼロとなる。
この変動和の分解における第1項は回帰変動平方和である。
[math]
S_R = \sum_{i=1}^{n} (\hat{\alpha}+\hat{\beta} x_i -\bar{y})^2 = \frac{S_{xy}^2}{S_{xx}}
[/math]
これは[math]\hat{\alpha} =\bar{y}-\hat{\beta} \bar{x} [/math]を上式に代入することにより求められる。
また変動和の分解における第2項は残差平方和である。
[math]
S_e = \sum _{i=1}^{n} (y_i -(\hat{\alpha} + \hat{\beta} x_i))^2
[/math]
回帰変動和を総変動和で割ったものを決定係数と呼ぶ。その平方根はxとyの相関係数である。
[math]
R^2 =\frac{S_R}{S_{yy}}=\frac{S_{xy}^2}{S_{xx} S_{yy}} =1-\frac{S_e}{S_{yy}}
[/math]
以上の変動の分解を分散分析表にて整理する。