単回帰分析、最小二乗法とは



確率・統計

統計/解析

ベイズ理論

確率

公開日:2017/12/17 , 最終更新日:2023/1/22         

前提知識
 ・偏微分
 ・分散、共分散
 ・二乗和(残差平方和)


■単回帰分析とは

回帰分析とは、あるデータの集まりをもっともらしい関数で表現する(近似する)ことですが、単回帰分析とはデータの集まりを一つの変数で表すことをいいます。 従ってその関係性は、y=ax+bという一次方程式の形で表すことができます。この時xを説明変数、yを目的変数と呼びます。



回帰分析の種類には、単回帰分析の他に多項式回帰分析や重回帰分析があり、多項式回帰は説明変数が一つの多項式で回帰することで、重回帰分析は説明変数が複数を用いて回帰することをいいます。



次に、回帰分析する手法の一つである最小二乗法を説明します。

■最小二乗法とは

最小二乗法とは『実データとの誤差の二乗和(残差平方和)が最も小さくなるような』回帰式を求める手法です。

具体的には、実データと誤差の二乗和を誤差関数と定義し、誤差関数が最も小さくなる時の条件を求めるため、 誤差関数を偏微分して微分結果が0になるような係数を求めれば良いです。


考え方は以上です。それでは実際に計算していきます。

<誤差関数の算出>

<誤差関数の偏微分>
(1)式をAとBでそれぞれ偏微分します。



となりAとBを求めることができました。これをグラフに描くと以下となります。

■最小二乗法の公式

<公式①>
以下の様に行列で表現すれば簡単にAとBを求めることが出来ます。


上記で手計算したのをこの式で求めてみます。行列の計算はscilabを用います。

となり、AとBを求めることが出来ました。

<公式②>
以下の様に表現することもできます。導出方法はこちらをクリック。分散,共分散について

■エクセルによる回帰分析の方法

上記ではほぼ手作業で回帰係数を求めましたが、エクセルで簡単に求めることができ、また回帰係数がどれくらい元のデータを表現しているか分析できます。詳細はこちら









サブチャンネルあります。⇒ 何かのお役に立てればと

関連記事一覧



確率・統計

統計/解析

ベイズ理論

確率