Python scikit-learn2 　線形回帰（単回帰）分析

2018年11月19日 2018年12月12日

Contents

1 はじめに
2 線形回帰
3 線形回帰モデル
- 3.1 データを読み込む
- 3.2 Corr()メソッドで算出係数を求める
4 線形回帰モデルをたてる
5 まとめ

はじめに

数量などの連続値をとる目的変数を予測するのに役立つのが回帰分析です。この記事では、目的変数と説明変数の関係をモデル化する線形回帰をScikit-learnライブラリを使って行う方法を解説します。

線形回帰

線形回帰は、連続値をとる説明変数 xと目的変数 $y$ と説明変数 $x$ の関係をモデル化するものです。説明変数が一つの場合は単回帰と呼びます。この場合変数xと変数yの関係をモデル化する線形モデルは以下の式で定義されます。 y=a0＋a1y ここで、重みa0は切片、重みa1は説明変数の係数を表します。この式のように、目的変数が説明変数の一次式で表現されるとき、線形回帰の目的は説明変数と目的変数の散布図で、データの分布の仕方を最もよく表現している一次式を見つけることです。

線形回帰モデル

scikit-learnで線形回帰をするには、linear_modelのLinearRegressionモデルを使います。fitメソッド、predictメソッド、scoreメソッドを利用します。

fitメソッド：線形モデルの重みを学習
predictメソッド：線形モデルから目的変数を予測

データを読み込む

scikit-learnには、学習用のデータセットがいくつか用意されています。今回はボストン市郊外の地域別住宅価格データを用いて分析してみます。データセットを読み込んで、PandasのDataFrameに変換し、単回帰分析を行います。panndas、matplotlibのライブラリの読み込み、インライン表示コマンドを入力し、ボストンのデータをロードします。

import pandas as pd
<span class="kn">import</span> <span class="nn">matplotlib.pyplot</span> <span class="k">as</span> <span class="n">plt
%matplotlib inline
</span>from sklearn.datasets import load_boston

boston = load_boston()

import pandas as pd

import matplotlib.pyplot as plt

%matplotlib inline

from sklearn.datasets import load_boston

boston = load_boston()

ロードしたデータの概要を見てみましょう。

print(boston.DESCR)

1	print(boston.DESCR)

以下のように表示されます。

Boston House Prices dataset
===========================

Notes
------
Data Set Characteristics:  

    :Number of Instances: 506 

    :Number of Attributes: 13 numeric/categorical predictive
    
    :Median Value (attribute 14) is usually the target

    :Attribute Information (in order):
        - CRIM     per capita crime rate by town
        - ZN       proportion of residential land zoned for lots over 25,000 sq.ft.
        - INDUS    proportion of non-retail business acres per town
        - CHAS     Charles River dummy variable (= 1 if tract bounds river; 0 otherwise)
        - NOX      nitric oxides concentration (parts per 10 million)
        - RM       average number of rooms per dwelling
        - AGE      proportion of owner-occupied units built prior to 1940
        - DIS      weighted distances to five Boston employment centres
        - RAD      index of accessibility to radial highways
        - TAX      full-value property-tax rate per $10,000
        - PTRATIO  pupil-teacher ratio by town
        - B        1000(Bk - 0.63)^2 where Bk is the proportion of blacks by town
        - LSTAT    % lower status of the population
        - MEDV     Median value of owner-occupied homes in $1000's

    :Missing Attribute Values: None

    :Creator: Harrison, D. and Rubinfeld, D.L.

This is a copy of UCI ML housing dataset.
http://archive.ics.uci.edu/ml/datasets/Housing


This dataset was taken from the StatLib library which is maintained at Carnegie Mellon University.

The Boston house-price data of Harrison, D. and Rubinfeld, D.L. 'Hedonic
prices and the demand for clean air', J. Environ. Economics & Management,
vol.5, 81-102, 1978.   Used in Belsley, Kuh & Welsch, 'Regression diagnostics
...', Wiley, 1980.   N.B. Various transformations are used in the table on
pages 244-261 of the latter.

The Boston house-price data has been used in many machine learning papers that address regression
problems.   
     
**References**

   - Belsley, Kuh & Welsch, 'Regression diagnostics: Identifying Influential Data and Sources of Collinearity', Wiley, 1980. 244-261.
   - Quinlan,R. (1993). Combining Instance-Based and Model-Based Learning. In Proceedings on the Tenth International Conference of Machine Learning, 236-243, University of Massachusetts, Amherst. Morgan Kaufmann.
   - many more! (see http://archive.ics.uci.edu/ml/datasets/Housing)

Boston House Prices dataset

===========================

Notes

------

Data Set Characteristics:

:Number of Instances: 506

:Number of Attributes: 13 numeric/categorical predictive

:Median Value (attribute 14) is usually the target

:Attribute Information (in order):

- CRIM per capita crime rate by town

- ZN proportion of residential land zoned for lots over 25,000 sq.ft.

- INDUS proportion of non-retail business acres per town

- CHAS Charles River dummy variable (= 1 if tract bounds river; 0 otherwise)

- NOX nitric oxides concentration (parts per 10 million)

- RM average number of rooms per dwelling

- AGE proportion of owner-occupied units built prior to 1940

- DIS weighted distances to five Boston employment centres

- RAD index of accessibility to radial highways

- TAX full-value property-tax rate per $10,000

- PTRATIO pupil-teacher ratio by town

- B 1000(Bk - 0.63)^2 where Bk is the proportion of blacks by town

- LSTAT % lower status of the population

- MEDV Median value of owner-occupied homes in $1000's

:Missing Attribute Values: None

:Creator: Harrison, D. and Rubinfeld, D.L.

This is a copy of UCI ML housing dataset.

http://archive.ics.uci.edu/ml/datasets/Housing

This dataset was taken from the StatLib library which is maintained at Carnegie Mellon University.

The Boston house-price data of Harrison, D. and Rubinfeld, D.L. 'Hedonic

prices and the demand for clean air', J. Environ. Economics & Management,

vol.5, 81-102, 1978. Used in Belsley, Kuh & Welsch, 'Regression diagnostics

...', Wiley, 1980. N.B. Various transformations are used in the table on

pages 244-261 of the latter.

The Boston house-price data has been used in many machine learning papers that address regression

problems.

**References**

- Belsley, Kuh & Welsch, 'Regression diagnostics: Identifying Influential Data and Sources of Collinearity', Wiley, 1980. 244-261.

- Quinlan,R. (1993). Combining Instance-Based and Model-Based Learning. In Proceedings on the Tenth International Conference of Machine Learning, 236-243, University of Massachusetts, Amherst. Morgan Kaufmann.

- many more! (see http://archive.ics.uci.edu/ml/datasets/Housing)

・データセットを読み込んで、PandasのDataFrameに変換します。（8行目）・目的変数（boston.target)をDataFrameに’MEDV（住宅価格）’として追加します。（9行目）

import numpy as np
import matplotlib.pyplot as plt
from pandas import DataFrame
from sklearn import linear_model, datasets
%matplotlib inline
boston =datasets.load_boston()
boston_df = pd.DataFrame(boston.data, columns = boston.feature_names)
boston_df['MEDV'] = boston.target

import numpy as np

import matplotlib.pyplot as plt

from pandas import DataFrame

from sklearn import linear_model, datasets

%matplotlib inline

boston =datasets.load_boston()

boston_df = pd.DataFrame(boston.data, columns = boston.feature_names)

boston_df['MEDV'] = boston.target

データの先頭５行を表示します。

boston_df.head()

1	boston_df.head()

RM（平均部屋数）とMEDV（住宅価格）の関係を分析します。・plt.scatterコマンドでRMとMEDVの散布図をプロットします。マーカ色は赤（11行目）・plt.titleコマンドで図のタイトルを指定します。・plt.xlabel、ylabelコマンドでx軸、y軸のラベルを指定します。・plt.grid()でグリッド表示を有効にします。・plt.show()グラフを表示します。

import numpy as np
import matplotlib.pyplot as plt
from pandas import DataFrame
from sklearn import linear_model, datasets
%matplotlib inline
boston =datasets.load_boston()
boston_df = pd.DataFrame(boston.data, columns = boston.feature_names)
boston_df['MEDV'] = boston.target

plt.scatter(boston_df['RM'], boston_df['MEDV'], C='r') 
plt.title('Scatter Plot: RM vs MEDV')
plt.xlabel('RM') 
plt.ylabel('MEDV') 
plt.grid()                                 
plt.show()

import numpy as np

import matplotlib.pyplot as plt

from pandas import DataFrame

from sklearn import linear_model, datasets

%matplotlib inline

boston =datasets.load_boston()

boston_df = pd.DataFrame(boston.data, columns = boston.feature_names)

boston_df['MEDV'] = boston.target

plt.scatter(boston_df['RM'], boston_df['MEDV'], C='r')

plt.title('Scatter Plot: RM vs MEDV')

plt.xlabel('RM')

plt.ylabel('MEDV')

plt.grid()

plt.show()

RMとMEDVの散布図が作成されました。これをみると正の相関があるように見受けられます。ではこれを分析して相関係数を算出してみましょう。

Corr()メソッドで算出係数を求める

・Pandasのcorr()メソッドで平均部屋数と住宅価格の相関係数をもとめます。

boston_df[['RM','MEDV']].corr()

1	boston_df[['RM','MEDV']].corr()

相関係数は0.67で正の相関があることがわかりました。以降では、目的変数ｙ（MEDV）と説明変数y（RM）の関係を説明する線形回帰モデルを立ててみましょう。

線形回帰モデルをたてる

fitメソッドで重みを算出し線形回帰モデルを立てます。構築します。説明変数xと目的変数yはNumpyの配列を利用します。values属性の説明変数と目的変数の列からNumpyの配列を取り出します。・LinearRegressionモジュールをインポートします。（18行）・lrオブジェクトにLinearRegressionモジュールを割り当てます。（20行）・XにDataFrameからRMの値を抽出します。（21行）・YにDataFrameからMEDVの値を抽出します。（22行）・lrモジュールにfitメソッドを適用します。（23行）・説明変数xの係数coefficientを出力します。（24行）・切片interceptを出力します。(25行）

import numpy as np
import matplotlib.pyplot as plt
from pandas import DataFrame
from sklearn import linear_model, datasets
%matplotlib inline
boston =datasets.load_boston()
boston_df = pd.DataFrame(boston.data, columns = boston.feature_names)
boston_df['MEDV'] = boston.target

plt.scatter(boston_df['RM'], boston_df['MEDV'] , c = 'r') 
plt.title('Scatter Plot: RM vs MEDV')
plt.xlabel('RM') 
plt.ylabel('MEDV') 
plt.grid()                                 
plt.show() 

from sklearn.linear_model import LinearRegression

lr = LinearRegression()
X = boston_df[['RM']].values
Y = boston_df['MEDV'].value
lr.fit(X, Y)

print('coefficient = ', lr.coef_[0]) 
print('intercept = ', lr.intercept_)

import numpy as np

import matplotlib.pyplot as plt

from pandas import DataFrame

from sklearn import linear_model, datasets

%matplotlib inline

boston =datasets.load_boston()

boston_df = pd.DataFrame(boston.data, columns = boston.feature_names)

boston_df['MEDV'] = boston.target

plt.scatter(boston_df['RM'], boston_df['MEDV'] , c = 'r')

plt.title('Scatter Plot: RM vs MEDV')

plt.xlabel('RM')

plt.ylabel('MEDV')

plt.grid()

plt.show()

from sklearn.linear_model import LinearRegression

lr = LinearRegression()

X = boston_df[['RM']].values

Y = boston_df['MEDV'].value

lr.fit(X, Y)

print('coefficient = ', lr.coef_[0])

print('intercept = ', lr.intercept_)

結果が出力されました。

coefficient =  9.10210898118
intercept =  -34.6706207764

1 2	coefficient = 9.10210898118 intercept = -34.6706207764

説明変数の係数は9.10、切片は-34.67が得られました。

得られた係数、切片を用いて散布図上に回帰直線をオーバーレイします。回帰直線のプロットにはモデルに説明変数を与えたときの目的変数の値が必要になりますが、これはpredictメソッドを用いることで可能になります。・y=ir.predict(x)コマンドで回帰直線をプロットします。グラフ描画指示はplt.plotコマンドを使用してください。（29行）

import numpy as np
import matplotlib.pyplot as plt
from pandas import DataFrame
from sklearn import linear_model, datasets
%matplotlib inline
boston =datasets.load_boston()
boston_df = pd.DataFrame(boston.data, columns = boston.feature_names)
boston_df['MEDV'] = boston.target

from sklearn.linear_model import LinearRegression
lr = LinearRegression()

X = boston_df[['RM']].values
Y = boston_df['MEDV'].value

lr.fit(X, Y)
boston_df[['RM','MEDV']].corr()

from sklearn.linear_model import LinearRegression
lr = LinearRegression()

X = boston_df[['RM']].values
Y = boston_df['MEDV'].value

lr.fit(X, Y)

plt.scatter(X, Y, color = 'r')         # 説明変数と目的変数のデータ点の散布図をプロット
plt.plot(X, lr.predict(X), color = 'b') # 回帰直線をプロット
plt.title('Regression Line')               # 図のタイトル
plt.xlabel('R') # x軸のラベル
plt.ylabel('MEDV')    # y軸のラベル
plt.grid()                                 # グリッド線を表示
plt.show()                                 # 図の表示