執筆者：Hakky AI
Pythonで非線形回帰分析｜基底展開法とKernel Ridgeを徹底解説
- 非線形回帰は複雑なデータ構造を分析する上で不可欠な手法であり、基底展開法とKernel Ridge Regressionを解説。
- Pythonのライブラリ(NumPy, Pandas, Scikit-learn)を使用し、非線形回帰分析の全プロセスを実行可能。
- R^2スコアはモデルの適合度を測る指標だが、非線形モデルでは限界があるため、他の指標と組み合わせる必要あり。
はじめに
本記事では、Pythonを用いた非線形回帰分析について解説します。非線形回帰は、線形関係では捉えられない複雑なデータ構造を分析する上で不可欠な手法です。
ここでは、基底展開法とKernel Ridge Regressionという二つの主要なアプローチに焦点を当て、それぞれの理論的背景、Pythonでの実装方法、そしてモデルの評価について詳細に解説します。
R^2スコアを用いてモデルの性能を評価する方法についても掘り下げ、読者が実際に非線形回帰分析を実践できるようになることを目指します。
非線形回帰分析の基礎
非線形回帰分析は、線形回帰では捉えられない複雑なデータ構造を分析するための重要な手法です。本セクションでは、非線形回帰分析の基本的な概念と、Pythonで利用できる主要なライブラリについて解説します。
非線形データの特徴
非線形データは、変数間に関数的な線形関係が成立しないデータ構造を持ちます。これは、データの変動が直線的なパターンに従わないことを意味し、従来の線形モデルではその複雑性を捉えきれません。
例えば、株価の変動、生物の成長曲線、化学反応の速度変化などは、典型的な非線形データです。これらのデータは、多項式、指数関数、対数関数など、より複雑な関数を用いてモデル化する必要があります。
非線形データを可視化することは、その背後にあるパターンを理解する上で非常に重要です。散布図や3Dプロットを用いることで、データが示す非線形な傾向を視覚的に捉え、適切なモデルを選択するための手がかりを得ることができます。
データの可視化を通じて、線形モデルでは捉えられないデータの複雑さや、モデル選択の方向性を把握することが、非線形回帰分析の成功に不可欠です。非線形データに対する適切なアプローチを選択するためにも、可視化は重要なステップとなります。
Pythonにおける非線形回帰分析のライブラリ
Pythonは、非線形回帰分析をサポートする豊富なライブラリを提供しており、中でもNumPy、Pandas、Scikit-learnは不可欠です。
NumPyは、数値計算を効率的に行うための基盤となるライブラリであり、多次元配列の操作や数学関数を提供します。
Pandasは、データ分析を容易にするためのライブラリであり、データフレームという強力なデータ構造を提供します。これにより、データの読み込み、整理、加工が容易になります。
Scikit-learnは、機械学習アルゴリズムを幅広く提供するライブラリであり、非線形回帰モデルの実装に利用できます。例えば、多項式回帰、Kernel Ridge RegressionなどをScikit-learnを用いて実装できます。
これらのライブラリを組み合わせることで、データの準備からモデルの構築、評価まで、非線形回帰分析の全プロセスをPythonで実行できます。
NumPyでデータを数値計算に適した形式に変換し、Pandasでデータを整理・加工し、Scikit-learnで非線形回帰モデルを構築するという流れが一般的です。
| ライブラリ | 概要 | 主な機能 |
|---|---|---|
| NumPy | 数値計算ライブラリ | 多次元配列の操作、 数学関数 |
| Pandas | データ分析ライブラリ | データフレームによる データ整理・加工 |
| Scikit-learn | 機械学習ライブラリ | 非線形回帰モデルの実装 (多項式回帰、Kernel Ridge Regressionなど) |
基底展開法による非線形回帰
基底展開法は、非線形回帰分析において、非線形な関係性を捉えるために用いられる手法であり、基底関数を用いてモデルを構築します。適切な基底関数を選択することで、複雑なデータ構造を効果的に表現できます。
基底展開法の仕組み
基底展開法は、非線形回帰モデルにおいて、非線形な関係性を捉えるために基底関数と呼ばれる既知の非線形関数とパラメータベクトルの線型結合を使用します。基底関数には、多項式基底、ガウス基底、シグモイド基底など様々な種類があり、それぞれ異なる特徴を持っています。
| 基底関数 | 特徴 | 例 |
|---|---|---|
| 多項式基底 | 多項式関数を用いて非線形性を表現 | 4次の多項式基底: 1, x, x^2, x^3, x^4 |
| ガウス基底 | ガウス関数を用いて局所的な非線形性を表現 | - |
| シグモイド基底 | - | - |
多項式基底は、多項式関数を用いて非線形性を表現し、ガウス基底は、ガウス関数を用いて局所的な非線形性を表現します。例えば、4次の多項式基底は1, x, x^2, x^3, x^4といった基底関数を持ち、データに対してこれらの関数を適用することで、非線形な関係性を捉えることができます。
基底関数の選択は、データの性質やモデルの目的に応じて慎重に行う必要があり、不適切な基底関数を選択すると、モデルの精度が低下する可能性があります。基底展開法を用いることで、線形回帰モデルを拡張し、より複雑なデータ構造に対応できるようになります。
Pythonでの基底展開法の実装
Pythonでは、scikit-learnライブラリのPolynomialFeaturesクラスを用いることで、簡単に基底展開法を実装できます。PolynomialFeaturesクラスは、指定した次数までの多項式基底を生成し、線形回帰モデルと組み合わせることで、多項式回帰モデルを構築できます。
例えば、以下のコードは、2次の多項式基底を生成し、線形回帰モデルと組み合わせて、多項式回帰モデルを構築する例です。
from sklearn.preprocessing import PolynomialFeatures
from sklearn.linear_model import LinearRegression
poly = PolynomialFeatures(degree=2)
X_poly = poly.fit_transform(X)
model = LinearRegression()
model.fit(X_poly, y)
このコードでは、PolynomialFeatures(degree=2)によって2次までの多項式基底が生成され、fit_transformメソッドによって、入力データXが多項式基底に変換されます。その後、LinearRegressionクラスを用いて線形回帰モデルを構築し、変換されたデータX_polyと目的変数yを用いてモデルを学習させます。
このように、PolynomialFeaturesクラスと線形回帰モデルを組み合わせることで、簡単に多項式回帰モデルを実装できます。
パラメータ推定：最小二乗法と最尤法
基底展開法を用いた非線形回帰モデルでは、パラメータを推定するために、最小二乗法や最尤法が用いられます。最小二乗法は、モデルの予測値と実際の値との二乗誤差を最小化するようにパラメータを推定する方法です。
一方、最尤法は、データが与えられたときに、そのデータが発生する確率を最大化するようにパラメータを推定する方法です。最小二乗法は、誤差が正規分布に従うという仮定の下で、最尤法と等価になります。
例えば、以下のコードは、最小二乗法を用いて多項式回帰モデルのパラメータを推定する例です。
from sklearn.linear_model import LinearRegression
model = LinearRegression()
model.fit(X_poly, y)
このコードでは、LinearRegressionクラスを用いて線形回帰モデルを構築し、fitメソッドによって、入力データX_polyと目的変数yを用いてモデルを学習させます。fitメソッドは、内部で最小二乗法を用いてパラメータを推定します。最尤法を用いる場合は、より複雑なモデルが必要となる場合があります。
Kernel Ridge Regressionによる非線形回帰
Kernel Ridge Regression（KRR）は、カーネル法を用いて線形回帰を非線形問題へと拡張する強力な手法です。適切なカーネル関数を選択し、モデルのパラメータを調整することで、複雑な非線形関係を捉えることが可能になります。
Kernel Ridge Regressionの理論
Kernel Ridge Regressionは、カーネルトリックを利用することで、高次元空間での線形回帰を効率的に実現します。カーネルトリックとは、元の特徴空間での内積を、高次元空間での内積に置き換えることで、計算コストを抑えつつ非線形性を導入する手法です。
代表的なカーネル関数には、線形カーネル、多項式カーネル、RBF（放射基底関数）カーネルなどがあります。RBFカーネルは、ガウス関数を用いており、データ点間の距離に基づいて類似度を計算します。これにより、複雑な非線形パターンを捉えることができます。
また、KRRには正則化項が組み込まれており、モデルの複雑さを制御し、過学習を防ぐ役割を果たします。正則化パラメータ（alpha）を調整することで、モデルの汎化性能を最適化できます。alphaが大きいほど正則化が強まり、モデルはより単純になります。
Kernel Ridge Regressionは、サポートベクターマシン（SVM）と同様にカーネル法を利用しますが、KRRはすべての訓練データを使用するのに対し、SVMは一部のサポートベクターのみを使用するという違いがあります。このため、KRRは大規模なデータセットに対しても比較的効率的に学習できます。
| 手法 | データの使用 |
|---|---|
| Kernel Ridge Regression (KRR) | すべての訓練データを使用 |
| サポートベクターマシン (SVM) | 一部のサポートベクターのみを使用 |
PythonでのKernel Ridge Regressionの実装
Pythonでは、scikit-learnライブラリのKernelRidgeクラスを用いて、Kernel Ridge Regressionを簡単に実装できます。
まず、必要なライブラリをインポートします。
from sklearn.kernel_ridge import KernelRidge
次に、KernelRidgeオブジェクトを作成し、カーネル関数や正則化パラメータなどのハイパーパラメータを設定します。
krr = KernelRidge(kernel='rbf', alpha=0.1)
ここでは、RBFカーネルを使用し、正則化パラメータalphaを0.1に設定しています。RBFカーネルは、非線形回帰において優れた性能を発揮することが多いため、よく用いられます。
モデルをデータに適合させるには、fitメソッドを使用します。
krr.fit(X, y)
ここで、Xは訓練データの入力特徴、yは対応するターゲット変数です。
学習済みモデルを用いて予測を行うには、predictメソッドを使用します。
y_pred = krr.predict(X_test)
ここで、X_testはテストデータの入力特徴、y_predは予測されたターゲット変数です。Kernel Ridge Regressionの実装は、scikit-learnを用いることで非常に簡単に行うことができます。RBFカーネルの適用例を示すことで、読者は具体的な実装イメージを持つことができます。
ハイパーパラメータのチューニング
Kernel Ridge Regressionの性能は、ハイパーパラメータの設定に大きく依存します。特に、正則化パラメータalphaとカーネル関数のパラメータ（RBFカーネルの場合はgamma）の調整が重要です。
alphaは、モデルの複雑さを制御するパラメータであり、大きすぎると過小適合、小さすぎると過学習を引き起こす可能性があります。最適なalphaの値は、データの特性によって異なるため、交差検証を用いて探索する必要があります。
scikit-learnのGridSearchCVクラスを用いることで、グリッドサーチと交差検証を簡単に行うことができます。
from sklearn.model_selection import GridSearchCV
param_grid = {'alpha': 0.01, 0.1, 1.0, 10.0}
grid_search = GridSearchCV(KernelRidge(kernel='rbf'), param_grid, cv=5)
grid_search.fit(X, y)
print(grid_search.best_params_)
ここでは、alphaの候補として0.01, 0.1, 1.0, 10.0を設定し、5分割交差検証を行っています。best_params_属性には、最適なハイパーパラメータの値が格納されます。ハイパーパラメータのチューニングは、モデルの性能を最大限に引き出すために不可欠なステップです。
モデルの評価：R^2スコア
非線形回帰モデルの評価において、R^2スコアはモデルの適合度を測る重要な指標です。しかし、非線形モデル特有の注意点も存在します。
R^2スコアの計算方法
R^2スコア（決定係数）は、回帰モデルがデータの変動をどれだけ説明できるかを示す指標です。scikit-learnライブラリのmetricsモジュールにあるr2_score関数を使用すると、簡単にR^2スコアを計算できます。以下に具体的なコード例を示します。
from sklearn.metrics import r2_score
y_true = target # 実測値
y_pred = clf.predict(data.reshape(-1, 1)) # 予測値
r2 = r2_score(y_true, y_pred)
print("R^2 スコア: {:.3f}".format(r2))
このコードでは、y_trueに実測値を、y_predにモデルによる予測値を入力します。r2_score関数は、これらの値からR^2スコアを計算し、その結果をr2変数に格納します。print関数を使って、計算されたR^2スコアを小数点以下3桁まで表示します。
R^2スコアは0から1の間の値をとり、1に近いほどモデルの適合度が高いことを意味します。例えば、R^2スコアが0.8の場合、モデルはデータの変動の80%を説明できると解釈できます。
ただし、R^2スコアが高いからといって、必ずしもモデルが優れているとは限りません。特に非線形回帰モデルでは、データの分布やモデルの複雑さによってR^2スコアの解釈が異なる場合があります。そのため、R^2スコアだけでなく、他の評価指標と組み合わせてモデルの性能を評価することが重要です。決定係数は、モデルがどれだけデータに適合しているかを定量的に評価するための重要なツールです。
R^2スコアの限界と注意点
R^2スコアは、モデルがデータの変動をどれだけ説明できるかを示す指標として広く使用されていますが、非線形モデルにおいてはその解釈に注意が必要です。
非線形モデルでは、R^2スコアが高くても必ずしもモデルが適切であるとは限りません。例えば、過学習が発生している場合、R^2スコアは高くなる傾向がありますが、未知のデータに対する予測性能は低いことがあります。
また、非線形データに対して線形モデルを適用した場合、R^2スコアが低くなることがありますが、これはモデルが不適切であるとは限りません。
非線形モデルの評価においては、R^2スコアだけでなく、残差プロットや他の評価指標（例えば、平均二乗誤差や平均絶対誤差）と組み合わせて総合的に判断することが重要です。
残差プロットは、予測値と実測値の差（残差）をプロットしたもので、残差にパターンが見られる場合は、モデルがデータの構造を十分に捉えられていない可能性があります。
過学習を避けるためには、モデルの複雑さを適切に調整する必要があります。例えば、正則化項を導入したり、交差検証法を用いて最適なハイパーパラメータを選択したりすることが有効です。
また、データセットを学習用と検証用に分割し、検証データに対する性能を評価することで、過学習の程度を把握することができます。
R^2スコアはあくまで一つの指標であり、非線形モデルの評価においては、その限界を理解した上で慎重に解釈する必要があります。モデルの選択やパラメータ調整においては、R^2スコアだけでなく、他の評価指標や可視化ツールを活用し、総合的な判断を行うことが重要です。
非線形回帰分析の実践例
このセクションでは、具体的なデータセットを用いて非線形回帰分析を実践する例を紹介します。データの準備からモデルの構築、評価までの一連の流れを解説し、非線形回帰分析の理解を深めます。
サンプルデータセットの作成
非線形回帰分析を実践するために、まずはサンプルデータセットを作成します。以下のPythonコードは、numpyとmatplotlibライブラリを使用して、非線形データ生成とその可視化を行います。
このデータセットは、基底展開法やKernel Ridge Regressionといったモデルの適用と評価に使用されます。true_func関数は、非線形な関係を定義し、np.random.randで生成されたデータに適用されます。ノイズを加えることで、より現実的なデータセットをシミュレートしています。可視化により、生成されたデータの特性を視覚的に確認できます。
import numpy as np
import matplotlib.pyplot as plt
def true_func(x):
z = 1 - 48 * x + 218 * x<b>2 - 315 * x</b>3 + 145 * x**4
return z
n = 100
data = np.random.rand(n).astype(np.float32)
data = np.sort(data)
target = true_func(data)
noise = 0.5 * np.random.randn(n)
target += noise
plt.scatter(data, target)
plt.ylabel('target')
plt.xlabel('data')
plt.grid()
plt.show()
このコードを実行すると、データとターゲットの関係を示す散布図が表示され、非線形回帰モデルの適用前のデータ特性を把握できます。データの準備は、モデルの性能に大きく影響するため、重要なステップです。
データの分布、ノイズの量、データの範囲などを考慮して、適切なモデルを選択する必要があります。
モデルの適用と評価
作成したサンプルデータセットに対して、基底展開法とKernel Ridge Regressionを適用し、モデルの性能を評価します。まず、基底展開法を適用するために、PolynomialFeaturesを使用してデータを多項式特徴量に変換します。
次に、LinearRegressionモデルを適用し、変換された特徴量に基づいてターゲット変数を予測します。Kernel Ridge Regressionでは、KernelRidgeクラスを使用し、rbfカーネルを指定してモデルを構築します。ハイパーパラメータalphaを調整することで、モデルの複雑さを制御し、過学習を防ぎます。
from sklearn.preprocessing import PolynomialFeatures
from sklearn.linear_model import LinearRegression
from sklearn.kernel_ridge import KernelRidge
import matplotlib.pyplot as plt
poly_features = PolynomialFeatures(degree=4, include_bias=False)
X_poly = poly_features.fit_transform(data.reshape(-1, 1))
poly_model = LinearRegression()
poly_model.fit(X_poly, target)
pred_poly = poly_model.predict(X_poly)
clf = KernelRidge(alpha=0.0002, kernel='rbf')
clf.fit(data.reshape(-1, 1), target)
pred_kridge = clf.predict(data.reshape(-1, 1))
plt.scatter(data, target, color='blue', label='data')
plt.plot(data, pred_kridge, color='orange', linestyle='-', linewidth=3, markersize=6, label='Kernel Ridge Regression')
plt.plot(data, pred_poly, color='green', linestyle='--', linewidth=3, markersize=6, label='Polynomial Regression')
plt.legend()
plt.show()
print("R^2 (Kernel Ridge):", clf.score(data.reshape(-1, 1), target))
print("R^2 (Polynomial):", poly_model.score(X_poly, target))
R^2スコアを計算し、モデルの性能を評価します。R^2スコアは、モデルがデータの変動をどれだけ説明できるかを示す指標であり、1に近いほど良い性能を示します。
基底展開法とKernel Ridge RegressionのR^2スコアを比較することで、どちらのモデルがより適切かを判断できます。可視化により、モデルの予測結果を視覚的に確認し、データの適合度を評価します。
おわりに
この記事では、Pythonを用いた非線形回帰分析について、基底展開法やKernel Ridge Regressionといった手法を解説しました。これらの手法を活用することで、より複雑なデータ構造を捉え、予測精度を高めることが可能です。
Hakkyでは、お客様のデータ活用を支援し、ビジネスの成長に貢献します。データ活用に関するお悩みがあれば、ぜひHakkyにご相談ください。専門家が最適なソリューションをご提案いたします。
