Kaggleコンペ、ASHRAE - Great Energy Predictor IIIの概要

この記事では、Kaggle で行われた ASHRAE - Great Energy Predictor III の概要についてまとめます。

概要

ASHRAE - Great Energy Predictor IIIは Kaggle の"Featured Prediction Competition"（メダル、レート対象の一般的なコンペティション）の一つです。このコンペは期間中にデータのリークが発覚し、トラブルが起きたことで大変有名です。コンペの内容自体の特徴としては使用できる特徴量がそれほど多くない一方で、目的変数にノイズが大きく含まれていることがあげられます。そのため目的変数のノイズの前処理方法やアンサンブル学習を勉強するのに最適です。

課題

過去 3 年分のデータから将来のビルごとの電気、水道などの使用量（メーターの値）を予測

参加人数

計 3,614 チーム参加

コンペティション実施期間

• コンペティションオープン: 2019/10/16
• 提出締め切り: 2019/12/20

指標

予測精度は Root Mean Squared Logarithmic Error（RMSLE）で評価されます。具体的な式は以下の通りです。

$\mathrm{RMSLE}=\sqrt{\frac{1}{n} \sum_{i=1}^{n}\left(\log \left({Predict}_{i}+1\right)-\log \left({Actual}_{i}+1\right)\right)^{2}}$

データ

概要

• ビル ID× 予測項目 × 時間別のデータを使用します。
• 訓練期間は 2016-01-012016-12-31、予測期間は 2017-01-012018-03-31 です。
• ビルは全部で 1,449 件、メーターの予測項目は 4 種類です。
• ビルは全 16 のサイト（都市）に分かれています。
• 予測間隔は 1 時間ごとです。
• 追加の情報として、ビルの情報と、エリアの気象情報が利用可能です。

変数

• train.csv
  • building_id - ビル ID
  • meter - メーター項目の種類 （電気、水道、蒸気、温水）
  • timestamp - 日付
  • meter_reading - メーターの値
• building_meta.csv
  • site_id - エリア ID
  • building_id - ビル ID
  • primary_use - ビルの使用目的 (EnergyStar property type definitionsで定義されているビルの使用目的)
  • square_feet - 床面積
  • year_built - 築年数
  • floor_count - 階数
• weather_[train/test].csv
  • site_id - エリア ID
  • air_temperature - 気温
  • cloud_coverage - 雲量
  • dew_temperature - 露点温度
  • precip_depth_1_hr - 降水量
  • sea_level_pressure - 大気圧
  • wind_direction - 風向
  • wind_speed - 風速

本コンペのポイント

テストデータのリーク

• 一部のサイトの電力データが WEB 上に公開されていることが明らかになりました。
• 運営は Private Board のスコアの計算に上記のリークしているサイトは含めないようにして対応しました。
• しかし、データセットや Public Board のスコア計算方法は変更しなかったため、Public Board の大きなシェイクが起こりました。
• リークをまとめたノートブック

目的変数のノイズ

• 目的変数であるメーターの値にノイズがかなり含まれています。
• 例えばずっと 0 だった期間や異常に高い値や負の値などの異常値があります。
• 上位のスコアを出すためにはこれらのノイズを機械的にもしくは手動で抽出し、除去する必要がありました。
• 参考ノートブック 1
• 参考ノートブック 2

アンサンブル学習

• 近年の Kaggle コンペの中では特徴量の数が少なめになっています。
• また、目的変数にノイズが多く含まれていることから汎化性能も重要でした。
• そのため、上位陣は複数のモデルを組み合わせるアンサンブル学習を用いています。
• 例えば2 位のソリューションでは約 50 のモデルを組み合わせています。

まとめ

「Kaggle コンペ、ASHRAE - Great Energy Predictor III」は目的変数の異常値の処理の方法や多様なモデルでのアンサンブル学習の方法などが多く議論されました。そのためこれらのテクニックを勉強するのにおすすめです。