姿勢推定手法HRNetの概要まとめ

はじめに

本記事は姿勢推定の手法である HRNet とそれまでの手法についての概要を解説します。 これらはすべて人間を対象にした姿勢推定手法となっています。

HRNet 以前の手法

HRNet 以前の手法での基本的な考え方は特徴量を高 → 低 → 高解像度分解という流れで処理を行い、姿勢推定を行うものでした。

Stacked Hourglass Networks

砂時計のようなプーリング層とアップサンプリング層のステップで構成され、局所的な特徴量を抽出するだけでなく、最終的には画像全体の文脈も合わせて姿勢推定を行います。 この砂時計のようなモジュールを積み重ねているためこのような命名となっています。

モジュールの中では各解像度の特徴量をスキップさせて低解像度化で失われた空間情報を保持しています。

Simple Baselines

従来の手法は複雑なものだらけであったのに対し、非常にシンプルなアーキテクチャによって SoTA を達成したモデルです。

トップダウン処理（低解像度から高解像度への処理）の部分を逆畳み込み層にすることで、スキップ接続するアーキテクチャよりも優れたパフォーマンスを発揮しました。

HRNet の手法

従来の手法とは異なり、高解像度の特徴量を維持したアーキテクチャです。 メインである高解像度のルートとサブの低解像度化したルートがあり、それらのルートを何度も繰り返し混ぜ合わせることでマルチスケールな特徴量を作成し並列に処理していきます。

一般的なデータセットによる定量的評価

人間の姿勢推定において各 dataset についての精度比較表は以下の通りです。 従来の手法に比べてどちらも最高精度となっています。

COCO Dataset

MPII Dataset

参照

• Stacked Hourglass Networks for Human Pose Estimation
• 【2019 年版】姿勢推定モデルの最新動向について
• Deep High-Resolution Representation Learning for Human Pose Estimation

最後に

今回は HRNet について簡単に紹介しました。 こちらの手法については動物のデータセットである AnimalPose をはじめとした様々なデータセットに対する実装や学習済みモデルも存在しているため、姿勢推定における一種の基準となるような手法となっていると感じています。