MLOpsの成熟度モデルについて【レベル0編】

MLOps の成熟度モデルについて

mlopsの成熟度モデルとは、MLOps の体制をレベルで表した指標です。MLOps においては成熟度によって概要、技術、文化などが異なります。はじめに、MLOps 成熟度モデルを紹介します。

MLOps 成熟度モデルには、以下の５つのレベルがあります。

レベル 0：手動プロセス
レベル 1：DevOps
レベル 2：自動トレーニング
レベル 3：モデルデプロイの自動化
レベル 4：MLOps の再トレーニングの完全自動化

MLOps においては、レベル 0 からレベル 4 まで順を追って成熟度を高めていくことが重要です。しかし、現実的には、レベル 0 にとどまる企業も多く存在します。レベル 0 ではまだ MLOps の導入が全く行われていない段階（No MLOps）を指します。

Step-by-step MLOpsから引用。

MLOps の成熟度モデル　レベル 0

レベル 0 の概要、技術、文化（組織文化）について解説します。

概要

機械学習モデルのライフサイクル全体を管理することは困難。
チームは別々でリリースは困難。
ほとんどのシステムはブラックボックス化しており、デプロイ時及びデプロイ後のフィードバッはほとんどなし。

技術

手動によるビルドとデプロイ。
モデル及びアプリケーションの手動によるテスト。
モデルパフォーマンスの追跡及び再学習は手動。

文化

まずはものを作り上げ、スモールスタートでプロジェクトを推進する。

MLOps の成熟度モデル　レベル 0 の課題

レベル 0 においては、以下のような課題が生じることがあります。

再現性

データサイエンティストごとに独自にカスタマイズした機械学習ツールやコード、python/R パッケージを使い学習モデルのジョブを作成しており、組織全体に共有されず学習モデルのジョブを再現することは非常に困難。
学習用データや特徴量データが組内全体で共有されずらい。
手動でデータ取得、特徴量データ作成を実施するため学習と推論時でモデルのパフォーマンスが乖離することがある。（トレーニング・サービングスキュー）

品質とセキュリティ

テストが設定されていない。
テストポリシーが組織横断的に設計されていない。
手作業によるプロセスが多いため人為的なエラーの可能性が高い
機械学習基盤及び成果物が管理されておらず、セキュリティ上の懸念がある。

スケーラビリティ

機械学習データソースが整備されておらず、学習データの取得に手作業が必要。
モデルの登録、モデルのバージョン管理、モデルのタグ付けなどが一元的に管理されないた作業コスト増。
手動でデプロイするためエンジニアの技術力に依存。

MLOps の成熟度モデルをレベル 0 からレベル 1 にするには

成熟度モデルのレベルを 0 から 1 にするには以下を実施する必要があります。

機械学習プラットフォームの整備

チーム、組織で共有の機械学習プラットフォームを利用していること

コードを集約するリポジトリホスティング環境の整備

github などのサービスを活用する

学習用データ収集を自動化

まとめ

MLOps の成熟度モデルは MLOps の体制をレベルで表した指標で、レベル 0 からレベル 4 まで順に成熟度を高めていくことが重要です。レベル 0 は MLOps の導入が全く行われていない段階で、手動によるビルド、デプロイ、テストなどが行われた状態のことを指します。

レベル 0 においては、再現性、品質とセキュリティ、スケーラビリティなどの課題が生じる可能性があり、組織全体で共有されないデータや手作業によるプロセスが多いため人為的なエラーが起こる可能性があります。
成熟度モデルをレべル１に改善するために、機械学習プラットフォームの整備、コードを集約するリポジトリホスティング環境の整備、学習用データ収集を自動化するなどの対策を実施しましょう。

参考文献

備考

Hakky では社内のデータ活用やサービスとしてデータ提供を行うためのソリューションを展開しております。

「社内のデータを一元管理し、よりデータドリブンな組織を構築したい」など具体的な相談はもちろんのこと、「どんなことをお願いできるのか知りたい」や「こんなことをやりたい」など、ご検討段階でも構いませんので、ぜひお気軽にフォームよりお問い合わせくださいませ。

MLOpsの成熟度モデルについて【レベル0編】