初回のアノテーション

はじめに

この記事では、Labelbox での初回のアノテーション作業について記載していきます。アノテーションするデータの準備と作業方法、レビューの手順を説明しています。まず初めに、アノテーションを管理するプロジェクトの準備を振り返り、実際のアノテーションの流れを示します。

アノテーションプロジェクトの準備

アノテーションを行うデータ等はプロジェクトで管理されます。その流れは、この Handbook の【アノテーションの準備】で示したとおり、以下のようになります。

ここでは、その流れを簡単に振り返ります。

学習用データの用意

学習用データは、Catalog で管理されます。その設定方法は、以下の 3 つがあります。それぞれの詳細な手順は、「Catalog の設定」にて記載があります。

Python SDK を使用する
JSON ファイルをアップロードする
データを直接アップロードする

Batch の作成

Batch を作成することでアノテーション作業を整理することができます。 Batch をプロジェクトに送信する詳細な手順は、「Project の作成」にて説明してあります。以下にその流れだけ示します。

Catalog に移動し、アノテーションする関連データにフィルターをかける
結果に必要なデータが表示されたら、【Select all】を選択する／バッチに含めるデータ行を手動で選択する。そのあと、【Add batch to project】を選択する
Batch 作成モーダルからプロジェクトを選択して Batch に名前を付け、１～５段階の【Data row priority】を選択する
【Submit batch】をクリックする
プロジェクトに移動して、アノテーションを開始する

初回のアノテーションをする

用意されたデータに対して、実際にアノテーションを行ってきます。アノテーションを行う具体的な手順は、以下の通りです。

アノテーションを行う Project を選択する
右上の【Start labeling】をクリックする
【TOOLS】に表示された Ontology を選択する
対象データにアノテーションを行う
完了したら右上の【SUBMIT】をクリックし、次のデータへ移る

レビュー

アノテーターが行ったアノテーションの結果が適切かどうか、レビュワーが確認する作業はアノテーションの品質を保つうえで非常に重要です。 Quality 機能を使うと、このレビューや評価を行うことができます。

Review Step の有効化

まず、以下の手順で Review Step を有効にします。

Project を選択する
【Settings】タブをクリックする
【Quality】をクリックする
【Review step】を ON にする。
Coverage を設定し、変更を確認するをクリックする
【Labels】タブに移動し、【Review labels】をクリックしてレビューモードに入る

レビューの実施

以下の手順に沿って、アノテーション結果のレビューをしていきます。

目的の Project を選択し、【Review labels】をクリックしてレビューモードに入る
アノテーションされたデータに対して、右上の【Good/Not Good】アイコンのいずれかを線選択し、レビューをしていく
Good を選択したデータは【Accepted labels】に、Not Good を選択したデータは【 Declined labes】のキューに入る

Issuue＆Comment を活用する

アノテーターとレビュワーがコミュニケーションをとりながら、作業を進めると品質を保ちつつアノテーション期間を短くできるため、効率的です。Issue と comment を使うと、この作業がスムーズにできます。アノテーターが問題があったり迷った部分があれば Issue をたててレビュワーに質問したり、既存の Isuue にアノテーターがリプライして理解を進めてからアノテーションしていく等の効率の良いアノテーションを行うことができます。

Issue の立て方の手順やリプライの方法については、「Project の作成」に記載があるとおりです。

パフォーマンス

アノテーションした数、アノテーションにかかった時間や効率、レビューの数などを確認することで、パフォーマンスを測定し、アノテーション作業の効率化に役立てることができます。確認方法は以下の通りです。

対象の Project を選択する
【Performance】を選択する

まとめ

初回のアノテーションの実施手順について説明しました。Project 内に準備されたデータにアノテーションをし、Quality 機能で評価とレビューを行います。適切なアノテーションとレビューを行うことで、高品質なアノテーションを実現できます。この初回のアノテーション後、モデル開発を行い、分析・評価をし、その結果を基に再度アノテーションを行うというプロセスが実施されます。