Projectの作成

はじめに

この記事では、Project について記載をしています。Project を新規に作成したあと、メンバーの管理や効果的なレビューの方法についての手順を説明していきます。

概要

Project は、アノテーションされたデータセットを格納しておく場所です。プロジェクトは個別にカスタマイズできるので、状況に応じた Project を作成するとより効率的なアノテーション作業を実現できます。

Project の新規作成

新規 Project の作成手順は、以下の通りです。

最上位の【Project】ページで【+ New project】を選択
Project に名前を付け、説明を入力し（オプション）、アノテーションするデータの種類を選択
Quality の設定

Benchmark：これらデータが一度だけラベリングされるときに選択します。後述の Benchmark 機能を使うと、特定のデータをゴールドスタンダードとして設定でき、他のラベリングとのパフォーマンスの比較ができます。
Consensus：各データに対して複数の作業者による複数回のアノテーションが必要な場合に選択

Batch の作成

Project に送信するアノテーション用のデータの Batch を作成します。

Overview の画面から、【Queue data for labeling】をクリック
Catalog に移動し、Data Row を一括して選択し、設定中のプロジェクトに送信
1. ここでは、データセットを検索し、Batch に追加するデータを選択できます。
【Send n data rows】をクリックすると、Batch が作成されます。

Batch データの送信

次に、作成した Batch を Project に送信します。

Batch に名前を付け、Data row の優先順位を割り当て
【Submit batch】をクリックして、この Batch を Project に送信

Editor を構成

最後に、Project で使用するアノテーションインターフェイス（Editor）を選択します。標準の Editor は基本となるラベリングインターフェースで、アノテーションツールと QA ツールを備えており、通常はこちらの使用が推奨されています。こちらを選択するには、【Select and setup】ボタンを押します。

しかし、独自の Editor を利用したい場合には、Custom Editor を選択してください。【Create】ボタンを押すと作成できます。

どちらの Editor を使用するにしても、Ontology の作成または選択が必要になります。

これらの手順が終了すると、Project 画面にて【Start labeling】ボタンが有効になり、アノテーションが行えるようになります。

プロジェクトメンバーの管理

プロジェクトにメンバーを追加する

アノテーション、レビュー、管理のためにメンバーにプロジェクトへのアクセス権を与えるには、2 つの方法があります。

メンバーページで組織全体のロールを与える
- メンバーに Admin、Team Manager、Reviewer、Labeler のロールが与えられている場合、そのロールを持つ組織内のすべてのプロジェクトにアクセスすることができるようになります。
プロジェクトベースのアクセス権を持つメンバーに対して、プロジェクトアクセス権を手動で割り当てる
- メンバーがどのプロジェクトにアクセスできるか、また各プロジェクトでどのような役割を持つかを管理するための特別なロールです。

グループをプロジェクトに追加する

プロジェクトにグループを追加するには、「Setting」>「Member」に移動し、「Manage group」ボタンをクリックします。ポップアップする新しいモジュールで、このプロジェクトに割り当てるべきグループを選択することができます。

メンバーを追加する

次の手順に従って、1 人以上の新しいメンバーを組織に追加します。

ワークスペースの [Setting] の Member タブに移動し、【Add member to proect】をクリック
新しいメンバーの電子メールアドレスを入力
メンバーに組織またはプロジェクトベースのロールを割り当てる
- 組織レベルでメンバーにロールを設定すると、そのユーザーはそのロールとして組織内のすべてのプロジェクトにアクセスできるようになります。
- プロジェクトレベルでメンバーにロールを設定すると、特定のプロジェクトに対するメンバーのパーミッションを設定できます。プロジェクトベースのロールを割り当てられたメンバーは、そのロールが具体的に割り当てられたプロジェクトにのみアクセスできるようになります。

Quality の設定

Quality は、アノテーションの品質を保つための機能で、Issues と Comments が利用できます。

一般的な使用方法

アノテーターがあるアセットにアノテーションをします。
レビュアーがレビューし問題に気づいたときに、そのアセットに Issue を作成します。
アノテーターは、[issues] タブで自分が付与したラベルにある Issue を見つけることができます。その Isuue をクリックすると、そのデータに直接移動できます。
アノテーターは、問題を修正して解決するか、問題に対してコメントし、レビュアーからさらに明確な情報を得るように問いかけます。

Issue の作成

エディター画面の左上にある [Issue] アイコンをクリックしてツールを起動します。
Issue を適用したい画像の部位をクリックします。
右側に表示されるテキストボックスに Issue の内容（問題の説明、注釈に関する質問など）を入力します。
【Create issue】ボタンをクリックして、Issue を作成します。

すべての Issue の表示

プロジェクトを選択し、【Issue】タブに移動します。 [All]、[Open]、[Resolved]から、Issue を状態別に絞り込んで表示させることができます。

Issue へのコメントの作成

[Issue] タブを開き、Issue を選択するか、エディターで【Issue】をクリックします。
返信テキストボックスに、Issue に対する回答を入力します。
【Submit】ボタンを押して、コメントを作成します。

Issue の編集、解決、削除

Issue 上で右上のパンくずリストメニューをクリックします。
Issue／コメントの内容を変更するには「Edit」、クローズするには「Resolve」、完全に削除するには「Delete」を選択します。
- 上記の操作できる範囲は、権限によって異なります。

Benchmark

Benchmark は、アノテーションされたデータを「ゴールドスタンダード」として指定し、そのデータと他のすべてのアノテーションを自動的に比較する機能です。

設定方法

Project を作成するか、既存の Project を選択
Label タブから、Benchmark として設定したいデータのコンテキストメニューをクリックし、【 Add as Benchmark.】をクリック
Benchmrak のアノテーションには、金色の星マークが表示。View Results をクリックすると、そのベンチマークラベルに関連する全てのラベルが表示されます。

まとめ

Labelbox では、Project 機能を使うことで、メンバーの管理および役割の振り分けやレビュー方法も設定などアノテーション作業全体を管理できます。また、Benchmark により他のアノテーションとの比較もできるようになります。これらの機能を適切に利用することで、効率よくアノテーション作業をすすめていくことができます。