LabelboxのCatalog機能の使い方まとめ

Labelbox の Catalog 機能の使い方まとめ

AI の構築には、非常に大規模な学習データを用います。学習データの管理は重要ですが、大規模であるため難しいという問題があります。 Labelbox では、この問題を解決するために、Catalog という機能を持っています。

Labelbox が目指すデータ管理

Labelbox は、以下の観点でデータを扱おうとしています。

膨大な非構造化データセットの管理と検索
データの可視化と探索
価値の高いデータの効率的なバッチキュレーション

Labelbox では、これらの作業を特別なコードを書くことなく、Catalog という機能で一元管理することでデータワークフローを合理化し、反復作業の高速化を実現します。

Catalog の機能

Catalog は、複数のソースからのさまざまな種類の非構造化データとメタデータをシンプルで強力に結合でき、UI で簡単に一元管理できることが最大の特徴です。具体的には、以下の機能があります。

AWS、GCP、Azure のアカウントに接続して、Labelbox のデータセットに安全に追加できる
複数のデータセットからデータを表示可能
メタデータ、プロジェクト、アノテーションなどの属性を使用してデータを検索できる
スキーマページでカスタムメタデータフィールドを管理・作成でき、メタデータフィールドを使ったデータのフィルタリングが可能

Catalog の使い方

Dataset の表示

Labelbox のページから [Catalog] を選択すると、Catalog に登録されているデータセットの一覧が表示されます。左側にデータセットごとのリストが表示されているので、簡単にデータセットを選択できます。

Dataset の作成

新規にデータセットを作成するには、画面左上の [New dataset] ボタンを押します。

表示される画面で、データをドラッグ＆ドロップするか、[Choose files to upload] ボタンを押してデータをアップロードします。最後にデータセットに名前を付けるとデータセットが作成されます。対応する画像データは、 PNG, JPEG, MP4, TXT, PDF, MP3, WAV, と Labelbox フォーマットの JSON ファイルです。

また、Python SDK を使って、データセットの作成もできます。画面右側にサンプルコードが表示されるため、これを使えば、簡単にデータセットを作ることが可能です。

例えば、My new dataset というデータセットを作成し、そこへ picsum から 2 枚の画像データを取得して、メタデータを付与して格納するコードは以下の通りとなります。


import labelbox
from labelbox.schema.data_row_metadata import DataRowMetadataField

# Enter your Labelbox API key here
LB_API_KEY = ""

# Create Labelbox client
lb = labelbox.Client(api_key=LB_API_KEY)

# Create a new dataset
dataset = lb.create_dataset(name="My new dataset")

# Create data payload
# External ID is recommended to identify your data_row via unique reference throughout Labelbox workflow.
my_data_rows = [
  {
    "row_data": "https://picsum.photos/200/300",
    "external_id": "uid_01"},
  {
    "row_data": "https://picsum.photos/200/400",
    "external_id": "uid_02"
  }
]

# You can add metadata fields to your data rows
metadata_ontology = lb.get_data_row_metadata_ontology()
for datarow in my_data_rows:
    datarow["metadata_fields"] = [
        DataRowMetadataField(
          schema_id=metadata_ontology.reserved_by_name["tag"], value="tag_string"
        )
    ]

# Bulk add data rows to the dataset
task = dataset.create_data_rows(my_data_rows)

task.wait_till_done()
print(task.status)

また、AWS, GCP, Azure のクラウドサービス、Labelbox Cloud と連携してデータを扱うことも可能です。

フィルタリング

Labelbox の最大の特徴は、強力なフィルタリング機能です。

下図のように、検索したいデータセットを左のリストから選択し、画面中央上のフィルタ欄をクリックします。
フィルタの候補が表示されます。フィルタリング仕様を入力するとリアルタイムに更新されます。

フィルタリングされたデータをクリックすると、その詳細を確認することができます。

バッチ

画像を束ねて新たにバッチを作ることもできます。アノテーションの単位をデータセットではなく、このバッチ単位にすることもできます。ある一定の画像をリサンプリングして増やしたりできますので、特定の画像の推論を強化した AI 用の学習データを用意することができます。

バッチを作るには、画像のフィルタリング時に、右上に表示される [sample] ボタンを押下します。

表示される画面で、サンプリング方式とサンプリング数を設定し、[Resample] ボタンでリサンプリングします。プロジェクトを選択し、バッチ名を入れ、右下の [Submit batch] ボタンでバッチを作ります。

まとめ

Labelbox では、どのソースからのデータも Catalog 機能で一元管理できますので、大規模データでも管理しやすくなっています。特にフィルタ機能が充実していますので、特定のデータに素早くアクセスでき、活用することが可能です。

参考

Labelbox (本家ページ) Catalog: The launchpad for managing and curating unstructured data