Meltanoのコマンドについて

Meltano のコマンドについて

この記事では、Meltano のコマンドついて紹介します。

add

meltano.addはプラグインをプロジェクトに追加するコマンドです。以下の流れの動作をします。

1. Meltano Hubにあるプラグイン定義を参照
2. プラグインをmeltano.ymlファイルのpluginsセクションに追加
3. プラグイン定義を./pluginsディレクトリに保存
4. meltano installを使用してプラグインをインストール

meltano installコマンドとは異なり、meltano addコマンドは依存関係の欠落を回避するためにプラグインを連続的にインストールします。例えば、meltano add transformerは dbt プラグインを最初にインストールするように要求します。

meltano add 例

$ meltano add extractor tap-github

$ meltano add loader target-bigquery

$ meltano add transformer dbt-redshift

elt

meltano eltは ELT パイプラインを実行するコマンドです。

各 ELT パイプラインは増分レプリケーションのステートを保存し、参照するための State ID を持っています。そのため、同じ E・L・T の組み合わせで後続のパイプラインを実行すると、前回の実行で中断したところからすぐに再開することができます。安定した識別子が--state-idフラグまたは環境変数MELTANO_STATE_IDを使用して提供されない場合、データ抽出は常にゼロから始まり、現在の日付と時刻を使用して一度限りの State ID が自動生成されます。このコマンドで生成された出力は、.meltano/logs/elt/{state_id}/{run_id}/elt.logに記録されます。run_idは自動生成される UUID です。

パラメータ

• --state-id
  • 増分レプリケーションのステートを保存したり検索する際の関連 ELT を識別
• --transform:run
  • Transform を実行
• --transform:skip
  • Transform をスキップ（デフォルト）
• --transform:only
  • E・L をスキップして Transform を実行
• --full-refresh
  • 以前のステートを無視してフルリフレッシュで実行
• --force
  • 新規の実行
• --state
  • State ID に基づいて状態を検索する代わりに Extractor にステートファイルを手動で提供
• --dump
  • 実際にパイプラインを実行する代わりにパイプライン固有の生成ファイルの内容をダンプ

meltano elt 例

$ meltano elt tap-gitlab target-postgres --transform=run --state-id=gitlab-to-postgres

$ meltano elt tap-gitlab target-postgres --state-id=gitlab-to-postgres --full-refresh

$ meltano elt tap-gitlab target-postgres --state extract/tap-gitlab.state.json

$ meltano elt tap-gitlab target-postgres --state-id=gitlab-to-postgres --dump=state > extract/tap-gitlab.state.json

install

meltano installはmeltano.ymlファイルに基づいてプロジェクトの依存関係をインストールするコマンドです。引数を指定すると特定のプラグインのみがインストールされます。また、meltano installを続けて実行するとプラグインがすでに存在する場合は最新バージョンにアップグレードされます。

パラメータ

• --include-related
  • インストールされた Extractor に関連した Transformer を自動インストール
• --clean
  • プラグインを完全にアンインストールして再インストール
• --parallelism
  • 並行してインストールするプラグイン数（デフォルトはマシンの CPU 数）を制御
  • --parallelism=1にするとプラグインを一つずつインストール

meltano install 例

$ meltano install

$ meltano install extractors
$ meltano install extractor tap-gitlab
$ meltano install extractors tap-gitlab tap-adwords


$ meltano install --include-related

$ meltano install --parallelism=16
$ meltano install --clean

run

meltano runは一連のコマンドブロックを直列に実行するコマンドです。例えば、meltano run foo_tap bar_target hoge_targetと指定すると左から右に順に実行されます。どのブロックでも失敗すると実行全体が中断されます。

アクティブな環境が定義されている場合は、State ID が各 Extractor/Loader ペアに自動生成され、システムデータベース内の増分レプリケーションのステートを保存して検索に利用されます。そのため、同じ Extractor と Loader の組み合わせで次回実行する場合、前回の実行が終了したところから開始することができます。生成される ID の形式は、<environment_name>:<tap_name>-to-<target_name>です。なお、環境がアクティブでない場合、meltano runは State ID を生成せず、ステートを追跡しません。

公式ドキュメントでは、ELT を含むクロスプラグインのワークフローを自由に組み合わせる方法で実行するには、meltano eltよりもmeltano runコマンドを推奨しています。

パラメータ

• --dry-run
  • 実行せず、呼び出しを解析・検証・説明
• --no-state-update
  • 呼び出しのステート保存を無効化
• --full-refresh
  • 以前のステートを無視してフルリフレッシュで実行
• --force
  • 同じ生成 ID の競合ジョブが進行中であってもジョブを強制的に実行

meltano run 例

# パイプラインを直列に実行し
# 最初のELペアの自動生成IDは 'dev:tap-gitlab-to-target-postgres'
# 2つ目のELペアの自動生成IDは'dev:tap-salesforce-to-target-mysql'
$ meltano --environment=prod run tap-gitlab target-postgres tap-salesforce target-mysql

# パイプラインを直列に実行し、フルリフレッシュ実行
$ meltano --environment=stg run --full-refresh tap-gitlab target-postgres tap-salesforce target-mysql ...

# パイプラインを直列に実行し、強豪ジョブが発見された場合はそれぞれを強制実行
$ meltano --environment=dev run --force tap-gitlab target-postgres tap-salesforce target-mysql ...

job

meltano jobは一つまたは複数のタスクの順序を定義するコマンドです。meltano runにジョブ名を引数に渡すことで指定したジョブを実行することができます。

meltano job 例

# 2つのタスクがあるジョブ"simple-demo"を追加
# Task 1: tap-gitlab target-mysql dbt-postgres:run
# Task 2: tap-gitlab target-csv
$ meltano job add simple-demo --tasks "[tap-gitlab target-postgres dbt-postgres:run, tap-gitlab target-csv]"

# ジョブ"simple-demo"をリストアップ
$ meltano job list simple-demo --format=json

# ジョブ"simple-demo"を実行
$ meltano run simple-demo

# ジョブ"simple-demo"と他のELペアを実行
$ meltano run simple-demo tap-mysql target-bigquery

# ジョブ"simple-demo"を削除
$ meltano job remove simple-demo

schedule

meltano scheduleは定期的に実行される ELT やジョブのパイプラインを定義するコマンドです。Orchestrator プラグインのインストールが必要になります。

meltano schedule 例

# ジョブ"gitlab-to-mysql"を毎日実行するスケジュール"gitlab-sync"を追加
$ meltano schedule add gitlab-sync --job gitlab-to-mysql --interval "@daily"

# スケジュール"gitlab-sync"をドライラン
$ meltano schedule run gitlab-sync --dry-run

# スケジュール"gitlab-sync"のジョブを"gitlab-to-postgres"に変更
$ meltano schedule set gitlab-sync --job gitlab-to-postgres

# スケジュール"gitlab-sync"のスケジュールを週に変更
$ meltano schedule set gitlab-sync --interval "@weekly"

参考

• Command Line

備考

Hakky ではエンジニアを募集中です！まずは話してみたいなどでも構いませんので、ぜひお気軽に採用ページからお問い合わせくださいませ。