MeltanoのEnvironmentsについて

Meltano の Environments について

この記事では、Meltano の Environments について紹介します。

Meltano Environments

Meltano では、開発環境や本番環境に合わせて環境変数を管理したり切り替えたりすることができます。複数環境の定義はmeltano.ymlに記述され、以下のようになります。

environments:
  - name: prod
    config:
      plugins:
        extractors:
          - name: tap-github
            config:
              organizations: [Meltano]
            select: ["*.*"]
        loaders:
          - name: target-snowflake
            config:
              dbname: prod
              warehouse: prod_wh
              batch_size_rows: 100000
    env:
      SOME_PROD_ONLY_SETTING: abc
  - name: dev
    config:
      plugins:
        extractors:
          - name: tap-github
            config:
              organizations: [MeltanoLabs]
            select: ["repositories.*"]
        loaders:
          - name: target-snowflake
            config:
              dbname: dev
              warehouse: dev_wh
              batch_size_rows: 1000

環境の継承

同じベースのプラグインを異なる設定で複数利用したい場合は、既存のプラグインを継承した新しいプラグインを追加することができます。新しいプラグインはベースプラグインの設定を継承し、必要に応じて上書きすることができます。

meltano.yml

.
.
.
plugins:
  extractors:
  - name: tap-google-analytics
    variant: meltano
    config:
      key_file_location: client_secrets.json
      start_date: '2020-10-01T00:00:00Z'
  - name: tap-ga--view-foo
    inherit_from: tap-google-analytics
    config:
      # key_file_locationとstart_dateは継承される
      view_id: 123456
  - name: tap-ga--view-bar
    inherit_from: tap-google-analytics
    config:
      # key_file_locationは継承される
      start_date: '2020-12-01T00:00:00Z' # start_dateは上書きされる
      view_id: 789012

env マッピング

Meltano では、以下のように環境変数をマッピングすることができます。

environments:
  - name: dev
    env:
      MY_ENV_VAR: $MELTANO_PROJECT_ROOT/path/to/a/file.json

環境の有効化

CLI コマンドで--environmentオプションを追加するか、MELTANO_ENVIRONMENTを設定することで環境を指定することができます。

# CLIの場合
meltano --environment=dev run tap-github target-csv

# 環境変数の場合
export MELTANO_ENVIRONMENT=dev
meltano run tap-github target-csv

また、meltano.ymlファイルにdefault_environment: prodなどを記述することでデフォルトの環境を指定することができます。

参考

Meltano Environments

備考

Hakky ではエンジニアを募集中です！まずは話してみたいなどでも構いませんので、ぜひお気軽に採用ページからお問い合わせくださいませ。