Meltano Transform とは？

Meltano の Transform について

Meltano は ELT 処理の EL の部分を担当します。ELT の T（Transform）の部分はdbtというツールで補います。こちらを参考に、Meltano の環境構築を行なった後、Meltano で dbt を利用し、Transform を実行していきます。

dbt をインストール

dbt をインストールします。まずは以下のコマンドでインストール可能な dbt を確認します。

$ meltano discover transformers

dbt-bigquery
dbt-postgres
dbt-redshift
dbt-snowflake
dbt

公式ドキュメントでは、dbtをインストールすることも可能ですが、dbt-redshiftなど特定の dbt プラグインをインストールすることを推奨しています。今回は dbt-bigquery を利用し、Transform を実行していきます。以下のコマンドで dbt-bigquery をインストールします。

$ meltano add transformer dbt-bigquery

dbt-bigquery のコンフィグ一覧を確認します。

$ meltano config dbt-bigquery list

または、以下の公式ドキュメントで確認することができます。

dbt BigQuery

以下の設定項目が確認されます。

項目	説明	デフォルト値
project_dir	Project path	'$MELTANO_PROJECT_ROOT/transform'
profiles_dir	Profile path	'$MELTANO_PROJECT_ROOT/transform/profiles/bigquery'
auth_method	"oauth", "oauth-secrets", or "service-account"	None
project	Project ID	None
dataset	Dataset	None
refresh_token	Refresh token if oauth-secrets method	None
client_id	Client ID if oauth-secrets method	None
client_secret	Client Secret if oauth-secrets method	None
token_uri	Token redirect URI	None
keyfile	Path to `keyfile.json`` if service-account method	None

project、dataset、auth_method、keyfileの設定を以下のコマンドで行います。（meltano.yml ファイルを直接編集することも可能です。）

$ meltano config dbt-bigquery set project "YOUR_PROJECT_ID"
$ meltano config dbt-bigquery set dataset "YOUR_DATASET"
$ meltano config dbt-bigquery set auth_method "service-account"
$ meltano config dbt-bigquery set keyfile "PATH/TO/YOUR/KEYFILE"

meltano.ymlファイルは以下のようになっています。

$ cat meltano.yml

.
.
.
environments:
- name: dev
  config:
    plugins:
      transformers:
      - name: dbt-bigquery
        config:
          project: YOUR_PROJECT_ID
          dataset: YOUR_DATASET
          auth_method: service-account
          keyfile: PATH/TO/YOUR/KEYFILE

dbt の処理を記述

現在、/transformディレクトリには以下のファイルが存在します。

$ ls /transform

dbt_project.yml
profile
models

こちらを参考に、/transform/models/ディレクトリに SQL を記述し、/transform/dbt_project.ymlファイルを任意で編集します。

dbt を実行

以下の２種類の方法で dbt を実行することが可能です。

ELT パイプラインとしてrunコマンドを実行
- meltano run tap-github target-bigquery dbt-bigquery:runなど
スタンドアローンとしてinvokeコマンドを実行
- meltano invoke dbt-bigquery run

また、meltano.ymlファイルを以下のように編集することにより、カスタムコマンドを作成することができます。

meltano.yml

.
.
.

plugins:
  transformers:
    - name: dbt-bigquery
      commands:
        my_models:
          args: run --select +YOUR_MODEL_NAME
          description: Run dbt, selecting model `YOUR_MODEL_NAME` and all upstream models.

$ meltano run tap-github target-bigquery dbt-bigquery:my_models
$ meltano invoke dbt-bigquery:my_models

dbt プロジェクトを別の git リポジトリから参照

これまで、/transform/ディレクトリに直接 dbt のコードを記述しましたが、/transform/ディレクトリにpackage.ymlファイルを作成し、以下のような記述をすることで meltano プロジェクトと dbt プロジェクトを切り離すことができます。

packages:
  - git: https://github.com/your_repo/your-dbt-project.git
    revision: 1.0.0

参考

備考

Hakky ではエンジニアを募集中です！まずは話してみたいなどでも構いませんので、ぜひお気軽に採用ページからお問い合わせくださいませ。