Meltano入門 | Hakky Handbook

Meltano とは

Meltano とは、Singerという技術による ELT パイプライン向けソフトウェアであり、ELT の EL を担当します。ELT の T の部分はdbtというツールで補い、ELT を実現します。Meltano は GitLab 社からスピンアウトして独立したプロジェクトとなりました。

インストール方法

ローカルにインストールする場合

最近の Linux や MacOS のバージョンであればサポートされていますが、Windows だとサポートされていないようです。Windows で Meltano を実行したい場合は Windows Subsystem for Linux（WSL）もしくは Docker を利用することになります。また、Python のバージョンは 3.7、3.8、3.9 のいずれかである必要があります。

まずはディレクトリを作成し、仮想環境を用意します。

$ mkdir meltano-local &amp;&amp; cd meltano-local
$ python -m venv venv
$ source venv/bin/activate
$ pip install --upgrade pip

Meltano をインストールします。

$ pip install meltano

Meltano のバージョンを確認します。

$ meltano --version

meltano, version 2.0.2

プロジェクトを作成します。

$ meltano init my_project

my_project ディレクトリが作成され、以下のようなファイルを確認することができます。

my_project/
   |-- .meltano
   |-- meltano.yml
   |-- README.md
   |-- requirements.txt
   |-- output/.gitignore
   |-- .gitignore
   |-- extract/.gitkeep
   |-- load/.gitkeep
   |-- transform/.gitkeep
   |-- analyze/.gitkeep
   |-- notebook/.gitkeep
   |-- orchestrate/.gitkeep

Docker コンテナを利用する場合

まずは Docker イメージをプルします。

$ docker pull meltano/meltano

Meltano のバージョンを確認します。

$ docker run meltano/meltano --version

meltano, version 2.0.2

プロジェクトを作成します。

$ mkdir meltano-docker &amp;&amp; cd meltano-docker
$ docker run -v "$(pwd)":/projects \
             -w /projects \
             meltano/meltano init my_project

my_project ディレクトリが作成され、以下のようなファイルを確認することができます。

my_project/
   |-- .meltano
   |-- meltano.yml
   |-- README.md
   |-- requirements.txt
   |-- output/.gitignore
   |-- .gitignore
   |-- extract/.gitkeep
   |-- load/.gitkeep
   |-- transform/.gitkeep
   |-- analyze/.gitkeep
   |-- notebook/.gitkeep
   |-- orchestrate/.gitkeep

以下のコマンドを実行して、http://localhost:5000 にアクセスすると、Meltano UI が利用可能になります。

$ docker run -v "$(pwd)":/project \
             -w /project \
             -p 5000:5000 \
             meltano/meltano

アップグレード方法

公式ドキュメントによると、Meltano は毎週新しいバージョンがリリースされるようです。最新のバージョンにするには、以下のコマンドを実行します。

$ meltano upgrade

プロジェクトを実行

以下、ローカル環境を用いて実行していきます。

まずは、ディレクトリ内のmeltano.ymlファイルを確認します。

$ cat meltano.yml

version: 1
default_environment: dev
project_id: <UUID>
environments:
- name: dev
- name: staging
- name: prod

コマンドを実行したり、meltano.ymlファイルを直接編集することのより、実行内容を定義していきます。

環境設定

以下のコマンドで環境の一覧を取得できます。デフォルトで dev 環境がアクティブとなっています。

$ meltano environment list

2022-06-15T23:31:35.498763Z [info     ] Environment 'dev' is active
dev
staging
prod

以下のコマンドで環境を変更することができます。

$ export MELTANO_ENVIRONMENT=staging

新しい環境を追加した場合は以下のコマンドを実行します。

$ meltano environment add <NEW ENVIRONMENT NAME>

プラグイン「Extractor」の追加

「Extractor」とは、データソースからデータを取得するプラグインです。以下のコマンドで Extractor で取得可能なデータソース一覧を確認することができます。

$ meltano discover extractors

meltano addコマンドにより Extractor プラグインを追加します。今回は tap-slack を追加します。

$ meltano add extractor tap-slack

Extractor リストにデータソースが存在しない場合は、データソースの Singer tap が存在するかどうかを確認し、存在する場合はcustom pluginを追加します。

meltano.ymlファイルにプラグインが追加されていることが確認されます。

plugins:
  extractors:
    - name: tap-slack
      variant: mashey
      pip_url: git+https://github.com/Mashey/tap-slack.git

以下のコマンドで追加した Extractor の利用方法を確認することができます。

meltano invoke tap-slack --help

Extractor コンフィグの設定

Extractor を実行するためにはコンフィグの設定が必要になります。以下のコマンドで項目を確認することができます。もしくはこちらで確認することができます。

$ meltano config tap-slack list

tap-slack の設定項目は以下のようになります。

項目	説明	デフォルト値
token	Your Slack API Token.	None
start_date	Determines how much historical data will be extracted.	None
channels	Optionally specify specific channels to sync.	None
private_channels	Specifies whether to sync private channels or not.	True
join_public_channels	Specifies whether to have the tap auto-join all public channels.	False
archived_channels	Specifies whether the tap will sync archived channels or not.	False
date_window_size	Specifies the window size for syncing certain streams.	7

以下のコマンドでチャネル ID を登録します。コマンドを実行するとmeltano.ymlファイルにチャネル ID が登録されます。

$ meltano config tap-slack set channeles '[YOUR CHANNEL ID]'

2022-06-16T01:17:39.634339Z [info     ] Environment 'dev' is active
Extractor 'tap-slack' setting 'channeles' was set in the active environment in `meltano.yml`: '[YOUR CHANNEL ID]'

以下のコマンドで API トークンを登録します。コマンドを実行すると.envファイルに API トークンが登録されます。

$ meltano config tap-slack set token <YOUR API TOKEN>

2022-06-16T01:22:33.764098Z [info     ] Environment 'dev' is active
Extractor 'tap-slack' setting 'token' was set in `.env`: 'YOUR API TOKEN'

以下のコマンドで start_date の設定をします。

$ meltano config tap-slack set start_date 2022-06-01T00:00:00Z

2022-06-16T01:31:49.016701Z [info     ] Environment 'dev' is active
Extractor 'tap-slack' setting 'start_date' was set in the active environment in `meltano.yml`: '2022-06-01T00:00:00Z'

抽出するデータの選択

コンフィグの設定が完了したら、抽出したいデータを選択します。以下のコマンドで抽出可能なデータの一覧を確認することができます。

$ meltano select tap-slack --list --all

抽出したいカテゴリを選択します。今回はカテゴリ「channels」配下にある全てのデータを取得するようにします。

$ meltano select tap-slack channels "*"

選択したデータを確認します。

$ meltano select tap-slack --list

プラグイン「Loader」の追加

「Loader」とは、ELT の「L」を行うためのプラグインです。以下のコマンドで追加可能な Loader 一覧を確認することができます。

$ meltano discover loaders

今回は Slack から抽出したデータを BigQuery にロードをします。以下のコマンドを実行して BigQuery の Loader を追加します。

$ meltano add loader target-bigquery

Loader リストにロード先が存在しない場合は、ロード先の Singer target が存在するかどうかを確認し、存在する場合はcustom pluginを追加します。

Loader コンフィグの設定

credentials_path を設定します。credentials_path とは、BibQuery へのアクセス権限があるサービスアカウントのクライアントシークレットファイルのフルパスです。例えば、~/meltano-local/my_project/client_secrets.jsonのようになります。

credentials path

$ meltano config target-bigquery set credentials_path <FULL/PATH/TO/CREDENTIAL FILE>

ロケーションを設定します。

$ meltano config target-bigquery set location asia-northeast1

project_id

$ meltano config target-bigquery set project_id <PROJECT ID>

最終的にmeltano.ymlファイルは以下のように定義されています。

$ cat meltano.yml

version: 1
default_environment: dev
project_id: 6e1e3687-a9eb-4c67-8be1-493b37cf4f5d
plugins:
  extractors:
  - name: tap-slack
    variant: mashey
    pip_url: git+https://github.com/Mashey/tap-slack.git
  loaders:
  - name: target-bigquery
    variant: adswerve
    pip_url: git+https://github.com/adswerve/target-bigquery.git@0.11.3
environments:
- name: dev
  config:
    plugins:
      extractors:
      - name: tap-slack
        config:
          channeles: '[<CHANNEL ID>]'
          start_date: '2022-06-01T00:00:00Z'
        select:
        - channels.*
      loaders:
      - name: target-bigquery
        config:
          credentials_path: <FULL/PATH/TO/CREDENTIAL FILE>
          location: asia-northeast1
          project_id: <Project ID>
- name: staging
- name: prod

EL パイプラインを実行

以下のコマンドにより EL パイプラインを実行します。

$ meltano run tap-slack target-bigquery

無事 Slack データを BigQuery に取り込むことができました。

参考

備考

Hakky ではエンジニアを募集中です！まずは話してみたいなどでも構いませんので、ぜひお気軽に採用ページからお問い合わせくださいませ。