troccoで並列処理を実行する方法

trocco で並列実行して実行時間を短縮する方法を紹介します。

特にループ実行と掛け合わせて使うと効果的です。ループ実行については、以下の記事を参照してください。

並列実行のパターン

転送ジョブやデータマート定義の並列定義はワークフローで設定することができます。

以下のような 2 つの転送ジョブと 1 つのデータマートシンクジョブのワークフローを例に紹介します。

ワークフローの中に組み込む転送ジョブやデータマートジョブなどの 1 個ずつの単位を「タスク」と呼びます。このワークフローは 3 つのタスクで構成されていることになります。

並列実行の粒度は 2 つ存在します。

1 つ目の「タスクの並列実行」は、複数のタスクを並列に実行することができます。 [データ転送]sample1と[データ転送]sample2を同時に実行することを指し、後続のデータマートシンクのキックまでの時間を短縮できます。

2 つ目は、「1 タスク内での並列実行」で[データ転送]sample1のループ処理の中での並列実行を指します。 [データ転送]sample1の 32 回のループを並列実行することで、このタスクの実行時間を短縮できます。

「タスクの並列実行」もしくは「タスクの並列実行 & 1 タスク内での並列実行」で設定することができます。

また、並列実行数の上限は全部まとめて 10 になり、この上限数は 1 タスク内での並列実行数も含まれます。

「タスクの並列実行」と「タスクの並列実行 & 1 タスク内での並列実行」のそれぞれの設定方法を紹介します。

ワークフロー全体の編集画面で「タスク同時実行上限数」を設定するだけで完了です。並列で実行可能なタスク数以上の設定にするだけで問題ないです。

まず、転送ジョブ/データマート定義で設定しなければならない項目があります。

転送ジョブでは、編集画面の STEP2 にて詳細設定>ジョブ設定から「並列でのジョブ実行を許可」をクリックしてください。

データマート定義では、編集画面の4.ジョブの起動設定から「並列でのジョブ実行を許可」をクリックしてください。

次にワークフロー全体の編集画面で「タスク同時実行上限数」を設定します。ここで設定する同時実行上限数がタスク数かつ各タスクでの並列実行数の合計数になります。

最後にフロー編集から、1 タスク内で並列したいタスクにてタスク編集>カスタム変数でループ実行>並列実行を ON にしてください。

これで設定は完了です。

並列実行は実行順序を保証しません。

タスクの実行順序はワークフローで定義している通りなので問題ないですが、 1 タスク内での並列実行をする場合は、ループ内の実行順序に影響がない処理にするよう注意してください。

備考

Hakky では社内のデータ活用やサービスとしてデータ提供を行うためのソリューションを展開しております。

「社内のデータを一元管理し、よりデータドリブンな組織を構築したい」など具体的な相談はもちろんのこと、「どんなことをお願いできるのか知りたい」や「こんなことをやりたい」など、ご検討段階でも構いませんので、ぜひお気軽にフォームよりお問い合わせくださいませ。