Cloud ComposerをTerraformで作成する方法（Version2対応）

この記事では、Cloud Composer を Terraform で構築する方法を紹介します。Cloud Composer は現状 Version1 と Version2 の両方のバージョンが存在しております。この記事では、Version2 の方を使って構築します。

この記事の読者

基本的には以下の方を対象に書いております。

Terraform の基本がわかっている
Cloud Composer を使ったことがある

もし Terraform の使い方がわからない場合は、こちらの記事などを参考にしてください。

Terraform の書き方

早速ですが、Terraform の書き方は以下の通りです。

ファイル構成

provider の設定などの基本的なところは飛ばして、Cloud Composer を設定するにあたって必要なファイルのみをここでは記載します。

composer.tf
variables.tf

variables.tf

まず、変数の定義ですが、Cloud Composer のバージョンや Workload の Config などを定義しています。ここの設定で Cloud Composer の料金なども変わってくるので、小規模なデータパイプラインの構築などであれば、大きなスペックは必要ないと思いますので、小さいサイズを設定することを推奨します。

variable "project" {
  type    = string
  default = "hakky-sample-project"
}

variable "region" {
  type    = string
  default = "asia-northeast1"
}

variable "app_name" {
  type    = string
  default = "hakky"
}

variable "composer" {
  default = {
    image_version = "composer-2.0.0-airflow-2.1.4"
    navbar_color  = "#330099"
    workloads_config = {
      scheduler = {
        cpu        = 1
        memory_gb  = 2
        storage_gb = 2
        count      = 1
      }
      web_server = {
        cpu        = 1
        memory_gb  = 2
        storage_gb = 2
      }
      worker = {
        cpu        = 1
        memory_gb  = 4
        storage_gb = 4
        min_count  = 1
        max_count  = 4
      }
    }
    environment_size = "ENVIRONMENT_SIZE_SMALL"
  }
}

variable "composer_roles" {
  type = set(string)
  default = [
    "roles/composer.worker",
    "roles/composer.admin",
    "roles/bigquery.admin",
    "roles/secretmanager.secretAccessor",
    "roles/cloudsql.admin"
  ]
}

composer.tf

次に、Composer の設定です。先程定義した変数を使い、次のように定義します。

resource "google_composer_environment" "main" {
  provider = google-beta
  project  = var.project
  name     = var.app_name
  region   = var.region

  config {

    node_config {
      service_account = google_service_account.composer.name
    }

    software_config {
      image_version = var.composer.image_version
      airflow_config_overrides = {
        api-auth_backend                         = "airflow.composer.api.backend.composer_auth"
        api-composer_auth_user_registration_role = "Op"
        core-dags_are_paused_at_creation         = "True"
        webserver-navbar_color                   = var.composer.navbar_color
      }
      pypi_packages = {
        pandas = ">=1.2.4"
      }
    }

    workloads_config {
      scheduler {
        cpu        = var.composer.workloads_config.scheduler.cpu
        memory_gb  = var.composer.workloads_config.scheduler.memory_gb
        storage_gb = var.composer.workloads_config.scheduler.storage_gb
        count      = var.composer.workloads_config.scheduler.count
      }
      web_server {
        cpu        = var.composer.workloads_config.web_server.cpu
        memory_gb  = var.composer.workloads_config.web_server.memory_gb
        storage_gb = var.composer.workloads_config.web_server.storage_gb
      }
      worker {
        cpu        = var.composer.workloads_config.worker.cpu
        memory_gb  = var.composer.workloads_config.worker.memory_gb
        storage_gb = var.composer.workloads_config.worker.storage_gb
        min_count  = var.composer.workloads_config.worker.min_count
        max_count  = var.composer.workloads_config.worker.max_count
      }
    }
    environment_size = var.composer.environment_size
  }

  lifecycle {
    ignore_changes = [
      config[0].software_config[0].env_variables
    ]
  }

  depends_on = [
    google_project_iam_member.composer
  ]
}

resource "google_service_account" "composer" {
  project      = var.project
  account_id   = "${var.app_name}-composer-env-account"
  display_name = "Service Account for Cloud Composer Environment"
}

resource "google_project_iam_member" "composer" {
  for_each = var.composer_roles
  project  = var.project
  role     = each.value
  member   = "serviceAccount:${google_service_account.composer.email}"
}

Cloud Composer のサービスアカウントなどは、権限をそのまま書くと冗長になるので、 for_each を使って書いています。

Cloud Composer 構築の際の手順

Terraform は用意できたのですが、これをそのまま apply しても動作しません。次のような手順を通して、Terraform の apply を実行します。

各種 API の有効化（ちょっとここは自信がないです）
1. Cloud Composer API
2. Compute Engine API
3. Kubernetes Engine API
${project_number}-compute@developer.gserviceaccount.com に Editor 権限を付与
service-${project_number}@cloudcomposer-accounts.iam.gserviceaccount.comに以下の権限を付与
1. Cloud Composer API Service Agent
2. Cloud Composer v2 API Service Agent Extension
3. Environment and Storage Object Administrator
tfstte のバケットを作成して、設定する
terraform init
terraform plan
terraform apply

以上で Terraform 経由で Cloud Composer を作成することができます。