BigQueryのフェデレーションクエリ

BigQuery のフェデレーションクエリ

この記事では、BigQuery のフェデレーションクエリについて紹介します。

フェデレーションクエリとは

フェデレーションクエリとは、Cloud SQL、Google Cloud Storage、Cloud Bigtable などの外部データソースを BigQuery に接続して、BigQuery にロードせずに BigQuery のクエリを実行する機能です。

BigQuery から Cloud SQL へフェデレーションクエリを実行

以下の流れで Cloud SQl のデータを BigQuery から参照することができます。

• BigQuery から Cloud SQL への接続の設定を行う
• BigQuery でEXTERNAL_QUERY関数を利用する

今回は、Cloud SQL に店舗マスタテーブル、BigQuery に売上テーブルがあり、BigQuery 上で両テーブルを結合したいという状況を想定します。

Cloud SQL から以下のような「sample-federation」と名付けたインスタンス（PostgreSQL）を作成します。

次に Cloud SQL に店舗マスタテーブルを作成します。Cloud Shell などを利用して「federation-db」と名付けたデータベース，「shops」と名付けたテーブルを作成します。そしてデータを追加します。

• Google Cloud SQL へのデータの読み込み

$ gcloud sql connect sample-federation --user=postgres --quiet

postgres=> CREATE DATABASE federation-db;
postgres=> \c federation-db;
federation-db=> create table shops (id int primary key,name varchar(10));
federation-db=> create table shops (id int primary key,name varchar(10));
federation-db=> NSERT INTO shops VALUES (1, 'Shop A'), (2, 'Shop B'), (3, 'Shop C'), (4, 'Shop D'), (5, 'Shop E');
federation-db=> select * from shops;
 id |  name
----+-----