Cloud StorageのファイルをBigQuery Data Transfer Serviceを使ってBigQueryにインポートする方法方法

Cloud Storage のファイルを BigQuery Data Transfer Service を使って BigQuery にインポートする方法

この記事では、以下の手順で Cloud Storage ファイルを BigQuery Data Transfer Service 経由で BigQuery にインポートします。

1. Cloud Storage にデータを格納
2. BigQuery にデータセット、テーブルを作成
3. BigQuery Data Transfer Service を使って BigQuery にインポート
4. BigQuery 上でデータがインポートされたことを確認

Cloud Storage にデータを格納

https://storage.googleapis.com/data-insights-course/exports/products.csv より「products.csv」ダウンロードし、Cloud Storage に保存します。

BigQuery にデータセット、テーブルを作成

BigQuery のコンソール画面に行き、「sample」という名前のデータセットを作成します。そして以下のように「products」というスキーマを定義した空テーブルを作成します。

BigQuery Data Transfer Service を使って BigQuery にインポート

BigQuery Data Transfer Service を利用して Cloud Storage に配置した products.csv を BigQuery のデータセット「products」にインポートします。本来であればスケジュール実行の設定を行いますが、動作確認の都合上、On Demand にします。

まずは「Data transfers」のコンソールへ移動します。

そして以下のように Transfer の設定をします。

「RUN TRANSFER NOW」をクリックして Transfer を実行します。

実行が成功したことを確認します。

BigQuery 上でデータがインポートされたことを確認

BigQuery 上でデータがインポートされていることが確認できました。

参考

• BigQuery Data Transfer Service とは