BigQueryにローカルのCSVを読み込む方法

はじめに

この記事では、BigQuery にローカルの CSV を読み込む方法を解説します。

具体的な流れは以下の通りです。

csv の文字コードについて確認する
空のテーブルを作成する
csv をロードする

また、テーブルの作成にあたっては bq マンドラインツールを使用するため、設定を事前に行ってください。

CSV ファイルの文字コードについて確認する

BigQuery でサポートされている文字コードは UTF-8 です。読み込む CSV の文字コードが UTF-8 になっているかを事前に確認しておきましょう。

Shift-JIS 等の文字コードの場合は、UTF-8 への変換が必要です。文字コードの確認方法や、Shift-JIS から UTF-8 への変換方法については、以下の記事を参考にしてください。

空のテーブルを作成する

ロケーションとスキーマへのパスを指定して、空のテーブルを作成します。

bq mk --table
 --location=asia-northeast1 # ロケーションの指定
 --schema=path/to/schema # スキーマの指定
 dataset_name.table_name

CSV を読み込む

テーブル識別子と csv のパス、bq コマンドのオプションを指定して CSV を読み込みます。以下のコマンドでは、既存の行に対して append する形で CSV のデータが読み込まれます。

bq load
--source_format=CSV # ファイル形式を指定する
--null_marker=NULL # nullとして扱う文字列の指定
--skip_leading_rows=1 # 読み込みをスキップする行数
dataset_name.table_name
path/to/csv

replace オプションを使用すると、既存の行を全て破棄してから csv を読み込むことができます。

bq load
--replace # 既存のデータを破棄してから追加する
--source_format=CSV
--null_marker=NULL
--skip_leading_rows=1
dataset_name.table_name
path/to/csv

以下のような出力内容であれば、読み込み成功です。

Upload complete.
Waiting on [bqjob_id] ... (1s) Current status: DONE

BigQuery へのローカルデータの取り込み方法は以上になります。

参考

備考

Hakky ではエンジニアを募集中です！まずは話してみたいなどでも構いませんので、ぜひお気軽に採用ページからお問い合わせくださいませ。