SQL に関する偉大なる下記書籍を復習する機会があったため、その内容をメモしておきます。実行環境は BigQuery です。 達人に学ぶSQL徹底指南書 第2版 初級者で終わりたくないあなたへ作者:ミック翔泳社Amazon SQLパズル 第2版~プログラミングが変わる書き方…

備忘録です。 目的 Google Cloud のプロジェクトを環境毎に作成していて、BigQuery の設定名がプロジェクト単位で若干違う、という事があると思います。今回の下記例では、プロジェクト毎にデータセット名が異なっていて、それ以外は全く同一の SQL を実行し…

BigQueryのクエリ実行に関する公式ドキュメントを読んでいて、気になった箇所を試してみたメモです。 バッチクエリの実行 SQLクエリをfire-and-forgetで実行できる機能。 BigQuery はユーザーに代わって各バッチクエリをキューに格納し、アイドル状態のリソ…

BigQueryでパーティション分割テーブルの作成方法を確認します。 パーティション分割できる種類 BigQueryでは、以下の条件でテーブルをパーティションできます。 時間単位の列 TIMESTAMP、DATE、DATETIME列に基づいて 取り込み時間 BigQueryにデータを取り込…

Cloud Storage上にアップロードしたCSVファイルに対して、External Tableの機能を利用し、BigQueryのクエリを実行してみます。BigQuery External Tableとは、AWSで言うところの、Redshift Spectrumとなります。 利用したファイル 利用したファイルは、kaggle…