Google CloudでTerraformを利用するにあたり、基本的な部分について確認します。 Terraform、Gooble CloudそれぞれのGetting Start資料が下記です。 Terraform: Getting Started with the Google Provider Google Cloud: Getting started with Terraform on …

BigQueryのクエリ実行に関する公式ドキュメントを読んでいて、気になった箇所を試してみたメモです。 バッチクエリの実行 SQLクエリをfire-and-forgetで実行できる機能。 BigQuery はユーザーに代わって各バッチクエリをキューに格納し、アイドル状態のリソ…

FastAPIの基本的部分のメモ。公式ドキュメントがわかりやすいため、公式ドキュメントのリンク集くらいのつもりでまとめています。 FastAPI FastAPIの仕組みについて、分かりやすくまとめてくれている投稿。 FastAPIでStarletteとPydanticはどのように使われ…

BigQueryでパーティション分割テーブルの作成方法を確認します。 パーティション分割できる種類 BigQueryでは、以下の条件でテーブルをパーティションできます。 時間単位の列 TIMESTAMP、DATE、DATETIME列に基づいて 取り込み時間 BigQueryにデータを取り込…

Cloud TasksのQueueに投入されたタスクを、Cloud Run上のコンテナ環境で実行する手順を調べます。 構成 構成図です。 環境 Python 3.8.10 google-cloud-tasks 2.5.0 google-api-core 1.31.0 protobuf 3.17.3 Cloud Runにコンテナのデプロイ Cloud Run上のコ…

Cloud Storage上にアップロードしたCSVファイルに対して、External Tableの機能を利用し、BigQueryのクエリを実行してみます。BigQuery External Tableとは、AWSで言うところの、Redshift Spectrumとなります。 利用したファイル 利用したファイルは、kaggle…

Cloud Storageが発行してくれるNotificationを、Cloud Pub/Subを介して、Cloud Run上で起動しているFlaskで受け取ります。 環境 Google Cloud SDK 348.0.0 Python 3.9 Flask 2.0.1 gunicorn 20.1.0 構成 構成です。 Cloud Run上にコンテナを建てる Cloud Pub…

Pythonのunittestの使い方を確認します。 環境 Python 3.8.5 サンプルプログラム 公式ドキュメントを参考。 unittest --- ユニットテストフレームワーク テスト対象のプログラム テスト対象とするコードを記述。 hololive.py class HololiveMember(): def __…

Neo4jをインストールして、基本的な操作方法を確認します。 環境 Ubuntu 20.04.2 LTS Neo4j Community Edition 4.3.2 openjdk 11.0.11 Neo4jのインストール openjdkのインストール Neo4jはjavaらしいので、Neo4j ver4.xの動作環境であるopenjdk 11をインスト…

Google Cloud Associate Cloud Engineer受験時の学習内容をまとめたもの。公式の試験概要より、指定されている範囲のサービスを触ってみた記録です。 目次 目次 1. クラウド ソリューション環境の設定 1.1 クラウド プロジェクトとアカウントを設定する。以…

SESをSMTPで利用した時のメモです。Bounce Mailの管理も設定します。 送信先として利用するテスト用Emailアドレスの検証 初回利用開始時、SESはsandbox状態となっています。sandbox状態では、送信先となるEmailアドレスに対して制限をかけられており、事前に…

AWS Clinet VPNを、Azure AD側ユーザーにてシングルサインオンして利用する手順を確認しています。AWSとAzureそれぞれで、必要手順を紹介しているページがあります。 AWS側の資料はこちら。 How to Integrate AWS Client VPN with Azure Active Directory Az…

Kubernetes Cluserを管理する上で、覚えておくと便利なコマンドをメモしておきます。 目次 目次 参考資料たち 環境 リソースタイプの、短縮名やAPIバージョンを表示 ラベルの表示 追加情報の表示 表形式ぽく表示 条件を指定して検索 JSONPathの利用 ソートし…

マニフェストファイルの雛形を、kubectlにて取得するコマンドをメモしておきます。 目次 目次 環境 基本的な情報 公式の参考ページ Namespace Resource Quota Pod Deployment ReplicaSet DaemonSet Service: ClusterIP Service: NodePort Ingress ConfigMap …

kubeadmにて作成したKubernetes Clusterをアップグレードしてみます。下記は参考の公式ドキュメント。 Upgrading kubeadm clusters 環境 構成 マスターノード 1台 ワーカーノード 1台 バージョン OS Ubuntu 20.04.1 LTS kubernetes 現行 1.19.0 アップグレー…

kubeadmにて作成したKubernntes Clusterに、Normal Userを追加する方法を確認します。 環境 kubernetes v1.20.0 実際の追加作業を実施する前に、Kubernetesにおける認証方式やユーザーの扱いについて確認しておきます。 Kubernetesにおける認証方式 kube-api…

Kubernetes Cluster内のetcdをバックアップ、リストアする方法を確認します。 環境情報 前提として、対象のetcdはシングル構成で、1台のkubernetesのマスターノードで動作しています。kubernetes環境は、kubeadmにて作成しました。 バージョンは下記。 OS Ub…

kubeadm を利用して、kubernetes clusterをゼロから作成してみます。 kubeadm とは、kubernetes ClusterのBootstrap Toolとなっています。 Kubeadm is a tool built to provide best-practice "fast paths" for creating Kubernetes clusters. It performs t…

CognitoとADFSをSAML連携して、ActiveDirectory側のユーザー情報で認証処理をさせよう、というものです。下記あたりのドキュメントを読みながら、必要手順を確認しました。 Amazon Cognito ユーザープールを使用して AD FS を SAML ID プロバイダーとして設…