goodbyegangsterのブログ

備忘録的な

Amazon Simple Email ServiceをSMTPプロトコルで利用する

SESをSMTPで利用した時のメモです。Bounce Mailの管理も設定します。 送信先として利用するテスト用Emailアドレスの検証 初回利用開始時、SESはsandbox状態となっています。sandbox状態では、送信先となるEmailアドレスに対して制限をかけられており、事前に…

AWS Client VPNを、Azure ADとのSSOで利用する

AWS Clinet VPNを、Azure AD側ユーザーにてシングルサインオンして利用する手順を確認しています。AWSとAzureそれぞれで、必要手順を紹介しているページがあります。 AWS側の資料はこちら。 How to Integrate AWS Client VPN with Azure Active Directory Az…

Kubernetes Cluster管理用のコマンドたち

Kubernetes Cluserを管理する上で、覚えておくと便利なコマンドをメモしておきます。 目次 目次 参考資料たち 環境 リソースタイプの、短縮名やAPIバージョンを表示 ラベルの表示 追加情報の表示 表形式ぽく表示 条件を指定して検索 JSONPathの利用 ソートし…

Kubernetesマニフェストファイルの雛形作成コマンドたち

マニフェストファイルの雛形を、kubectlにて取得するコマンドをメモしておきます。 目次 目次 環境 基本的な情報 公式の参考ページ Namespace Resource Quota Pod Deployment ReplicaSet DaemonSet Service: ClusterIP Service: NodePort ConfigMap Secret R…

kubeadm環境のKubernetesのアップグレード

kubeadmにて作成したKubernetes Clusterをアップグレードしてみます。下記は参考の公式ドキュメント。 Upgrading kubeadm clusters 環境 構成 マスターノード 1台 ワーカーノード 1台 バージョン OS Ubuntu 20.04.1 LTS kubernetes 現行 1.19.0 アップグレー…

kubeadm環境のKubernetesにてユーザーを追加

kubeadmにて作成したKubernntes Clusterに、Normal Userを追加する方法を確認します。 環境 kubernetes v1.20.0 実際の追加作業を実施する前に、Kubernetesにおける認証方式やユーザーの扱いについて確認しておきます。 Kubernetesにおける認証方式 kube-api…

kubernetes内のetcdをバックアップ・リストアする

Kubernetes Cluster内のetcdをバックアップ、リストアする方法を確認します。 環境情報 前提として、対象のetcdはシングル構成で、1台のkubernetesのマスターノードで動作しています。kubernetes環境は、kubeadmにて作成しました。 バージョンは下記。 OS Ub…

kubeadmによるKubernetes Clusterの作成

kubeadm を利用して、kubernetes clusterをゼロから作成してみます。 kubeadm とは、kubernetes ClusterのBootstrap Toolとなっています。 Kubeadm is a tool built to provide best-practice "fast paths" for creating Kubernetes clusters. It performs t…

Amazon CognitoとADFSをSAML連携して、WEBサイトの認証処理として利用する

CognitoとADFSをSAML連携して、ActiveDirectory側のユーザー情報で認証処理をさせよう、というものです。下記あたりのドキュメントを読みながら、必要手順を確認しました。 Amazon Cognito ユーザープールを使用して AD FS を SAML ID プロバイダーとして設…

EDINET APIの利用方法

EDINET APIの利用方法について、僕なりにまとめたメモ。 参考資料 EDINET API仕様書 (Version 1) APIの種類 書類一覧API 提出書類の一覧情報、およびそのメタデータを取得可能 日付単位で指定(過去5年分) 書類取得API 実際に提出書類を取得可能 書類単位で指…

AWS IoT GreengrassにてLambdaの実行

GreengrassをインストーしたデバイスにLambdaをデプロイし、AWS IoT CoreとMQTT通信を実施します。以下の公式ドキュメントを参考に作業を進めます。 モジュール 3 (パート 1): AWS IoT Greengrass での Lambda 関数 環境 既にGreengrass環境は作成されている…

AWS ParallelClusterについてのメモ

AWS ParallelClusterについて調べた時の備忘録です。 環境 Ubuntu 20.04 LTS Python 3.8.2 aws-cli/2.0.55 pcluster version 2.9.1 ParallelClusterとは ParallelClusterとは、AWS上にHPC環境を作成するためのソリューション、または環境作成用のCLIツールと…

Amazon FSx for Lustreを触ってみる

FSx for Lustreを触ってみた時のメモ書きです。 概要 Amazon FSx for Lustre とは、S3をバックエンドとするHSM(Hierarchical Storage Management)機能をもった、Managed Lustre File System Serviceと呼べるものです。 Lustreとは、スパコン領域で利用される…

AWS IoT Greengrass環境の設定

UbuntuにAWS IoT Greengrass Coreソフトウェアをインストールして、Greengrass利用環境を作成する手順を確認します。 環境 Ubuntu 20.04 AWS IoT Greengrass Core 1.10.1 事前準備 Greengrassモジュールとなる AWS IoT Greengrass Core をインストールするに…

MongoDBのindexについて

MongoDBでindexを作成しつつ、実行計画の見方を確認します。 環境 MongoDB Community Edition v4.2.7 利用データ サンプルとして利用したデータは、以下の公式にて公開してくれているものを利用しています。 Example with ZIP Code Data zips というコレクシ…

MongoDBでReplica Setをつくる

Replica Setとは、MongoDBでのレプリケーションの仕組みです。実際に設定を実施しながら、MongoDBでのレプリケーションの仕組みを確認します。 環境 CentOS 8.1.1911 MongoDB Community Edition v4.2.7 構成 各MongoDBサーバーの構成です。 MongoDB IPアドレ…

MongoDBでサンプルDBを作る

学習用のMongoDBのサンプルDBを作成した話。MongoDBにおける、データのインポート/エクスポートの方法と合わせて確認します。 環境 MongoDB Community Edition v4.2.7 (Standalone) サンプルとなるデータセット MongoDBの公式で公開してくれていました。 Exa…

MongoDBのインストール

MongoDBのインストール手順を確認しました。 環境 CentOS 8.1.1911 MongoDB Community Edition v4.2.7 事前準備 透過的HugePageの無効化 database系ではよくある話ですが、THPが有効となっていると下記Warning messageが出力されるので無効化しておきます。 …

Virtualbox上のLinux環境のyum/aptにて、checksumエラーが発生する件

何でもない事なのですが、解決までかなりハマったため、記載しておきます。 環境 Windows 10 (19041.264) Virtualbox 6.1.10 事象 Virtualbox上で作成したCentOSにて、yum installをすると、以下のようなchecksumエラーが発生してパッケージをインストールで…

Redis Clusterを作ってみる

Redis Clusterの作成方法を確認してみます。 環境 CentOS 8.1.1911 Redis 6.0.3 クラスター構成 1台のCentOS上に、プロセスを分けて各Redisサーバーを起動します。 Redisサーバー種類 Redis port Cluster Port Redis Master 6379 16379 Redis Master 6380 16…

Amazon AppStream 2.0 の備忘録

Appstream 2.0を触った時のメモ。AppStreamとは、AWSが提供するアプリケーション仮想化サービスです。つまり、Citrix VirtualApp(XenApp)ですね。 基本的な使い方について確認していきます。 利用方法 DBeaverというSQLクライアントソフトを仮想アプリケーシ…

Redis ReplicationとSentinelの設定方法を確認

RedisのReplicationとSentinelによる自動フェイルオーバーの設定方法について確認したメモです。 環境情報 CnetOS 8.1.1911 Redis 6.0.3 Sentinel 2 構成 Masterが1台、Replicaが1台、Sentinelが3台という環境です。 Master/Replica IPアドレス Redis port S…

ADFSを利用して、AWSとActiceDirectoryのSAML認証の実施

「既存のActiveDirectory側にあるユーザー情報にて、AWSコンソールにログインする」て奴を試してみます。具体的には、以下資料に記載されているADFSとIAM SAML ID Providerを利用した方法となります。 Enabling Federation to AWS Using Windows Active Dire…

Active Directory Federation Serviceをつくる

スタンドアローンのADFSを作成する方法の手順を確認します。Microsoftの以下公式手順を参考に確認していきます。 フェデレーション サーバー ファームの展開 環境 利用するWindowsサーバーは2019です。 Active Directory Domain Service Windows Server 2019…

Serverless FrameworkでAWS Lambdaを作成する

Serverless Frameworkを利用して、Lambda関数をデプロイします。参考にした公式ページはこちら。 Services 環境 Serverless Framework Framework Core: 1.67.0 (standalone) Plugin: 3.5.0 SDK: 2.3.0 Components: 2.22.3 Serviceの作成 まず Service を作成…

AWS DataSyncを触ってみたメモ

AWS DataSync は、AWSで用意されているデータ転送サービスです。AWS上のストレージ系サービスやオンプレ上のストレージを対象に、データ転送処理を実施してくれます。 対象とできるストレージは、現在のところ下記となっています。 (オンプレまたはAWS上の) …

Amazon FSx for Windowsを利用してみる

FSx for Windows を触る機会があったので、そのメモです。 FSx for Windows とは、AWSが提供するマネージド・Windowsファイルサーバー(共有フォルダ)と呼べるサービスです。 公式のGetting Startの資料は下記です。 Getting Started with Amazon FSx 構成図 …

Helmを利用する方法

Helmを利用する方法を簡単に調べたので、そのまとめです。 環境 Kubernetes(minikube) v1.17.0 Helm v3.1.1 Helmとは Helm とは、KubernetesにおけるPackage Managerです。KubernetesのPackageて何だよ、という話ですが、Kubernetesで作成するObjectのマニフ…

2019年のRedshift Updateをおさらいする

Redshiftの今を把握しようと調査したので、その備忘録です。下記の2019年のreinvent資料と、2020年2月に開催してくれたBlack Beltの資料を基に確認していきます。 ANT320-R - [REPEAT] What's new with Amazon Redshift, featuring Workday AWS Black Belt O…

Terraformでのバージョン管理方法

Terraformをバージョン管理する方法について備忘録。 環境 Ubuntu 18.04.2 LTS(Windows WSL) tfenv 2.0.0-beta1 tfenvの利用 tfenv とは、rbenvやpyenvみたいな、実行されるTerraform自体のバージョン管理をしてくれるモジュールです。 作者の方のQiita投稿…