goodbyegangsterのブログ

備忘録的な

ADFSを利用して、AWSとActiceDirectoryのSAML認証の実施

「既存のActiveDirectory側にあるユーザー情報にて、AWSコンソールにログインする」て奴を試してみます。具体的には、以下資料に記載されているADFSとIAM SAML ID Providerを利用した方法となります。 Enabling Federation to AWS Using Windows Active Dire…

Active Directory Federation Serviceをつくる

スタンドアローンのADFSを作成する方法の手順を確認します。Microsoftの以下公式手順を参考に確認していきます。 フェデレーション サーバー ファームの展開 環境 利用するWindowsサーバーは2019です。 Active Directory Domain Service Windows Server 2019…

Serverless FrameworkでAWS Lambdaを作成する

Serverless Frameworkを利用して、Lambda関数をデプロイします。参考にした公式ページはこちら。 Services 環境 Serverless Framework Framework Core: 1.67.0 (standalone) Plugin: 3.5.0 SDK: 2.3.0 Components: 2.22.3 Serviceの作成 まず Service を作成…

AWS DataSyncを触ってみたメモ

AWS DataSync は、AWSで用意されているデータ転送サービスです。AWS上のストレージ系サービスやオンプレ上のストレージを対象に、データ転送処理を実施してくれます。 対象とできるストレージは、現在のところ下記となっています。 (オンプレまたはAWS上の) …

Amazon FSx for Windowsを利用してみる

FSx for Windows を触る機会があったので、そのメモです。 FSx for Windows とは、AWSが提供するマネージド・Windowsフィアルサーバーと呼べるサービスです。 公式のGetting Startの資料は下記です。 Getting Started with Amazon FSx 構成図 FSx for Window…

Helmを利用する方法

Helmを利用する方法を簡単に調べたので、そのまとめです。 環境 Kubernetes(minikube) v1.17.0 Helm v3.1.1 Helmとは Helm とは、KubernetesにおけるPackage Managerです。KubernetesのPackageて何だよ、という話ですが、Kubernetesで作成するObjectのマニフ…

2019年のRedshift Updateをおさらいする

Redshiftの今を把握しようと調査したので、その備忘録です。下記の2019年のreinvent資料と、2020年2月に開催してくれたBlack Beltの資料を基に確認していきます。 ANT320-R - [REPEAT] What's new with Amazon Redshift, featuring Workday AWS Black Belt O…

Terraformでのバージョン管理方法

Terraformをバージョン管理する方法について備忘録。 環境 Ubuntu 18.04.2 LTS(Windows WSL) tfenv 2.0.0-beta1 tfenvの利用 tfenv とは、rbenvやpyenvみたいな、実行されるTerraform自体のバージョン管理をしてくれるモジュールです。 作者の方のQiita投稿…

EKSでCluster Autoscalerを設定する

Cluster Autoscalerとは、 The cluster autoscaler on AWS scales worker nodes within any specified autoscaling group. It will run as a Deployment in your cluster. との事で、EKS Worker Nodeの数をいい感じに管理してくれるものです。各種ドキュメン…

Serverless Frameworkの初期設定

Windowsクライアント環境にServerless Frameworkをインストールし、動作確認も兼ねてAWS上にLambdaファンクションを作成してみます。 環境 Windows10 (10.0.18362 N/A ビルド 18362) Serverless Framework 1.65.0 インストール コマンドプロンプトを管理者権…

Redshiftのマテリアライズド・ビュー機能(プレビュー)を試してみる

Redshiftでマテビュー機能が利用できるようになったので、試してみました。2020年2月時点ではプレビューの状態であるものの、申請なしで誰でも利用可能となっています。 こちらは利用マニュアル。 Creating Materialized Views in Amazon Redshift 事前準備 …

EKSでHorizontal Pod Autoscalerを試したメモ

Horizontal Pod Autoscaler とは、RepicaSetやDeployment等で起動したPodの数を、CPU使用率ベースにてオートスケールしてくれる機能です。 Horizontal Pod Autoscaler automatically scales the number of pods in a replication controller, deployment, re…

EKSでのkubectlコンフィグ設定について

kubectlとは、kubernetes cluster向けのコマンドラインツールです。 Kubectl is a command line interface for running commands against Kubernetes clusters. Overview of kubectl kubectlを利用して、cluster上にworkloadsやserviceを作成することになり…

AD Connectorを利用して、既存のActiveDirectoryと接続する

触る機会があったのでメモ。 AD Connector(Active Directory Connector)とは AD Connectorは、AWSが提供するディレクトリサービスの中の1つです。 AD Connector は、クラウドの情報をキャッシュせずにディレクトリリクエストをオンプレミスの Microsoft Act…

AWSのClient VPNを利用する

利用する機会があったので、触った時のメモです。AWSのClinet VPNサービスとは、Managed OpenVPNサービスと呼べるものです。参考ドキュメントはこちら。 クライアント VPN の使用開始 構成 こんな感じです。VPNで接続するユーザーを、Simple ADのActiveDirec…

CodePipelineでECSのBlue/Greenデプロイをする

AWS ECS上コンテナのBlue/Greenデプロイメントを、Code Pipelineから実施します。CodeCommitにあるDokcerfileを含むソースコードを、CodeBuildでdocker buildし、CodeDeployにてBlue/Greenする流れです。 環境用意 まず必要となる環境を用意していきます。 D…

Amazon EKSでALB Ingress Controllerを利用する

EKSにて、ALBを利用したpodのロードバランシングを試します。AWSのドキュメントはこちら。 Amazon EKS の ALB Ingress Controller ALB Ingress Controllerのドキュメントはこちら。 AWS ALB Ingress Controller 環境 EKS(Kubernetes) 1.14.9 ALB Ingress Con…

Amazon EKS Clusterを作成する

Amazon Elastic Kubernetes Service(EKS)で、Kubernetes Clusterを、eksctlを利用して作成します。 環境 eksctl 0.12.0 EKS(kubernetes) 1.14.9 eksctlのインストール 素のkubernetesでは、kubeadmあたりを利用するのでしょうが、EKSのClusterを管理するため…

JupyterLabのコンテナ環境をつくる

ローカルのWindows PC上Dockerにて、JupyterLabのコンテナ環境を作成します。コンテナはdocker composeにて管理します。公式の参考サイト。 Jupyter Docker Stacks JupyterLabについて JupyterLabとは、Jupyter Notebookの後継ツールとのことです。 JupyterL…

シェルスクリプトのコードレビュー時のメモ

シェルスクリプトをコードレビューする時の便利な方法をメモ。 以下が今回サンプルとして利用したスクリプトです。 sample.sh #!/bin/sh var=0 while [ $var -lt 3 ] do echo $var var=`expr $var + 1` done 文法チェック -n オプションを利用すると、処理は…

Redisのデータ構造

Redisで用意されているデータ構造を確認します。参考サイトたち。 An introduction to Redis data types and abstractions Data types short summary Redis Cheat Sheet 環境 Redis server v=5.0.7 Strings The Redis String type is the simplest type of v…

SendGridでメール送信

SendGridでメールを送ってみる。 環境 Python 3.7.6 sendgrid-python 6.1.0 SendGrid APIキーの作成 API keyを作成します。公式のマニュアルはこちら。 API Keys 付与する権限を選択できるので、メール送信用の権限のみ付与します。 APIキーのテストをできる…

redis-cliをwslのubuntuに入れる

redis-cliだけインストールする方法はないのか、と調べた時のメモ。 環境 Windows 10.0.18362 N/A ビルド 18362 Ubuntu 18.04.2 LTS (on WSL) redis-cliのインストール ずばり回答を書いてくれているサイトがあったので、そちらを参考に。コンパイルすれば、…

Redisのインストール

Redisをインストールしてみる。 環境 CentOS 8.0.1905 Redis 5.0.7 インストール 事前に必要モジュールのインストール。 $ sudo yum -y install epel-release $ sudo yum -y install gcc jemalloc tcl Redisはepelリポジトリの中にありますが、公式ドキュメ…

Security Hubについて調べたこと

AWS Security Hubについて調べたことをまとめています。 AWS Security Hubとは 以下の機能を持っています。 他AWSセキュリティサービス、および3rd Partyセキュリティ製品の統合 統合されるAWSセキュリティサービス Amazon Inspector Amazon GuardDuty Amazo…

Packerを利用してECS Container Instance向けのゴールデンイメージを作る

Packerを利用して、AWS ECSで利用するECS Container Instance向けのゴールデンイメージ(つまりami)を作成します。 環境情報 Windows 10.0.18362 N/A ビルド 18362 Packer v1.4.5 Packerのインストール WindowsユーザはChocolateyを利用してインストールでき…

GuardDutyの設定方法

Amazon GuardDutyを設定した時の備忘録です。 Amazon GuardDutyとは 以下の機能を持っています。 CloudTrailイベント分析 CloudTrailイベントを継続的に分析し、AWSアカウントとインフラストラクチャのすべてのアクセスと動作をモニタリングします VPCフロー…

Inspector利用時のメモ

Amazon Inspectorを利用する機会があったので、その時のメモです。 Amazon Inspectorとは AWSが提供するホスト型のプラットフォーム脆弱性診断サービスです。EC2を対象に診断してくれます。 サポートOS こちらです。随時更新されています。 Amazon Inspector…

OracleDBでサプリメント・ロギング機能を利用する

OracleDBでサプリメント・ロギング機能を利用した時に調べたメモ。 サプリメント・ロギングとは REDOログに、追加の情報を出力してくれる機能です。 一般に、REDOログ・ファイルは、インスタンス・リカバリおよびメディア・リカバリに使用されます。これらの…

AWS Glue ETLライブラリにて、ローカルPCにGlue開発環境をつくる

aws-glue-libs を利用するば、ローカルPC上でGlue開発環境を用意できるとのこと、試してみます。 aws-glue-libs This repository contains libraries used in the AWS Glue service. These libraries extend Apache Spark with additional data types and op…