goodbyegangsterのブログ

備忘録的な

AWS IoT Greengrass環境の設定

UbuntuにAWS IoT Greengrass Coreソフトウェアをインストールして、Greengrass利用環境を作成する手順を確認します。 環境 Ubuntu 20.04 AWS IoT Greengrass Core 1.10.1 事前準備 Greengrassモジュールとなる AWS IoT Greengrass Core をインストールするに…

MongoDBのindexについて

MongoDBでindexを作成しつつ、実行計画の見方を確認します。 環境 MongoDB Community Edition v4.2.7 利用データ サンプルとして利用したデータは、以下の公式にて公開してくれているものを利用しています。 Example with ZIP Code Data zips というコレクシ…

MongoDBでReplica Setをつくる

Replica Setとは、MongoDBでのレプリケーションの仕組みです。実際に設定を実施しながら、MongoDBでのレプリケーションの仕組みを確認します。 環境 CentOS 8.1.1911 MongoDB Community Edition v4.2.7 構成 各MongoDBサーバーの構成です。 MongoDB IPアドレ…

MongoDBでサンプルDBを作る

学習用のMongoDBのサンプルDBを作成した話。MongoDBにおける、データのインポート/エクスポートの方法と合わせて確認します。 環境 MongoDB Community Edition v4.2.7 (Standalone) サンプルとなるデータセット MongoDBの公式で公開してくれていました。 Exa…

MongoDBのインストール

MongoDBのインストール手順を確認しました。 環境 CentOS 8.1.1911 MongoDB Community Edition v4.2.7 事前準備 透過的HugePageの無効化 database系ではよくある話ですが、THPが有効となっていると下記Warning messageが出力されるので無効化しておきます。 …

Virtualbox上のLinux環境のyum/aptにて、checksumエラーが発生する件

何でもない事なのですが、解決までかなりハマったため、記載しておきます。 環境 Windows 10 (19041.264) Virtualbox 6.1.10 事象 Virtualbox上で作成したCentOSにて、yum installをすると、以下のようなchecksumエラーが発生してパッケージをインストールで…

Redis Clusterを作ってみる

Redis Clusterの作成方法を確認してみます。 環境 CentOS 8.1.1911 Redis 6.0.3 クラスター構成 1台のCentOS上に、プロセスを分けて各Redisサーバーを起動します。 Redisサーバー種類 Redis port Cluster Port Redis Master 6379 16379 Redis Master 6380 16…

Amazon AppStream 2.0 の備忘録

Appstream 2.0を触った時のメモ。AppStreamとは、AWSが提供するアプリケーション仮想化サービスです。つまり、Citrix VirtualApp(XenApp)ですね。 基本的な使い方について確認していきます。 利用方法 DBeaverというSQLクライアントソフトを仮想アプリケーシ…

Redis ReplicationとSentinelの設定方法を確認

RedisのReplicationとSentinelによる自動フェイルオーバーの設定方法について確認したメモです。 環境情報 CnetOS 8.1.1911 Redis 6.0.3 Sentinel 2 構成 Masterが1台、Replicaが1台、Sentinelが3台という環境です。 Master/Replica IPアドレス Redis port S…

ADFSを利用して、AWSとActiceDirectoryのSAML認証の実施

「既存のActiveDirectory側にあるユーザー情報にて、AWSコンソールにログインする」て奴を試してみます。具体的には、以下資料に記載されているADFSとIAM SAML ID Providerを利用した方法となります。 Enabling Federation to AWS Using Windows Active Dire…

Active Directory Federation Serviceをつくる

スタンドアローンのADFSを作成する方法の手順を確認します。Microsoftの以下公式手順を参考に確認していきます。 フェデレーション サーバー ファームの展開 環境 利用するWindowsサーバーは2019です。 Active Directory Domain Service Windows Server 2019…

Serverless FrameworkでAWS Lambdaを作成する

Serverless Frameworkを利用して、Lambda関数をデプロイします。参考にした公式ページはこちら。 Services 環境 Serverless Framework Framework Core: 1.67.0 (standalone) Plugin: 3.5.0 SDK: 2.3.0 Components: 2.22.3 Serviceの作成 まず Service を作成…

AWS DataSyncを触ってみたメモ

AWS DataSync は、AWSで用意されているデータ転送サービスです。AWS上のストレージ系サービスやオンプレ上のストレージを対象に、データ転送処理を実施してくれます。 対象とできるストレージは、現在のところ下記となっています。 (オンプレまたはAWS上の) …

Amazon FSx for Windowsを利用してみる

FSx for Windows を触る機会があったので、そのメモです。 FSx for Windows とは、AWSが提供するマネージド・Windowsファイルサーバー(共有フォルダ)と呼べるサービスです。 公式のGetting Startの資料は下記です。 Getting Started with Amazon FSx 構成図 …

Helmを利用する方法

Helmを利用する方法を簡単に調べたので、そのまとめです。 環境 Kubernetes(minikube) v1.17.0 Helm v3.1.1 Helmとは Helm とは、KubernetesにおけるPackage Managerです。KubernetesのPackageて何だよ、という話ですが、Kubernetesで作成するObjectのマニフ…

2019年のRedshift Updateをおさらいする

Redshiftの今を把握しようと調査したので、その備忘録です。下記の2019年のreinvent資料と、2020年2月に開催してくれたBlack Beltの資料を基に確認していきます。 ANT320-R - [REPEAT] What's new with Amazon Redshift, featuring Workday AWS Black Belt O…

Terraformでのバージョン管理方法

Terraformをバージョン管理する方法について備忘録。 環境 Ubuntu 18.04.2 LTS(Windows WSL) tfenv 2.0.0-beta1 tfenvの利用 tfenv とは、rbenvやpyenvみたいな、実行されるTerraform自体のバージョン管理をしてくれるモジュールです。 作者の方のQiita投稿…

EKSでCluster Autoscalerを設定する

Cluster Autoscalerとは、 The cluster autoscaler on AWS scales worker nodes within any specified autoscaling group. It will run as a Deployment in your cluster. との事で、EKS Worker Nodeの数をいい感じに管理してくれるものです。各種ドキュメン…

Serverless Frameworkの初期設定

Windowsクライアント環境にServerless Frameworkをインストールし、動作確認も兼ねてAWS上にLambdaファンクションを作成してみます。 環境 Windows10 (10.0.18362 N/A ビルド 18362) Serverless Framework 1.65.0 インストール コマンドプロンプトを管理者権…

Redshiftのマテリアライズド・ビュー機能(プレビュー)を試してみる

Redshiftでマテビュー機能が利用できるようになったので、試してみました。2020年2月時点ではプレビューの状態であるものの、申請なしで誰でも利用可能となっています。 こちらは利用マニュアル。 Creating Materialized Views in Amazon Redshift 事前準備 …

EKSでHorizontal Pod Autoscalerを試したメモ

Horizontal Pod Autoscaler とは、RepicaSetやDeployment等で起動したPodの数を、CPU使用率ベースにてオートスケールしてくれる機能です。 Horizontal Pod Autoscaler automatically scales the number of pods in a replication controller, deployment, re…

EKSでのkubectlコンフィグ設定について

kubectlとは、kubernetes cluster向けのコマンドラインツールです。 Kubectl is a command line interface for running commands against Kubernetes clusters. Overview of kubectl kubectlを利用して、cluster上にworkloadsやserviceを作成することになり…

AD Connectorを利用して、既存のActiveDirectoryと接続する

触る機会があったのでメモ。 AD Connector(Active Directory Connector)とは AD Connectorは、AWSが提供するディレクトリサービスの中の1つです。 AD Connector は、クラウドの情報をキャッシュせずにディレクトリリクエストをオンプレミスの Microsoft Act…

AWSのClient VPNを利用する

利用する機会があったので、触った時のメモです。AWSのClinet VPNサービスとは、Managed OpenVPNサービスと呼べるものです。参考ドキュメントはこちら。 クライアント VPN の使用開始 構成 こんな感じです。VPNで接続するユーザーを、Simple ADのActiveDirec…

CodePipelineでECSのBlue/Greenデプロイをする

AWS ECS上コンテナのBlue/Greenデプロイメントを、Code Pipelineから実施します。CodeCommitにあるDokcerfileを含むソースコードを、CodeBuildでdocker buildし、CodeDeployにてBlue/Greenする流れです。 環境用意 まず必要となる環境を用意していきます。 D…

Amazon EKSでALB Ingress Controllerを利用する

EKSにて、ALBを利用したpodのロードバランシングを試します。AWSのドキュメントはこちら。 Amazon EKS の ALB Ingress Controller ALB Ingress Controllerのドキュメントはこちら。 AWS ALB Ingress Controller 環境 EKS(Kubernetes) 1.14.9 ALB Ingress Con…

Amazon EKS Clusterを作成する

Amazon Elastic Kubernetes Service(EKS)で、Kubernetes Clusterを、eksctlを利用して作成します。 環境 eksctl 0.12.0 EKS(kubernetes) 1.14.9 eksctlのインストール 素のkubernetesでは、kubeadmあたりを利用するのでしょうが、EKSのClusterを管理するため…

JupyterLabのコンテナ環境をつくる

ローカルのWindows PC上Dockerにて、JupyterLabのコンテナ環境を作成します。コンテナはdocker composeにて管理します。公式の参考サイト。 Jupyter Docker Stacks JupyterLabについて JupyterLabとは、Jupyter Notebookの後継ツールとのことです。 JupyterL…

シェルスクリプトのコードレビュー時のメモ

シェルスクリプトをコードレビューする時の便利な方法をメモ。 以下が今回サンプルとして利用したスクリプトです。 sample.sh #!/bin/sh var=0 while [ $var -lt 3 ] do echo $var var=`expr $var + 1` done 文法チェック -n オプションを利用すると、処理は…

Redisのデータ構造

Redisで用意されているデータ構造を確認します。参考サイトたち。 An introduction to Redis data types and abstractions Data types short summary Redis Cheat Sheet 環境 Redis server v=5.0.7 Strings The Redis String type is the simplest type of v…