EDINET APIの利用方法について、僕なりにまとめたメモ。 参考資料 EDINET API仕様書 (Version 1) APIの種類 書類一覧API 提出書類の一覧情報、およびそのメタデータを取得可能 日付単位で指定(過去5年分) 書類取得API 実際に提出書類を取得可能 書類単位で指…

GreengrassをインストーしたデバイスにLambdaをデプロイし、AWS IoT CoreとMQTT通信を実施します。以下の公式ドキュメントを参考に作業を進めます。 モジュール 3 (パート 1): AWS IoT Greengrass での Lambda 関数 環境 既にGreengrass環境は作成されている…

AWS ParallelClusterについて調べた時の備忘録です。 環境 Ubuntu 20.04 LTS Python 3.8.2 aws-cli/2.0.55 pcluster version 2.9.1 ParallelClusterとは ParallelClusterとは、AWS上にHPC環境を作成するためのソリューション、または環境作成用のCLIツールと…

FSx for Lustreを触ってみた時のメモ書きです。 概要 Amazon FSx for Lustre とは、S3をバックエンドとするHSM(Hierarchical Storage Management)機能をもった、Managed Lustre File System Serviceと呼べるものです。 Lustreとは、スパコン領域で利用される…

UbuntuにAWS IoT Greengrass Coreソフトウェアをインストールして、Greengrass利用環境を作成する手順を確認します。 環境 Ubuntu 20.04 AWS IoT Greengrass Core 1.10.1 事前準備 Greengrassモジュールとなる AWS IoT Greengrass Core をインストールするに…

MongoDBでindexを作成しつつ、実行計画の見方を確認します。 環境 MongoDB Community Edition v4.2.7 利用データ サンプルとして利用したデータは、以下の公式にて公開してくれているものを利用しています。 Example with ZIP Code Data zips というコレクシ…

Replica Setとは、MongoDBでのレプリケーションの仕組みです。実際に設定を実施しながら、MongoDBでのレプリケーションの仕組みを確認します。 環境 CentOS 8.1.1911 MongoDB Community Edition v4.2.7 構成 各MongoDBサーバーの構成です。 MongoDB IPアドレ…

学習用のMongoDBのサンプルDBを作成した話。MongoDBにおける、データのインポート/エクスポートの方法と合わせて確認します。 環境 MongoDB Community Edition v4.2.7 (Standalone) サンプルとなるデータセット MongoDBの公式で公開してくれていました。 Exa…

MongoDBのインストール手順を確認しました。 環境 CentOS 8.1.1911 MongoDB Community Edition v4.2.7 事前準備 透過的HugePageの無効化 database系ではよくある話ですが、THPが有効となっていると下記Warning messageが出力されるので無効化しておきます。 …

何でもない事なのですが、解決までかなりハマったため、記載しておきます。 環境 Windows 10 (19041.264) Virtualbox 6.1.10 事象 Virtualbox上で作成したCentOSにて、yum installをすると、以下のようなchecksumエラーが発生してパッケージをインストールで…

Redis Clusterの作成方法を確認してみます。 環境 CentOS 8.1.1911 Redis 6.0.3 クラスター構成 1台のCentOS上に、プロセスを分けて各Redisサーバーを起動します。 Redisサーバー種類 Redis port Cluster Port Redis Master 6379 16379 Redis Master 6380 16…

Appstream 2.0を触った時のメモ。AppStreamとは、AWSが提供するアプリケーション仮想化サービスです。つまり、Citrix VirtualApp(XenApp)ですね。 基本的な使い方について確認していきます。 利用方法 DBeaverというSQLクライアントソフトを仮想アプリケーシ…

RedisのReplicationとSentinelによる自動フェイルオーバーの設定方法について確認したメモです。 環境情報 CnetOS 8.1.1911 Redis 6.0.3 Sentinel 2 構成 Masterが1台、Replicaが1台、Sentinelが3台という環境です。 Master/Replica IPアドレス Redis port S…

「既存のActiveDirectory側にあるユーザー情報にて、AWSコンソールにログインする」て奴を試してみます。具体的には、以下資料に記載されているADFSとIAM SAML ID Providerを利用した方法となります。 Enabling Federation to AWS Using Windows Active Dire…

スタンドアローンのADFSを作成する方法の手順を確認します。Microsoftの以下公式手順を参考に確認していきます。 フェデレーション サーバー ファームの展開 環境 利用するWindowsサーバーは2019です。 Active Directory Domain Service Windows Server 2019…

Serverless Frameworkを利用して、Lambda関数をデプロイします。参考にした公式ページはこちら。 Services 環境 Serverless Framework Framework Core: 1.67.0 (standalone) Plugin: 3.5.0 SDK: 2.3.0 Components: 2.22.3 Serviceの作成 まず Service を作成…

AWS DataSync は、AWSで用意されているデータ転送サービスです。AWS上のストレージ系サービスやオンプレ上のストレージを対象に、データ転送処理を実施してくれます。 対象とできるストレージは、現在のところ下記となっています。 (オンプレまたはAWS上の) …

FSx for Windows を触る機会があったので、そのメモです。 FSx for Windows とは、AWSが提供するマネージド・Windowsファイルサーバー(共有フォルダ)と呼べるサービスです。 公式のGetting Startの資料は下記です。 Getting Started with Amazon FSx 構成図 …

Helmを利用する方法を簡単に調べたので、そのまとめです。 環境 Kubernetes(minikube) v1.17.0 Helm v3.1.1 Helmとは Helm とは、KubernetesにおけるPackage Managerです。KubernetesのPackageて何だよ、という話ですが、Kubernetesで作成するObjectのマニフ…

Redshiftの今を把握しようと調査したので、その備忘録です。下記の2019年のreinvent資料と、2020年2月に開催してくれたBlack Beltの資料を基に確認していきます。 ANT320-R - [REPEAT] What's new with Amazon Redshift, featuring Workday AWS Black Belt O…

Terraformをバージョン管理する方法について備忘録。 環境 Ubuntu 18.04.2 LTS(Windows WSL) tfenv 2.0.0-beta1 tfenvの利用 tfenv とは、rbenvやpyenvみたいな、実行されるTerraform自体のバージョン管理をしてくれるモジュールです。 作者の方のQiita投稿…

Cluster Autoscalerとは、 The cluster autoscaler on AWS scales worker nodes within any specified autoscaling group. It will run as a Deployment in your cluster. との事で、EKS Worker Nodeの数をいい感じに管理してくれるものです。各種ドキュメン…

Windowsクライアント環境にServerless Frameworkをインストールし、動作確認も兼ねてAWS上にLambdaファンクションを作成してみます。 環境 Windows10 (10.0.18362 N/A ビルド 18362) Serverless Framework 1.65.0 インストール コマンドプロンプトを管理者権…

Redshiftでマテビュー機能が利用できるようになったので、試してみました。2020年2月時点ではプレビューの状態であるものの、申請なしで誰でも利用可能となっています。 こちらは利用マニュアル。 Creating Materialized Views in Amazon Redshift 事前準備 …

Horizontal Pod Autoscaler とは、RepicaSetやDeployment等で起動したPodの数を、CPU使用率ベースにてオートスケールしてくれる機能です。 Horizontal Pod Autoscaler automatically scales the number of pods in a replication controller, deployment, re…

kubectlとは、kubernetes cluster向けのコマンドラインツールです。 Kubectl is a command line interface for running commands against Kubernetes clusters. Overview of kubectl kubectlを利用して、cluster上にworkloadsやserviceを作成することになり…

触る機会があったのでメモ。 AD Connector(Active Directory Connector)とは AD Connectorは、AWSが提供するディレクトリサービスの中の１つです。 AD Connector は、クラウドの情報をキャッシュせずにディレクトリリクエストをオンプレミスの Microsoft Act…

利用する機会があったので、触った時のメモです。AWSのClinet VPNサービスとは、Managed OpenVPNサービスと呼べるものです。参考ドキュメントはこちら。 クライアント VPN の使用開始 構成 こんな感じです。VPNで接続するユーザーを、Simple ADのActiveDirec…

AWS ECS上コンテナのBlue/Greenデプロイメントを、Code Pipelineから実施します。CodeCommitにあるDokcerfileを含むソースコードを、CodeBuildでdocker buildし、CodeDeployにてBlue/Greenする流れです。 環境用意 まず必要となる環境を用意していきます。 D…

EKSにて、ALBを利用したpodのロードバランシングを試します。AWSのドキュメントはこちら。 Amazon EKS の ALB Ingress Controller ALB Ingress Controllerのドキュメントはこちら。 AWS ALB Ingress Controller 環境 EKS(Kubernetes) 1.14.9 ALB Ingress Con…