goodbyegangsterのブログ

備忘録的な

Redshiftにて、作成したDBユーザのSYSLOG ACCESS UNRESTRICTEDが正しく設定されているか調べる方法

Redshiftにて、ユーザのSYSLOG ACCESS UNRESTRICTEDが正しく設定されているかどうか、カタログテーブルや管理ビューで確認する方法はないそうです。 SYSLOG ACCESS UNRESTRICTED/RESTRICTED とは、 Amazon Redshift のシステムテーブルとビューに対するユー…

Windowsにpsqlをインストールして、Redshiftへ接続する方法

Windows10で利用する時の方法です。尚、SQL Workbench/Jをインストールする方法はこちら。 SQL workbench/JからRedshiftに接続して、テーブルが作成できない件 - goodbyegangsterのブログ psqlをダウンロードします。Windowsでは、psql単体のみでインストー…

CloudFormationのStackをCLIより作成時、1つのパラメータに複数の値を入力する方法

地味に困ったので、メモ。 以下みたいなCloudFormationのテンプレートを作成時。 AWSTemplateFormatVersion: 2010-09-09 Parameters: (略) SecurityGroupIdsParm: Description: Select SecurityGroupIds Type: 'List<AWS::EC2::SecurityGroup::Id>' (略) Resources: EC2Instance: Type: 'A</aws::ec2::securitygroup::id>…

fstabを編集するシェルスクリプト

AWSのEC2にて、UserDataに記載することをイメージしています。 基本的な手順はAWSのマニュアル通り、それをスクリプトにしているだけです。 Amazon EBS ボリュームを使用できるようにする - Amazon Elastic Compute Cloud DiskSize="10G" MountPoint="/data"…

SQL workbench/JからRedshiftに接続して、テーブルが作成できない件

SQL workbench/J からRedshiftに接続して create table をすると、以下エラーが出てきて作成してくれませんでした。 Amazon Invalid operation: current transaction is aborted, commands ignored until end of transaction block DDL文に間違いはないはず…

WindowsにSQLworkbench/J インストールして、Redshiftへ接続する方法

Redshiftのマニュアルを読んでいると、SQLworkbench/Jなるものを利用してアクセスして欲しいっぽいので、自分のWindows10に設定してみます。下記の公式のマニュアルを参考に作業。 4. Installing and starting SQL Workbench/J SQLworkbench/J のダウンロー…

PowershellスクリプトをWindowsタスクで実行する

当たり前の話なのかもしれませんが、知らなかったのでメモ。WindowsでPowershellスクリプトをWindowsタスクで実行する場合の書き方。 こちらの@itの記事を参考にしています。 WindowsのタスクスケジューラーでPowerShellのスクリプトを実行する際には「パス…

Redshiftにて「allow-version-upgrade」の設定値を変更する方法

AWSコンソールからRedshiftを触っていて、メジャーバージョンアップを許可する"allow-version-upgrade"というパラメータがあるんですが、それを変更するような方法が見つからず、あれっとなりました。 AWS CLIのリファレンスを見に行って、modify-cluster と…

Amazon Linux でのHULFT自動起動/停止スクリプト

久しぶりにHULFT触ったのですが、Unix系のHULFTは、OS起動/停止時のスクリプトが用意されていないのですね。思い出しました。 なので、作成したものが下記です。 /etc/init.d/hulft に、以下のスクリプトを作成。 #!/bin/sh # chkconfig: - 99 1 # descripti…

オンプレSQLServerをRDSへ移行した話

最近、オンプレにあったSQLServer2008をRDS(SQLServer2012)へ移行したので、その時のメモです。 SQLServer2012 Upgrade Advisor を利用して事前確認 SQLServer自体のバージョンアップにもなるので、MSが提供しているUpgrade Advisorを利用してバージョン上げ…

ローカルに置いたテンプレートファイルを利用して、PowershellでCloudFormationスタックを作成する

ローカルにあるCloudFormationテンプレートを利用して、PowershellからCloudFormationスタックを作成するコマンド。地味にハマったので、メモ。 CloudFormationスタック作成用のコマンドレットはこちら。 AWS CloudFormation: New-CFNStack Cmdlet | AWS Too…

EC2のRedHatEnterpriseLinux7.4にxrdpを設定する

AWSでナレッジを公開してくれています。手順はxrdpをインストールして、起動設定しているだけ。サイトの情報は7.3ですが、7.4でも問題ありませんでした。 Windows から Amazon EC2 RHEL 7.3 デスクトップに接続する 以下は、EC2のユーザーデータに設定したス…

powershell:IPv6を無効にする

IPv6を無効にするPowershell。 Get-NetAdapterBinding | ? {$_.DisplayName -match 'ipv6'} | Set-NetAdapterBinding -Enabled $false

「データウェアハウスがわかる本」を読んだメモ

「データウェアハウスがわかる本」を読んだので、まとめ。 データウェアハウスがわかる本作者: 鈴木健司出版社/メーカー: オーム社発売日: 2000/06/01メディア: 単行本購入: 3人 クリック: 1回この商品を含むブログ (1件) を見る データウェアハウスの概念 …

RDSのインスタンス上限について

今日も今日とて、AWSでRDSを作っていたら以下のエラーが出てきて、インスタンスを作成できませんでした。 DB Instance quota exceeded for LicenseModel of license-included and Engine of oracle-se1 (Service: AmazonRDS; Status Code: 400; Error Code: …

CentOS7で時刻設定

CentOS7から、ntpdでなくchronyを利用するのですね。今後も設定するはずので、その時のためのメモ。ntpclientとして、chronydを利用する方法です。 こちらのサイトを参考にさせて頂きました。 CentOS7 CentOS 7 NTP クライアント時刻同期設定 - eTuts+ Serve…

SQLServer Agentにジョブを追加するコマンド

db

SQLServerにジョブを追加するコマンド。備忘録。 まず、事前に実行したいジョブのスケジュール定義を作成しておきます。 -- スケジュール定義の作成 USE msdb; EXEC dbo.sp_add_schedule @schedule_name = N'Daily 0900', @freq_type = 4, -- 実行間隔を指定…

awsのPython SDK "boto3"でDyanamoDBを操作する

boto3でDynamoDBを操作しようと思います。 AWS公式のtutorialでは、ec2を操作していますが、dynamodbいじるほうがおもしろそうなので、dynamoで。以下は前回のリンクです。 "Getting Started with AWS and Python"をboto3で試す その2 - goodbyegangsterのブ…

DynamoDBのインデックスについて、整理してみる

DynamoDBのインデックスの仕組みについて、いつも分からなくなるので情報を整理するために纏めておきます。 公式マニュアルやDevelopersI/Oを参考にしています(ありがとう、クラスメソッド!!)。 セカンダリインデックスを使用したデータアクセス性の向上…

Remote Desktop Organizer を使って、複数台のWindowsサーバへのログインを効率化してみた

複数台のWindowsサーバを管理していて、今時いちいちWindowsにログインしないといけないなんて、だるいし、そうすべきでない方法を確立すべきだとは思います。AWSであれば、System Manager Serviceとかあるし、オンプレならPowershellをリモートから実行して…

WindowsのRemoteDesktopGatewayを利用していて、自己署名証明書をすんごく長くする方法

WindowsのRemoteDesktopGatewayを利用していて、自己署名証明書が6ヶ月で切れてしまうのが煩わしかったのですが、これ、すんごく長くする方法があったのですね。知りませんでした。 WindowsServer2016で作業。 "Windows Software Development Kit (SDK) for…

"Getting Started with AWS and Python"をboto3で試す その2

前回の続きです。今回はSQSを操作するぞ。 "Getting Started with AWS and Python"をboto3で試す その1 - goodbyegangsterのブログ fifoのqueueを作成するため、NorthVirginaリージョンで作業します。 > import boto3 > sqs = boto3.resource('sqs', region…

"Getting Started with AWS and Python"をboto3で試す その1

AWS SDKを触ったことがなかったので、Python向けのSDKであるbotoをAWSのサイトにあるtutorialを参考に試してみます。botoはバージョンアップされており、現行の最新バージョンはboto3となっているので、その点を考慮しつつ勉強。 tutorialのページはこちら。…

SQLServer : ユーザ定義のインデックスを再編成

sql

ユーザ定義されたインデックスを調べて再編成してくれるTrasact-SQL。断片率が10%超の時に再編する。 DECLARE @INDEX_NAME sysname DECLARE @TABLE_NAME sysname DECLARE @SQL nvarchar(max) DECLARE @TEMPLATE_SQL nvarchar(max) SET @TEMPLATE_SQL = 'ALTE…

SQLServer : ユーザ定義のインデックスを再構築

sql

ユーザ定義されたインデックスを調べて再構築してくれるTrasact-SQL。 DECLARE @INDEX_NAME sysname DECLARE @TABLE_NAME sysname DECLARE @SQL nvarchar(max) DECLARE @TEMPLATE_SQL nvarchar(max) SET @TEMPLATE_SQL = 'ALTER INDEX @1 On @2 REBUILD with…

SQLServer : しきい値を決めてdatabaseを圧縮

sql

SQLServerで、しきい値を決めてdatabaseを圧縮するTrasact-SQL。 DECLARE @UsedPerc int SET @UsedPerc = (SELECT ROUND(FILEPROPERTY(name, 'SpaceUsed')/convert(float, size)*100, 0) as UsedPerc FROM sys.database_files where type_desc = 'ROWS') IF …

Splunkの初期システムリソース設定(ulimit)

Splunkサーバを作成した場合、基本Indexerが対象ですが、システムリソース(ulimit)の設定を変更しておく必要があります。そのメモ。参考は公式ドキュメント。 System requirements for use of Splunk Enterprise on-premises - Splunk Documentation Open fi…

AWSのRDSを停止したら、stoppingのステータスで止まってしまった話

AWSのRDSインスタンスを停止できるようになりましたね。使っていないならお金の無駄だし、ちまちま停止処理をしていました。(ちなみにRDSインスタンスを停止していても、1週間経過すると自動的に起動してきてしまうので、この点は注意です。) ある日、暫…

AWSのWindowsインスタンスでAuto Recoveryを設定しようとして、できなかった話

題名の通り、AWSのEC2コンソールから、WindowsインスタンスのAuto Recoveryを設定しようとしたところ、Auto Recoveryの選択肢がグレイアウトしており、選択できないという事がありました。こんな感じです。 原因調べるのに苦労したのですが、以下のknowledge…

AWSのLinuxインスタンスでCloudwatchLogsと連携する方法

Windows系のEC2インスタンスはSSM AgnetがPublic AMIに同梱されるようなったため、WindowsイベントログのCloudwatchLogsへの転送設定をSSMから実施できるようなりましたが、Linux系はawslogsのモジュールが必要となり、現在のところ追加でモジュールをインス…