マニュアルには記載がないようなので、書いておきます。 Data PipelineのSQL Activityで、１度に複数のSQLクエリを実行できるか、という話です。S3に置いた１つのSQLファイルに、複数のステートメントを書いて実行きるのか否か、という話。結論からすると、 …

postgresqlと同じ方法で対応可能です。 方法１ 環境変数を利用する PGPASSWORD という環境変数にパスワードを、事前に設定することで対応できます。ただし、この方法は推奨されていません。 この環境変数の使用は、セキュリティ上の理由から現在では推奨され…

Data Pipeline を触っていた時の備忘録です。 (1) Data Pipelineコンソールからは、作成できない設定が多数 GUIからは Preconditions や Resourcesは設定できない。JSONの定義ファイルを作成して、インポートしてあげる。というか、GUIがそもそも分かりにく…

絶望しましたねえ。 レコード数は１億レコードは優に超えていたと思います。インターリーブソートキーを利用していて、全くVacuumしていないテーブルをVacuumしたところ、全く処理が終わらず、終らないどころかディスク使用率が100%に到達してしまいました。…

HULFTのシスログってどこにあるんだよ、って調べた時のメモです。設定ファイル /usr/local/HULFT/etc/hulenv.conf に記載あるとのこと。 デフォルトだと、こんな感じですね。 # トレース出力ファイル名 tlogfile = /usr/local/HULFT/etc/trace 処理エラー発…

題名の通りです。 Amazon Linuxにデフォルトで入っているPythonは、2系のかなり古いものなので、3系の新し目のPythonを入れて、併せてpndasも入れます。 Amazon Linux用yumのリポジトリに Python 3.6.5 がいるので、それを引っ張ってくればいいようです。昔…

置換対象の文字列の箇所にて、再利用したい文字列を () で囲むと、置換後文字列にて、値を再利用できます。置換後文字列の部分にて、再利用したい文字を \1 \2 みたく指定してあげます。知らなかったのでメモ。 こちらのQiitaの記事を参考にさせて貰いました…

Redshiftにて、ユーザのSYSLOG ACCESS UNRESTRICTEDが正しく設定されているかどうか、カタログテーブルや管理ビューで確認する方法はないそうです。 SYSLOG ACCESS UNRESTRICTED/RESTRICTED とは、 Amazon Redshift のシステムテーブルとビューに対するユー…

Windows10で利用する時の方法です。尚、SQL Workbench/Jをインストールする方法はこちら。 WindowsにSQLworkbench/J インストールして、Redshiftへ接続する方法 - goodbyegangsterのブログ psqlをダウンロードします。Windowsでは、psql単体のみでインストー…

地味に困ったので、メモ。 以下みたいなCloudFormationのテンプレートを作成時。 AWSTemplateFormatVersion: 2010-09-09 Parameters: (略) SecurityGroupIdsParm: Description: Select SecurityGroupIds Type: 'List<AWS::EC2::SecurityGroup::Id>' (略) Resources: EC2Instance: Type: 'A</aws::ec2::securitygroup::id>…

AWSのEC2にて、UserDataに記載することをイメージしています。 基本的な手順はAWSのマニュアル通り、それをスクリプトにしているだけです。 Amazon EBS ボリュームを使用できるようにする - Amazon Elastic Compute Cloud DiskSize="10G" MountPoint="/data"…

SQL workbench/J からRedshiftに接続して create table をすると、以下エラーが出てきて作成してくれませんでした。 Amazon Invalid operation: current transaction is aborted, commands ignored until end of transaction block DDL文に間違いはないはず…

Redshiftのマニュアルを読んでいると、SQLworkbench/Jなるものを利用してアクセスして欲しいっぽいので、自分のWindows10に設定してみます。下記の公式のマニュアルを参考に作業。 4. Installing and starting SQL Workbench/J SQLworkbench/J のダウンロー…

当たり前の話なのかもしれませんが、知らなかったのでメモ。WindowsでPowershellスクリプトをWindowsタスクで実行する場合の書き方。 こちらの@itの記事を参考にしています。 WindowsのタスクスケジューラーでPowerShellのスクリプトを実行する際には「パス…

AWSコンソールからRedshiftを触っていて、メジャーバージョンアップを許可する allow-version-upgrade というパラメータがあるんですが、それを変更するような方法が見つからず、あれっとなりました。 AWS CLIのリファレンスを見に行って、modify-cluster と…

久しぶりにHULFT触ったのですが、Unix系のHULFTは、OS起動/停止時のスクリプトが用意されていないのですね。思い出しました。 なので、作成したものが下記です。 /etc/init.d/hulft に、以下のスクリプトを作成。 #!/bin/sh # chkconfig: - 99 1 # descripti…

最近、オンプレにあったSQLServer2008をRDS(SQLServer2012)へ移行したので、その時のメモです。 SQLServer2012 Upgrade Advisor を利用して事前確認 SQLServer自体のバージョンアップにもなるので、MSが提供しているUpgrade Advisorを利用してバージョン上げ…

ローカルにあるCloudFormationテンプレートを利用して、PowershellからCloudFormationスタックを作成するコマンド。地味にハマったので、メモ。 CloudFormationスタック作成用のコマンドレットはこちら。 AWS CloudFormation: New-CFNStack Cmdlet | AWS Too…

AWSでナレッジを公開してくれています。手順はxrdpをインストールして、起動設定しているだけ。サイトの情報は7.3ですが、7.4でも問題ありませんでした。 Windows から Amazon EC2 RHEL 7.3 デスクトップに接続する 以下は、EC2のユーザーデータに設定したス…

IPv6を無効にするPowershell。 Get-NetAdapterBinding | ? {$_.DisplayName -match 'ipv6'} | Set-NetAdapterBinding -Enabled $false

「データウェアハウスがわかる本」を読んだので、まとめ。 データウェアハウスがわかる本作者: 鈴木健司出版社/メーカー: オーム社発売日: 2000/06/01メディア: 単行本購入: 3人 クリック: 1回この商品を含むブログ (1件) を見る データウェアハウスの概念 …

今日も今日とて、AWSでRDSを作っていたら以下のエラーが出てきて、インスタンスを作成できませんでした。 DB Instance quota exceeded for LicenseModel of license-included and Engine of oracle-se1 (Service: AmazonRDS; Status Code: 400; Error Code: …

CentOS7から、ntpdでなくchronyを利用するのですね。今後も設定するはずので、その時のためのメモ。ntpclientとして、chronydを利用する方法です。 こちらのサイトを参考にさせて頂きました。 CentOS7 CentOS 7 NTP クライアント時刻同期設定 - eTuts+ Serve…

SQLServerにジョブを追加するコマンド。備忘録。 まず、事前に実行したいジョブのスケジュール定義を作成しておきます。 -- スケジュール定義の作成 USE msdb; EXEC dbo.sp_add_schedule @schedule_name = N'Daily 0900', @freq_type = 4, -- 実行間隔を指定…

boto3でDynamoDBを操作しようと思います。 AWS公式のtutorialでは、ec2を操作していますが、dynamodbいじるほうがおもしろそうなので、dynamoで。以下は前回のリンクです。 "Getting Started with AWS and Python"をboto3で試す その2 - goodbyegangsterのブ…

DynamoDBのインデックスの仕組みについて、いつも分からなくなるので情報を整理するために纏めておきます。 公式マニュアルやDevelopersI/Oを参考にしています（ありがとう、クラスメソッド！！）。 セカンダリインデックスを使用したデータアクセス性の向上…

複数台のWindowsサーバを管理していて、今時いちいちWindowsにログインしないといけないなんて、だるいし、そうすべきでない方法を確立すべきだとは思います。AWSであれば、System Manager Serviceとかあるし、オンプレならPowershellをリモートから実行して…

WindowsのRemoteDesktopGatewayを利用していて、自己署名証明書が６ヶ月で切れてしまうのが煩わしかったのですが、これ、すんごく長くする方法があったのですね。知りませんでした。 WindowsServer2016で作業。 "Windows Software Development Kit (SDK) for…