AWS DataPipeline

Data Pipeline の ShellActivity で利用されるOSユーザについて

結論から言ってしまうと、 ec2-user です。「当たり前だろ」って感もありますが、マニュアルには書いてくれていないので。 尚、Task RunnerのEC2として利用できるAMIは、独自にも設定でき(LaunchさせたいAMIの指定パラメータ部分で、自分で作ったamiのidを指…

Data PipelineのSQL Activityで実行するSQLファイルに、複数のクエリを記載する

マニュアルには記載がないようなので、書いておきます。 Data PipelineのSQL Activityで、1度に複数のSQLクエリを実行できるか、という話です。S3に置いた1つのSQLファイルに、複数のステートメントを書いて実行きるのか否か、という話。結論からすると、 …

Data Pipeline に関する備忘録

Data Pipeline を触っていた時の備忘録です。 (1) Data Pipelineコンソールからは、作成できない設定が多数 GUIからは Preconditions や Resourcesは設定できない。JSONの定義ファイルを作成して、インポートしてあげる。というか、GUIがそもそも分かりにく…