postgresqlと同じ方法で対応可能です。 方法１ 環境変数を利用する PGPASSWORD という環境変数にパスワードを、事前に設定することで対応できます。ただし、この方法は推奨されていません。 この環境変数の使用は、セキュリティ上の理由から現在では推奨され…

Data Pipeline を触っていた時の備忘録です。 (1) Data Pipelineコンソールからは、作成できない設定が多数 GUIからは Preconditions や Resourcesは設定できない。JSONの定義ファイルを作成して、インポートしてあげる。というか、GUIがそもそも分かりにく…

絶望しましたねえ。 レコード数は１億レコードは優に超えていたと思います。インターリーブソートキーを利用していて、全くVacuumしていないテーブルをVacuumしたところ、全く処理が終わらず、終らないどころかディスク使用率が100%に到達してしまいました。…

HULFTのシスログってどこにあるんだよ、って調べた時のメモです。設定ファイル /usr/local/HULFT/etc/hulenv.conf に記載あるとのこと。 デフォルトだと、こんな感じですね。 # トレース出力ファイル名 tlogfile = /usr/local/HULFT/etc/trace 処理エラー発…

題名の通りです。 Amazon Linuxにデフォルトで入っているPythonは、2系のかなり古いものなので、3系の新し目のPythonを入れて、併せてpndasも入れます。 Amazon Linux用yumのリポジトリに Python 3.6.5 がいるので、それを引っ張ってくればいいようです。昔…

置換対象の文字列の箇所にて、再利用したい文字列を () で囲むと、置換後文字列にて、値を再利用できます。置換後文字列の部分にて、再利用したい文字を \1 \2 みたく指定してあげます。知らなかったのでメモ。 こちらのQiitaの記事を参考にさせて貰いました…