CloudwatchLogsをDatadogへ連携する - goodbyegangsterのブログ

AWSのCloudwatchLogsやs3上のログを、DatadogのLogManagementまで連携するための設定を調べてみました。公式のマニュアルはこちら。

連携用Lambdaファンクションを用意

まずAWSから各種ログを、Datadogまで連携するためのLambdaファンクションを用意してあげる必要があります。

ファンクション作成用のserverless repositoryが公開されており、ここからデプロイすれば該当となるLambdaファンクションをCloudFormation経由で作ってくれます。

コードはGithubにて公開されているため、それを利用して作成することも可能です。

利用するメモリサイズは1GB、タイムアウト値は120秒とするのが推奨のようです。

f:id:goodbyegangster:20190331002205p:plain

Datadog APIキー情報を、Lambda環境変数として設定する必要があります。APIキーを与える方法として、以下の３つがあります。

KMS Encrypted key
- Lambdaの環境変数設定部分で、Encryption Configurationを利用して、Key値を DD_KMS_API_KEY として、Value値にAPIキー情報を登録
- Lambda環境変数を暗号化する公式手順
  - 機密情報を保存するために、環境変数を使用して Lambda 関数を作成する - AWS Lambda
Lambdaの環境変数を設定
- Lambdaの環境変数設定部分で、Key値を DD_API_KEY として、Value値にAPIキー情報を登録
直接コードに記載
- コード内の <your_api_key> 部分に、APIキー情報を入れ込む

今回はKMSの設定を採用しています。

f:id:goodbyegangster:20190331002253p:plain

コード内の metadata に追加することで、取込むログレコードに独自の文字列(メタデータ)を追加できます。

metadata = {
    "ddsourcecategory": "aws",
    "metadata": "test"
}

Datadogに取込むログレコードに、独自のタグを設定できます。Lambdaの環境変数にKey値 DD_TAGS として登録したValue値が、カスタムタグとして設定されます。

Event Templateを Cloudwatch Logs にして、テストを実行、エラーが発生しないことを確認します。尚このテストでは、Datadog側には何も出力されていません。

作成したLambdaファンクションのトリガーとして、CloudwatchLogsまたはs3を設定することで、トリガーとして指定したログをDatadogに連携されるようになります。公式手順はこちらです。

簡単ですね。