Airflow の DAG ファイルのテスト方法について、調べた内容をまとめます。 環境 Apache Airflow 1.3.3 Python 3.7.13 実行環境は、下記以前の投稿で作成したローカル上の Airflow 環境になります。 Apache Airflow をローカル環境にインストールする - goodb…

Airflow の apache-airflow-providers-google を利用しながら、Airflow における Connection と Hook の概念について確認します。 環境 Apache Airflow 2.3.2 apache-airflow-providers-google 7.0.0 Connections とは Connections とは、Airflow から Airfl…

ローカル環境に Airflow をインストールします。 Installation from PyPI 環境 Ubuntu 20.04.4 LTS (WSL2) pyenv 2.3.1-20-g572a8bcf Python 3.7.13 Apache Airflow 2.3.2 Poetry で管理できれば、と思いましたが、未サポートとのことです。だとしても利用で…

Airflowにて、DAG の依存関係を設定する方法を確認します。今回も Astronomer 社のサイトより、下記ページを参考にしています。 Cross-DAG Dependencies 環境 Apache Airflow 2.3.2 TriggerDagRunOperator を利用する方法 TriggerDagRunOperator は、異なる …

Airflow の DAG 定義内で、タスクの条件分岐する方法を確認します。Astronomer 社のサイトを参考にしています。 Branching in Airflow 環境 Airflow 2.3.2 BranchPythonOperator を利用する BranchPythonOperator を利用する方法を確認します。以下は参考に…

公式ドキュメントにある tutorial の参考にしつつ、 Airflow の DAG 定義ファイルの書き方を確認します。 tutorial 環境 Apache Airflow 2.3.2 Python 3.7 DAG 定義ファイルの必要要素 必要となる要素の確認。 Python Library のインストール DAG オブジェク…

Apache Airflow を理解するため、公式ドキュメントの Quick Start を試してみます。Docker Compose を利用して Airflow 環境の作成ができるようです。 Running Airflow in Docker 環境 Ubuntu 20.04.4 LTS (WSL2) Docker 20.10.16 Docker Compose 2.6.0 Airf…