ローカル環境に Airflow をインストールします。 Installation from PyPI 環境 Ubuntu 20.04.4 LTS (WSL2) pyenv 2.3.1-20-g572a8bcf Python 3.7.13 Apache Airflow 2.3.2 Poetry で管理できれば、と思いましたが、未サポートとのことです。だとしても利用で…

Airflowにて、DAG の依存関係を設定する方法を確認します。今回も Astronomer 社のサイトより、下記ページを参考にしています。 Cross-DAG Dependencies 環境 Apache Airflow 2.3.2 TriggerDagRunOperator を利用する方法 TriggerDagRunOperator は、異なる …

Airflow の DAG 定義内で、タスクの条件分岐する方法を確認します。Astronomer 社のサイトを参考にしています。 Branching in Airflow 環境 Airflow 2.3.2 BranchPythonOperator を利用する BranchPythonOperator を利用する方法を確認します。以下は参考に…

Python の標準モジュールで用意されている queue 関連のライブラリについて確認します。 環境 Python 3.9.13 queue 関連のライブラリ 以下があります。 種類 queue モジュール その他モジュール キュー queue.Queue collections.deque スタック queue.LifoQu…

公式ドキュメントにある tutorial の参考にしつつ、 Airflow の DAG 定義ファイルの書き方を確認します。 tutorial 環境 Apache Airflow 2.3.2 Python 3.7 DAG 定義ファイルの必要要素 必要となる要素の確認。 Python Library のインストール DAG オブジェク…

Apache Airflow を理解するため、公式ドキュメントの Quick Start を試してみます。Docker Compose を利用して Airflow 環境の作成ができるようです。 Running Airflow in Docker 環境 Ubuntu 20.04.4 LTS (WSL2) Docker 20.10.16 Docker Compose 2.6.0 Airf…

備忘録です。 目的 Google Cloud のプロジェクトを環境毎に作成していて、BigQuery の設定名がプロジェクト単位で若干違う、という事があると思います。今回の下記例では、プロジェクト毎にデータセット名が異なっていて、それ以外は全く同一の SQL を実行し…

公式ドキュメントを参考に、基本的な部分を確認します。 https://python-poetry.org/ 環境 Ubuntu 20.04.4 LTS Python 3.8.10 Poetry 1.1.13 Poetry のインストール $ curl -sSL https://install.python-poetry.org | python3 - $ echo 'export PATH="/home/…