Apache Beam

Dataflow(Streaming) に入門する

バッチ処理は前回試したので、Streaming の処理を作成してみます。Cloud Pub/Sub からデータを Subscribe して、Cloud Storage 上に Object を作成してみます。 参考です。 Dataflow を使用して Pub/Sub からメッセージをストリーミングする 上記チュートリ…

Dataflow に入門する

Apache Beam のプログラムを、Google Cloud の Dataflow 上で動かしてみます。GCS 上の SJIS のファイルを、BigQuery にロードする処理を試してみます。 下記の資料を参考にしています。 PipelineOptions を設定する Google BigQuery I/O connector 環境 Ubu…

Apache Beam に入門する

Apache Beam に入門してみます。ローカル上で Apache Beam を使った簡単なプログラムが動くまでを試してみます。 Apache Beam GitHub - Apache Beam Apache Beam SDK for Python 下記あたりを参考にしています。 beam/sdks/python/apache_beam/examples/word…