バッチ処理は前回試したので、Streaming の処理を作成してみます。Cloud Pub/Sub からデータを Subscribe して、Cloud Storage 上に Object を作成してみます。 参考です。 Dataflow を使用して Pub/Sub からメッセージをストリーミングする 上記チュートリ…

Apache Beam のプログラムを、Google Cloud の Dataflow 上で動かしてみます。GCS 上の SJIS のファイルを、BigQuery にロードする処理を試してみます。 下記の資料を参考にしています。 PipelineOptions を設定する Google BigQuery I/O connector 環境 Ubu…