Google Pub/SubからBigQueryへの簡単な方法

Google Pub/SubからBigQueryへの簡単な方法

シンプルなメッセージとストリーミングインジェクションのためのBigQueryサブスクリプションをPub/Subで実装するための実践的なガイド

動機

私は過去にPub/SubメッセージをBigQueryテーブルに取得したいと思う状況に何度も遭遇しましたが、特に簡単な方法を見つけることができませんでした。

データフローパイプラインを設定することもできますが、これには理解、設定、管理、デバッグのための追加のインフラストラクチャが必要です。さらに、Dataflow（管理されたApache Beamサービス）は高スループットストリーミング用に設計されているため、単純なメッセージロギングや監視システムにはオーバーキルに思えました。

それに、Javaです。でもPython 😀！そしてJava… 😫！

public static string args void main... public static string args void main... public static string args void main... public static string args void main... public static string args void main... arrrrrrrrrrrrgh

すみません、私はまだJavaでコーディングしようと最初に試みたとき（昨世紀）のフラッシュバックを起こします。そのコードスニペットを使用しようとしないでください…コードスニペットから離れてください。

• アナリストによると、ジェネレーティブAIにおいて、AppleはMicrosoftやGoogleに比べて大幅に遅れているとのことです
• 「Amazon SageMakerを使用して、マルチクラウド環境でMLモデルをトレーニングおよびデプロイする」
• 「チャットボットを使って自動運転車の会社が車をよりスマートにする」

次に、これにつまずきましたが、前の方法（Debezium wtf？）よりもさらに複雑に見えるものです。

また、Pub/Subメッセージの受信時にトリガーする軽量なクラウド関数を展開して、これをBigQueryにストリームまたはロードすることもできますが、これはまだネイティブの機能であるべきと感じられるものに対してやや複雑すぎるように思えました。

そして今、それは可能です！

Google Cloudの親切な方々が以前にPub/SubからBigQueryへの直接接続を発表しました、素晴らしいですね！ただし、テストをすばやく設定しようとして何度か失敗した後、クライアントのために実際のユースケースが必要となり、それを動作させる必要がありました。

いくつかの微妙なニュアンスがあることがわかりましたので、この記事はできるだけ早くこれを実行できるようにお手伝いします。

状況

Pub/SubはGoogle Cloudエコシステムで非常に便利で強力かつスケーラブルなサービスで、2つの主要なユースケースがあります：ストリーミング…

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!