ストリーミングフレームワークの紹介

美容・ファッションエキスパートによる魅力的なストリーミングフレームワークの紹介' (Biyō fasshon ekisupāto ni yoru miryokuteki na sutorīmingu furēmowāku no shōkai)

ストリーミングテクノロジーを評価および比較する際に考慮すべき主な特性の理解

イントロダクション

データアーキテクチャがますます成熟する中、ストリーミングはもはや贅沢ではなく、異なる業界で広範なアプリケーションを持つ技術となっています。技術的およびリソースの制約のため、バッチ処理は常にアプリケーションを処理および配信するための優先される方法でしたが、Apacheベースの分散システム上のマイクロバッチおよびネイティブストリーミングフレームワークの開発により、高スケールのストリーミングはよりアクセス可能になりました（図1）。

ストリーミングシステムの使用例としては、以下が挙げられます：トランザクションデータの異常値の検出、気象データ、リモート地域からのIoTデータ、ジオロケーションのトラッキングなど。

リアルタイム vs マイクロバッチ処理

ストリーミング処理システムには、マイクロバッチ処理とリアルタイム処理の2つの主要なタイプがあります：

• リアルタイムのストリーミング処理では、各レコードが利用可能になった時点で処理されます。したがって、これにより非常に低いレイテンシを持つシステムが可能となり、入力データを即座に使用する準備ができます（例：金融システムにおける不正トランザクションの検出など）。
• マイクロバッチ処理システムでは、データポイントが一つずつ処理されるのではなく、小さなブロックで処理され、特定の時間間隔または最大ストレージサイズに達した後に返されます。このタイプのアプローチでは、低いレイテンシよりも高いスループットが重視されます。最終的に、ストレージシステムに結果を出力する前に、実行時に集約（最小値、最大値、平均値など）、結合などの複雑な操作を行いたい場合に、マイクロバッチシステムは特に役立ちます。つまり、マイクロバッチ処理は、純粋なストリーミングとバッチの間の非常に良い妥協点と言えます（例：毎時のレポートタスクにおける平均気温など）。

• 「ビッグデータパイプラインのデータ品質を簡単に監視する方法」
• 機械学習モデルにおけるデータ過剰適合を避ける方法
• 「VoAGIニュース、11月8日：Python、SQL、Scikit-learn、PyTorch＆Google Cloudをマスターするための5つの簡単なステップ•データ可視化のためのSQL」

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!