デジタルネイティブ（クラウドで生まれた人々）のデータストリーミングの現状

デジタルネイティブのデータストリーミング現状

このブログ投稿では、クラウドで生まれたデジタルネイティブの2023年のデータストリーミングの状況について探求します。デジタルサービスの進化と新しいビジネスモデルは、リアルタイムのエンドツーエンドの可視性、素晴らしいモバイルアプリ、革新的な技術との統合など、完全に管理されたクラウドサービスによる迅速なマーケット投入のための革新的なテクノロジー（5Gの低遅延、拡張現実など）を必要とします。データストリーミングを使用すると、Apache Kafkaを活用して最も革新的なアプリケーションを改善するために、リアルタイムで任意のスケールでデータを統合および相関させることができます。

私は、デジタルネイティブにとってデータストリーミングがビジネスの促進要素としてどのように役立つかを探るためのトレンドを見ています。New Relic、Wix、Expedia、Apna、Grabなどの顧客の事例も含まれています。完全なスライドデッキとオンデマンドのビデオ録画も含まれています。

デジタルネイティブの一般的なトレンド

デジタルネイティブは、クラウドで生まれたデータ駆動型のテック企業です。SaaSソリューションは、弾力性と柔軟性のあるクラウドネイティブインフラストラクチャ上に構築されています。AIと機械学習は、データがバックエンドシステムを通過する間にビジネスプロセスを改善します。

2023年のデータ駆動型企業

McKinsey and Companyは、データ駆動型企業を定義する7つの特徴について優れた記事を公開しました：

• アステラソフトウェアのCOO、ジェイ・ミシュラ – インタビューシリーズ
• 高度なPython：関数
• AIのオリンピック：機械学習システムのベンチマーク

1. すべての意思決定、相互作用、プロセスにデータが埋め込まれている
2. データはリアルタイムで処理および配信される
3. 柔軟なデータストアが統合された、使用準備完了のデータを可能にする
4. データの運用モデルは製品と同じようにデータを扱う
5. 最高データ責任者の役割は価値を生み出すために拡大される
6. データエコシステムへの参加が当たり前になる
7. プライバシー、セキュリティ、回復力のために、データ管理が優先され自動化される

このMcKinsey and Companyの引用は、データストリーミングの価値がデータを適切なタイミングで正しいコンテキストで使用することに一致しています。以下の成功事例は、これらの特徴を活用したデータ駆動型のものです。

クラウドで生まれたデジタルネイティブ

デジタルネイティブの企業にはさまざまな意味があります。IDCには素晴らしい定義があります：

“IDCは、デジタルネイティブビジネス（DNB）を、物流からビジネスモデル、顧客エンゲージメントまで、すべての側面でデータとAIを活用し、現代のクラウドネイティブ技術に基づいて構築した会社と定義しています。すべての主要な価値や収益を生み出すプロセスは、デジタルテクノロジーに依存しています。”

企業はクラウドで生まれ、完全に管理されたサービスを活用しており、その結果、市場投入までの時間が短くイノベーションが行われています。

AIと機械学習（バズワードの向こう側）

Gartnerによれば、「ChatGPTは素晴らしいですが、ジェネレーティブAIの企業利用はもっと洗練されたものです」と述べています。私も同意します。しかし、さらに興味深いのは、機械学習（エンタープライズ向けのAIの一部）は既に多くの企業で使用されているということです。

最近は誰もがジェネレーティブAI（GenAI）について話題にしていますが、私は多くの年間にわたって詐欺の検出、顧客へのアップセル、機械の故障予測などに解析モデルを活用した実際の成功事例について話すことを好みます。GenAIは、より高度なモデルですが、同じようにITインフラストラクチャやビジネスプロセスに組み込むことができます。

デジタルネイティブテック企業におけるデータストリーミング

業界全体でのトレンドを採用するためには、企業が適切なコンテキストで情報を提供し相関させることができる必要があります。リアルタイム、つまりミリ秒、秒、または分単位で情報を使用することは、後でデータを処理するよりもほぼ常に優れています。

デジタルネイティブは、データストリーミングのすべてのパワーを組み合わせています。真の切り離しのためのスケーラブルなストレージでのリアルタイムメッセージング、データの統合、およびデータの相関能力です。

Apache Kafkaエコシステムとクラウドサービスを使用したデータストリーミングは、あらゆる業界のサプライチェーン全体で使用されています。以下にいくつかの例を示します：

クラウドネイティブインフラストラクチャによる弾力的なスケーリング

クラウドネイティブのSaaSオファリングの最も重要な利点の1つは、弾力的なスケーラビリティです。テック企業は、小さなフットプリントで新しいプロジェクトを開始し、必要に応じて支払いを行うことができます。プロジェクトが成功した場合や業界のピーク時（ブラックフライデーや小売業のクリスマスシーズンなど）には、クラウドネイティブインフラストラクチャはピーク後にスケーリングアップし、その後スケーリングダウンします。

証明概念から極端なスケールまでアーキテクチャを変更する必要はありません。Confluentの完全に管理されたApache Kafka向けSaaSは、その優れた例です。Confluent CloudでApache Kafkaを1秒あたり10GB以上にスケーリングする方法を学び、アプリケーションを再設計する必要がないままできます。

データストリーミング + AI/機械学習 = リアルタイムインテリジェンス

Kafkaを使用したデータストリーミングとTensorFlowまたは他のMLフレームワークを使用した機械学習の組み合わせは、何も新しいものではありません。私は2017年、つまり6年前に「Apache Kafkaを使用した本番環境でのスケーラブルな機械学習の構築と展開」というテーマで探求しました。

それ以降、私はさまざまな企業のデータストリーミングと機械学習の導入をサポートするため、多くの記事を執筆してきました。以下はそのようなアーキテクチャの例です。

データメッシュによる分離、柔軟性、およびデータ製品への焦点

デジタルネイティブは、モノリシックで専有的かつ柔軟性に欠けるレガシーインフラに頼る必要はありません（しない）。代わりに、テック企業は現代的なアーキテクチャからゼロから始めます。ドメイン駆動設計とマイクロサービスはデータメッシュで組み合わされ、ビジネスユニットはデータ製品の問題を解決することに焦点を当てます。

デジタルネイティブが使用するデータストリーミングのアーキテクチャトレンド

デジタルネイティブは、コスト、柔軟性、セキュリティ、およびレイテンシの向上のために企業アーキテクチャのトレンドを活用しています。テック企業で最近見られる4つの重要なトピックは次のとおりです。

• データメッシュを使用した分散化
• ラムダの代わりにカッパアーキテクチャ
• グローバルなデータストリーミング
• データストリーミングとAI/機械学習

データストリーミングを活用した企業アーキテクチャを詳しく見ていきましょう。

データメッシュによる分散化

データメッシュには単一の技術や製品はありません。ただし、分散型データメッシュインフラの中心は、リアルタイムで信頼性の高いスケーラブルなものである必要があります。

Apache Kafkaを使用したデータストリーミングは、データメッシュの完璧な基盤です。ダムパイプとスマートエンドポイントの組み合わせにより、独立したアプリケーションを真に切り離すことができます。このドメイン駆動設計により、チームはデータ製品に焦点を当てることができます。

データレイクやデータウェアハウスとは異なり、データストリーミングプラットフォームはリアルタイムでスケーラブルかつ信頼性の高いものです。これは分散化されたデータメッシュを構築するためのユニークな利点です。

ラムダの代わりにカッパアーキテクチャ

カッパアーキテクチャは、トランザクションおよび分析ワークロードのリアルタイムの処理をすべてのスケールで処理できるイベントベースのソフトウェアアーキテクチャです。

カッパアーキテクチャの中心的な前提は、単一の技術スタックでリアルタイムおよびバッチ処理を実行できることです。このインフラストラクチャの中心はストリーミングアーキテクチャです。

ラムダアーキテクチャとは異なり、このアプローチでは、処理コードが変更され、結果を再計算する必要があるときにのみ再処理します。

グローバルなデータストリーミング

Apache Kafkaのマルチクラスタおよびクロスデータセンターデプロイメントは、例外ではなく、一般的なものとなっています。

多くのシナリオでは、特定の要件とトレードオフを伴うマルチクラスタKafkaデプロイメントが必要です。これには、災害復旧、分析のための集約、クラウド移行、ミッションクリティカルなストレッチデプロイメント、およびグローバルKafkaなどがあります。

データストリーミングを使用した自然言語処理（NLP）によるリアルタイム生成AI（GenAI）

自然言語処理（NLP）は、サービスデスクの自動化、チャットボットによる顧客対話、ソーシャルネットワークでのコンテンツモデレーションなど、現実世界の多くのプロジェクトに役立っています。生成AI（GenAI）は、これらの分析モデルの「最新世代」です。多くの企業は長年にわたりNLPをデータストリーミングと組み合わせてリアルタイムのビジネスプロセスに活用しています。

Apache Kafkaは、さまざまなデータソースの統合、スケーラビリティのある処理、およびリアルタイムモデル推論のための、これらの機械学習プラットフォームでのオーケストレーションレイヤーとして主要な存在となりました。

以下は、チームが簡単に生成ベースのAIや他の機械学習モデル（大規模言語モデル、LLMなど）を既存のデータストリーミングアーキテクチャに追加する方法を示すアーキテクチャです：

市場投入までの時間は重要です。AIは完全に新しいエンタープライズアーキテクチャを必要としません。真の分離により、新しいアプリケーション/テクノロジーを追加し、既存のビジネスプロセスに組み込むことができます。

優れた例としては、エクスペディアがあります。このオンライン旅行会社は、既存のコールセンターシナリオにチャットボットを追加してコスト削減、応答時間の短縮、お客様の満足度向上を図りました。

データストリーミングを使用するデジタルネイティブの新しい顧客ストーリー

データストリーミングには非常に多くのイノベーションが起こっています。 デジタルネイティブがリードしています。自動化とデジタル化により、テック企業が完全に新しいビジネスモデルを作り出す方法が変わりました。

ほとんどのデジタルネイティブは、ITインフラストラクチャの運用ではなく、ビジネスロジックに焦点を当てるために、タイム・トゥ・マーケットの改善、柔軟性の向上、ビジネスロジックへの注力を目指し、クラウドファーストのアプローチを採用しています。弾力性のあるスケーラビリティは、最初は小さく始めても大きく、グローバルに考える際にさらに重要になります。

以下は、世界の通信会社の顧客ストーリーの一部です：

• New Relic：リアルタイムおよび過去の分析のために1分間に最大70億のデータポイントを取り込むオブザーバビリティプラットフォーム。
• Wix：グローバルなデータメッシュを使用したオンラインドラッグ＆ドロップツールを備えたWeb開発サービス。
• Apna：AIを活用したインド最大の採用プラットフォームで、クライアントのニーズに応じてアプリケーションをマッチングします。
• エクスペディア：フルフィルメント、自然言語理解、リアルタイム分析などの複雑な技術を組み込んだ会話型チャットボットサービスにデータストリーミングを活用するオンライントラベルプラットフォーム。
• アレックスバンク：リアルタイムデータを使用して新しいデジタルバンキング体験を実現する100％デジタルでクラウドネイティブな銀行。
• Grab：130万以上のデバイスを監視し、1日に2000万以上のAIによるリスク判定を生成するアジアのモビリティサービスに組み込まれたサイバーセキュリティプラットフォーム。

詳細を学ぶためのリソース

このブログ記事はスタート地点に過ぎません。以下のオンデマンドウェビナーの録画、関連するスライドデッキ、およびユースケースに関する素晴らしいライトボードビデオなどのさらなるリソースについて学んでください。

オンデマンドビデオ録画

このビデオ録画では、データストリーミングのトレンドとアーキテクチャについて探求します。 主な焦点はデータストリーミングの事例研究です。以下のオンデマンド録画をご覧ください：

スライド

スライドを使用した上記録画のデッキをご覧ください：

スライド：2023年のデジタルネイティブ向けApache Kafkaの現状

デジタルネイティブのデータストリーミング事例およびライトボードビデオ

2023年のデジタルネイティブ向けのデータストリーミングの状況は非常に興味深いです。 新しいユースケースや事例が毎月登場しています。これには、組織全体でのより良いデータガバナンス、ネットワークインフラストラクチャやモバイルアプリからのリアルタイムデータ収集および処理、新しいビジネスモデルによるデータ共有とB2Bパートナーシップなどのシナリオが含まれます。

私たちは、データストリーミングのビジネス価値、関連するアーキテクチャ、および顧客ストーリーを簡単かつ効果的に示すライトボードビデオを録画しました。これらの5分間のビデオでは、データストリーミングのビジネス価値、関連するアーキテクチャ、および顧客ストーリーについて紹介しています。お楽しみに。リンクは数週間以内に更新し、各ストーリーとライトボードビデオごとに別のブログ記事として公開します。

そして、これは始まりに過ぎません。毎月、異なる業界でデータストリーミングの状況について話します。最初は製造業、次に金融サービス、そして小売業、電気通信業、デジタルネイティブ、ゲーミングなどです。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!