トップ3のデータアーキテクチャのトレンド（およびLLMsがそれらに与える影響）

'トップ3のデータアーキテクチャのトレンドとLLMsの影響'

データアーキテクチャの次の時代を迎える：トレンドのトップ3とLLMの影響力を明らかにする

私は昨年、データアーキテクチャのトレンドについて記事を公開しました。

これは、Large Language Models (LLMs)がブームになり、ほとんどの産業に影響を与える前のことです。ガートナーの報告によると、「過去3年間で、ベンチャーキャピタル企業は生成型AIソリューションに17億ドル以上を投資しています」とあります。間違いなく、LLMsはデータアーキテクチャのほとんどの領域に影響を与えるでしょう。

それを踏まえて、3つのアーキテクチャのトレンドとLLMsがそれらにどのように影響するかを探ってみましょう。

1. コ・パイロットを使用したコスト最適化

私はエンドユーザーが効率的にタスクを完了するのを支援するコ・パイロットの大ファンです。

• アナリティクスを台無しにするステークホルダーの不適切な管理
• データサイエンティストのためのAI Chrome拡張機能チートシート
• VoAGIニュース、6月28日：データサイエンスのチートシートのための10のChatGPTプラグイン • データ分析を自動化するChatGPTプラグイン

私はGrammarlyの定期的なユーザーであり、それがどのように書かれたコンテンツの編集プロセスを迅速化するのに役立つかを高く評価しています。同様に、コ・パイロットはデータアーキテクチャを含む私たちの仕事のほとんどで主役を務めるでしょう。

データアーキテクトの日常業務には、データモデル設計の側面、標準の設定、ガバナンス構造の実装などが含まれます。Microsoftのようなコ・パイロットは、メールの文章を完成させたり、仕様書に基づいてアナウンスメントを作成したりするのに役立ちます。同様に、データアーキテクトのためのコ・パイロットは、デザインの制約を理解し、ユーザーの要件だけでエンティティ関係図（ERD）を完成させることができます。コ・パイロットはアーキテクトと協力し、彼らの日常業務を迅速化するのに役立ちます。

生産性が急上昇した場合、企業がコストを最適化する方法を探すことは驚くことではありません。何千もの仕事が影響を受けるという推計もあります。

例えば、経営コンサルタントは、効率を見つけることで組織の再構築やオーバーヘッドコストの削減を支援してきました。同様に、コ・パイロットの導入により、AIによるタスクの完了により、人的資源が減少することが予想されます。デザイン文書の作成、承認済みのパターンに従ったデータアーキテクチャ図の作成、データモデルと関連するSQLクエリの作成、承認された標準に対するSQLの監査などのタスクがこれに含まれます。

コ・パイロットは効率性とコスト削減につながるでしょう！

2. コンテキスト駆動型アナリティクス

クラウドでストレージの問題は解決したかもしれませんが、コンテキストの問題を解決する必要があります。

データ自体は単なるテキスト/数字の連続です。価値はそれにコンテキストを加えることで実現されます。そして、「データコンテキスト」は数十億ドルの産業です。

データコンテキストには、ビジネスや技術のメタデータ、ガバナンスやプライバシーのニーズ、アクセシビリティやセキュリティの要件が含まれます。この産業は2028年までに倍増すると予想されていましたが、その成長のどれくらいがLLMsによって活用されるのか疑問です。例えば、セマンティックエンベディングやベクトルデータベースを使用することで、データコンテキストツールを広範に実装する必要なく、データを迅速にコンテキスト化することができます。エンベディングを使用して異常を検出できるなら、包括的なガバナンスフレームワークは必要ありませんか？これにより、LLMsによるさらなるコスト最適化が促進されます。

データパイプライン、変換、ラインナップにAIを組み込むことでコンテキストを構築することができます。そして、このコンテキストは、アナリティクスや規制要件のためのエンドユーザーの質問に答えるために頼ることができます。例えば、このデータには個人情報が含まれていますか？含まれている場合は、特定のアナリティクスのユースケースからフィルタリングして除外します。

このイメージは、従来のデータカタログのように情報をキャプチャするコンテキストレイヤーを示しており、LLMsの力を活用して人間の介入を劇的に減らす役割を果たします。

コンテキストがデータを価値あるものにします。LLMsを使用することで、より迅速にそれを実現することができます。

3. データアーキテクチャエコシステムの立ち上げ

私たちは、分断されたアーキテクチャにうんざりしています。

ガバナンスツールがデータレイクと統合されず、ソースシステムが分析を考慮して設計されていない、または複数の真実の源が存在するアーキテクチャです。

エコシステムは、Appleのような消費者企業の提供と同様になる必要があります。個別に有用なさまざまなサポート可能な製品を持つ主要な製品によって、驚くべきエコシステムが共同で作成されます。例えば、データ製品マーケットプレイス（iPhone）は、データの可観測性フレームワーク（Watch）から情報を表示し、単一のアクセス方法（Face ID）によって管理されます。データアーキテクチャは、統合がもはや弱点ではないエコシステムの中に存在します。これがゲームチェンジャーになります。

エコシステムは、異なるソース間で情報の重複を減らすリスクを低減します（たとえば、iMessagesはすべてのデバイスで同期されます）。 OBT（One Big Table）などの概念を使用して、これを革新しようとするスタートアップも既に存在しています。エコシステムはまた、データの定義を意味します。標準は一度設定され、各領域に伝播されるため、複製のコストが削減されます。

たとえば、顧客取引テーブルはCRMシステムから情報を取得し、デフォルトでは分析に必要な必須フィールドをキャプチャするように設計されています[1]。データが転送されると、目的に適したデータであることを確認するために一連のデータ品質チェックが行われます[2]。変換されたデータは、データが欠落していないことを保証するために調整情報がキャプチャされます[3]。消費の前に、データは個人データのバケットに分類され、適切なガバナンスハーネスが設定されます[4]。これらのプロセスはそれ自体で重要ですが、データが最終的に製品化されると、そのデータセットに対して[1]〜[4]を視覚化し、データを信頼できるという点で非常に強力です。

結論

モダンデータスタック自体に独自のハイプがあるかのように、今度はGenAIのハイプも登場しました。これらのトレンドが今後12〜18ヶ月でどのように展開されるか興味深いです。すでに基盤に投資している企業がこれらのトレンドを利用し、データ品質やガバナンスに投資していない企業が常に遅れを取ることを予想しています。

これらのトレンドに対する基本的な要求は良質なデータです。良質なデータがなければ、共同パイロットを行ったり、コンテキストを追加したり、効果的なデータアーキテクチャを持つことはできません。それは達成が最も難しいことの一つですが、同時に最も大きな投資対効果を持っています。

データ品質イニシアチブのためのビジネスケースの作成から、品質の低いデータの影響まで、すべてを学びたいですか？私の究極のデータ品質ハンドブックをチェックしてください：

究極のデータ品質ハンドブック

データの力を解き放て：究極のデータ品質ハンドブックは、データの優れた実現を目指すための包括的なガイドです…

hanzalaqureshi.gumroad.com

VoAGIに登録していない場合は、私の紹介リンクを使用して登録を検討してください。Netflixよりも安く、客観的にはより良い時間の使い方です。私のリンクを使用すると、私は少額の手数料を得ることができ、VoAGIの無制限のストーリーにアクセスできます。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!