「VAST DataのプラットフォームがAIイノベーションの障壁を取り除く方法」

VAST DataのプラットフォームがAIイノベーションの障壁を取り除く方法

最近、私はVAST Dataの創業者兼CEOであるRenen Hallak氏と彼らの新しいAI向け統合データプラットフォームについて話す機会を持ちました。VASTは2019年にVAST DataStoreをリリースし、高性能かつスケーラブルなオールフラッシュストレージシステムとして注目を集めました。しかし、Renen氏から学んだように、ストレージはVASTのAIデータプラットフォームへの大きなビジョンの最初のステップに過ぎませんでした。

AIに対する期待と投資が桁外れのレベルに達する中、インフラへの要求は今まで以上に高まっています。VASTはパフォーマンス、スケール、地理、利便性に関する一般的な妥協を排除し、AIの可能性を解き放つことを目指しています。8月1日、VASTは旗艦製品のVAST DataStoreに加え、新しいデータベースとコンピューティング機能を備えた拡張データプラットフォームを発表しました。

VAST Dataの旅は革命的なアーキテクチャから始まりました

VASTの旅は、2016年に革新的なアーキテクチャであるDisaggregated Shared Everything（DASE）の創造とともに始まりました。Renen氏によると、VASTの目標は、AIアルゴリズムがより迅速により多くのデータに制約なくアクセスできる環境を提供することでした。

DASEは、ストレージとコンピューティングを独立したリソースプールに分離して並列にスケーリングすることで、データセンターの設計を完全に再構築します。これにより、キャッシュ一貫性やメタデータ管理など、スケールアウトアーキテクチャを制約するボトルネックがなくなります。VASTはまた、一貫した効率的なデータアクセスを可能にする新しい共有データ構造とプロトコルも開発しました。

• 「Pythonを使用して、複数のファイル（またはURL）を並列でダウンロードする」
• 「GeoPandasを使ったPythonにおける地理空間データの活用」
• 「2023年のデータアナリストのためのトップAIツール」

その結果、DASEは従来不可能だったスケールで以前に到達できなかったパフォーマンスを提供します。これにより、AIワークロードは従来のインフラストラクチャでは不可能な方法で巨大なデータセットを迅速に分析することができます。より多くのデータの統合、より迅速なアクセス、アナログおよびデジタルデータソースへの直接接続を組み合わせることで、VASTはDASEが新たなアルゴリズムの突破口を開くと考えています。

VAST DataStore：高速な非構造化データリポジトリ

DASEを基に構築されたVASTの旗艦製品であるVAST DataStoreは、2019年にリリースされました。VAST DataStoreは、SANおよびNASの機能を統合した統一のオールフラッシュシステムで、非構造化データに特化しています。

DASEの並列処理を活用することで、VAST DataStoreはファイル、オブジェクト、およびHPCストレージをフラッシュメモリのみを使用して費用効果に優れた形で提供します。バックグラウンドで容量の低いディスクが扱う遅いディスクパフォーマンスティアは必要ありません。すべてのデータが迅速かつランダムにアクセスできます。

VAST DataStoreは、NFS、SMB、およびS3などの標準インターフェースを介してエクサバイトスケールの非構造化データを効率的に処理します。DASEはコンピューティングリソースによって並列アクセスされる小さな要素でデータを格納します。デデュプリケーション、圧縮、スナップショット、およびQoSなどの機能は、DASEの永続的な書き込みバッファを介してリアルタイムで実装されます。

新しいVAST DataBaseおよびVAST DataEngineで機能を拡張

VAST DataStoreの成功を基に、VAST Dataは最近、VAST DataBaseとVAST DataEngineを導入した拡張プラットフォームを発表しました。これらはVAST DataStoreとともに、データ中心のAIにおける取り込み、ストレージ、処理、クエリに対する統合環境を形成します。

VAST DataBaseはDASEを利用して、トランザクションおよび分析ワークロードの両方に対応するハイパースケールデータベースを提供します。革新的なカラム形式を使用することでデータサイズを削減し、大規模なクエリパフォーマンスを素早く実現します。DASEにより、同時にOLTPの挿入とOLAPのクエリを行うことができ、妥協することなく処理できます。このデータベースはまた、VAST DataStore内の非構造化データ全体にわたるメタデータカタログとしても機能します。

VAST DataEngineはグローバルデータファブリック内で直接データワークロードを処理することができます。データの位置やコストなどの要素に基づいてタスクの配置を最適化することができます。開発者は、ファブリック内のどこでもデータイベントによってトリガされる再帰的なコンピュートループを作成することができます。この連続処理パラダイムにより、データ駆動型のAIワークフローが強化されます。

VAST DataSpace：AIイノベーションを推進する無制限のデータファブリック

すべてを結びつけるのはVAST DataSpaceです。これはオンプレミス、クラウド、エッジの場所にわたってデータシロを統合するグローバルネームスペースです。この画期的なデータアクセシビリティにより、アプリケーションは中央の所有権なしでデータを利用することができます。データをコンピュートに移動するのではなく、コンピュートがデータにアクセスすることで最適な効率性が実現されます。

従来の制約を取り除いた統一されたデータファブリックにより、新たなエキサイティングなAIユースケースが生まれます。VASTの顧客であるPixarは、グローバルに共有されたデータセットを通じてアニメーション映画制作を革新しました。オンライン旅行大手のAgodaはVASTを使用して、ビッグデータと機械学習のパイプライン全体を強化しています。

データアクセスに関する妥協を排除することで、VAST DataはAIインフラストラクチャの次の進化を先導しています。パフォーマンス、スケール、地理、使いやすさの壁が崩れ、企業はインフラストラクチャではなくイノベーションに集中することができます。VAST Dataは、アイデアが技術の制約ではなく、AIイノベーションの境界を決定する新しい時代を開いています。

統合Vast Dataプラットフォームによる可能性

VAST Dataの統合プラットフォームによって可能になる機能は多岐に渡り、リアルタイムアナリティクス、モデルトレーニング、データベースアプリケーションなどが含まれます。いくつかのユースケースを探ってみましょう：

リアルタイムアナリティクス

リアルタイムアナリティクスでは、VAST DataStoreは非構造化データの大量への超高速アクセスを提供します。VAST DataBaseは構造化データの数十億行にわたるアドホックな分析クエリを可能にします。これらをVAST DataSpaceで結びつけることで、非構造化データと構造化データストリームの関連分析が迅速に行えます。

連続モデルトレーニング

VAST DataEngineは連続モデルトレーニングワークフローを可能にします。新しい非構造化データがVAST DataStoreに着信すると、イベントがトリガーとなり、最新のデータを使用してVAST DataSpaceでモデルトレーニングジョブが実行されます。結果は即時の推論アクセスのために書き込まれます。

クラウドバースティング

アナリティクスやトレーニングワークロードのスケールを拡張するために、VAST DataSpaceはグローバルな統一ネームスペースを維持しながらパブリッククラウドにバーストすることができます。これにより、データの移行なしにクラウドリソースを利用して追加の容量を活用することが可能です。

ハイパースケールデータベース

VAST DataBaseは、極めて大規模なトランザクショナルアプリケーションにおいて同時にOLTPとOLAPをサポートすることで、理想的な基盤を提供します。

データレイク

データレイクのニーズに対しては、VAST DataStoreがすべての企業データの中央リポジトリを提供します。VAST DataBaseはデータアセットのメタデータカタログを提供します。VAST DataSpaceはすべてを統合的な環境に結びつけます。

要約すると、VAST Dataプラットフォームの統合性は、データ集約型のさまざまなユースケースに適しています。インフラストラクチャの制約を取り除くことで、可能性は無限大です。

VAST Dataの未来展望

VASTは停滞の兆候を見せていません。同社は最近、37億ドルの評価額で2億1000万ドルを調達しました。VASTはDASEテクノロジーの進化に焦点を当てた新しいR&D施設の開設など、積極的に拡大しています。

VASTが取り組んでいるいくつかの分野には、以下が含まれます：

• DASEを構成可能なデータサービスファブリックとして利用可能にすること
• グローバルファイルシステムの機能拡張
• DNA圧縮などの新しいデータ削減技術
• AI/ML、GPGPUワークロードの最適化
• 低レイテンシのデータアクセスのためのゾーンストレージティアリング
• ハイブリッドおよびマルチクラウドデータ管理

さらに、Renen氏は、AIや次世代アプリケーションの革新が巨大なデータ需要を生み出す中で、VASTの市場焦点をAIとアナリティクスに限定せず、ML Ops、メタバース、Web 3.0などの新興領域にも拡大する可能性を示唆しました。

データの可能性の限界を再定義するVAST Dataのような先駆者がどのように進化していくかを見るのは、興奮する時です。AIや次世代アプリケーションのイノベーションが巨大なデータ需要を生み出す中で、これらのインフラストラクチャニーズを満たす企業が最も画期的な進歩を実現します。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!