ETL vs ELT vs ストリーミングETL

ETL vs ELT vs Streaming ETL

データ処理のバッチとリアルタイムの設計パラダイムを探索する

Compare Fibreによる写真

抽出、変換、ロード(ETL)および抽出、ロード、変換(ELT)は、データ処理の文脈でのデータの取り込みと変換の設計パラダイムを表すために使用される2つの基本的な概念です。これらの用語はしばしば交換可能に使用されますが、わずかに異なる概念を指し、異なるユースケースに適用され、異なる設計を要求します。

この記事では、ETLとELTの違いと類似点を探求し、クラウドコンピューティングとデータエンジニアリングの風景がデータ処理の設計パターンにどのように影響を与えたかについて説明します。さらに、現代のデータチームに提供する主な利点と欠点について説明します。最後に、より伝統的なバッチアプローチのさまざまな欠点を解決することを目指した新興のデータ処理パターンであるストリーミングETLについても議論します。

興味のある3つのステップ

外部ソースからのデータの取り込みと永続化は、3つの異なるステップを含みます。

抽出「抽出」ステップでは、ソースシステムからデータを取得するために必要なすべてのプロセスが行われます。このようなソースには、アプリケーションプログラミングインターフェース(API)、データベースシステム、ファイル、およびインターネットオブシングス(IoT)デバイスが含まれます。データは、構造化、半構造化、または非構造化のいずれの形式でも存在することができます。このステップで抽出されたデータは通常「生データ」と呼ばれます。

変換「変換」ステップでは、パイプラインは生データの上に変換を適用して特定の目標を達成します。この目標は通常、ビジネスまたは技術的な要件に関連しています。一般的に適用される変換には、データの変更(たとえばUnited StatesUSにマッピングする)、レコードまたは属性の選択、他のデータソースへの結合、さらにはデータの検証などがあります。

ETL/ELTパイプラインの「変換」ステップで特定の目標を達成するために生データに変換を適用する — 出典: 著者

ロード「ロード」ステップでは、データ(生データまたは変換されたデータ)が宛先システムにロードされます。通常、宛先はOLAPシステム(つまり、データウェアハウスまたは…

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

人工知能

「コマンドバーの創設者兼CEO、ジェームズ・エバンスによるインタビューシリーズ」

ジェームズ・エバンズは、CommandBarの創設者兼CEOであり、製品、マーケティング、顧客チームを支援するために設計されたAIパ...

人工知能

アーティスの創設者兼CEO、ウィリアム・ウーによるインタビューシリーズ

ウィリアム・ウーは、Artisseの創設者兼CEOであり、ユーザーの好みに基づいて写真を精密に変更する技術を提供していますそれ...

人工知能

「Kognitosの創設者兼CEO、ビニー・ギル- インタビューシリーズ」

ビニー・ギルは、複数の役職と企業を横断する多様で幅広い業務経験を持っていますビニーは現在、Kognitosの創設者兼CEOであり...

人工知能

「トリントの創設者兼CEO、ジェフ・コフマンへのインタビューシリーズ」

ジェフ・コーフマンは、ABC、CBS、CBCニュースで30年のキャリアを持った後、Trintの創設者兼CEOとなりましたジェフは手作業の...

人工知能

『ジュリエット・パウエル&アート・クライナー、The AI Dilemma – インタビューシリーズの著者』

『AIのジレンマ』は、ジュリエット・パウエルとアート・クライナーによって書かれましたジュリエット・パウエルは、著者であ...

人工知能

「Zenの共同創設者兼CTO、イオン・アレクサンドル・セカラ氏によるインタビューシリーズ」

創業者兼CTOであるIon-Alexandru Secaraは、Zen(PostureHealth Inc.)の開発を牽引しており、画期的な姿勢矯正ソフトウェア...