アナリティクスエンジニアリングへの紹介

美容とファッションに関する記事を活気溢れる形で執筆する、美容とファッションの専門家です

分析エンジニアとは何者であり、彼らは何をするべきなのか

従来、データチームはデータエンジニアとデータアナリストによって形成されていました。

データエンジニアは、データ処理をサポートするためのインフラストラクチャの構築を担当しています。これには、データベースの設定や外部ソースからデータを取り込んで別のシステム（おそらく別のデータベース）に格納するためのETLプロセスの実装が含まれます。さらに、データエンジニアは通常、データの整合性、新鮮さ、セキュリティを確保する責任を担当し、その後アナリストがデータをクエリできるようにします。データエンジニアの典型的なスキルセットには、Python（またはJava）、SQL、オーケストレーション（Apache Airflowなどのツールを使用）、およびデータモデリングが含まれます。

一方、データアナリストは、内部ユーザーや部門にビジネスの洞察を提供するために、ExcelやSQLを使用してダッシュボードやレポートを作成する役割を担当します。

ETLからELTへの移行

データを処理し価値ある洞察を得るためには、まず抽出する必要がありますよね？ 🤯

• 『分析チームとしての緊急性と持続可能性のバランス』
• 「ベクトル検索だけでは十分ではありません」
• 「今日使用されているAIoTの応用」

データの取り込みはETL（最近ではELTも）プロセスを使用して行われます。ETLとELTのパラダイムの両方には、3つの主要なステップ、抽出（Extract）、変換（Transform）、ロード（Load）が含まれます。今のところ、これらのステップの実行順序を無視し、各ステップが独立して何を行うかに焦点を当てましょう。

抽出

このステップは、永続的なソースからデータを取り込むプロセスを指します。このデータソースは、データベース、APIエンドポイント、ファイル、またはメッセージキューなどが該当します。

変換

変換ステップでは、パイプラインが特定の目標を達成するために、データの構造や形式にいくつかの変更を加えることが期待されます。変換には、変更（例：「アメリカ合衆国」を「US」にマッピングする）、属性の選択、数値計算、または結合などが含まれることがあります。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!