「セルフサービスデータ分析はニーズの階層化です」

『美容とファッションの世界で活躍するセルフサービスデータ分析の魅力とは？』

食べ物と住まいから自己実現まで：自己サービス分析をサポートする基盤を創り出すための科学的アプローチの使い方

90年代を思い返していました。当時、ビジネスオブジェクトやコグノスなどのセルフサービスBIツールが最初に登場しました。私もCitigroupでの短期間の働きにおいて、全く期待されていないソフトウェアエンジニアとして、一つのツールの構築を手伝いました。若かった私は、その時に二つの予測を立てました:

1. エクセルは死んでいる
2. セルフサービスデータが急速に普及するだろう

まあ、私はノストラダムスではありません。Citigroupでの経験の後、BIコンサルタントとしてのキャリアも10年になりました。データエンジニアリング（当時のETL、ELTではありません）を行い、それにBIツールをプラスし、ビジネスユーザーにトレーニングを行い、これを繰り返しました。私たちはいくつかの「素晴らしい仕事」を作り上げましたが、仕事ごとに以下のような不満足な結果が残りました:

ビジネスユーザーは、私たちが期待していたスピードでソフトウェアを採用して自己サービスを行わなかった。

「パワーユーザー」と呼ばれる一部の人々（主にテクニカルサイド）は、ツールを使い、ダッシュボードとレポートを程度の差はあれ作成していましたが、ビジネスサイド全体での広範な採用はありませんでした。さらに、コンサルタントへの依存度が高くなっていました。

• ビジネスアナリストとしてのフルポテンシャルを引き出すための強力な5ステップ因果関係フレームワークを解き放つ
• VoAGIニュース、11月22日：パンダとの7つの必須データ品質チェック•2024年に試してみるべき5つのベクトルデータベースのベスト
• データ再構築の革命：広範な情報検索におけるAIのコンパクトな解決策

BIベンダーの営業文句: 100%のセルフサービスデータデモクラシー

私の予想: 60-80%の採用率

実際: 20%未満の採用率（楽観的に）

しばらくすると、これらのプロジェクトは、学ぶための絶好の機会となりました。一体何が問題だったのでしょうか？ツール？ユーザー？IT？コンサルタント？2010年になり、失敗したBIプロジェクトに関する多くの文献が出回るようになりました。それらのプロジェクトが意味のある結果を生み出さなかったという「失敗」ではなく、本来のポテンシャルに到達しなかったという意味での「失敗」です。ビジネス領域はまだデータに対してITに大きく依存していました。クリーンで信頼性のあるデータはすぐに利用できませんでした。

この時期に興味深いことが起こります。Tableauというデータ可視化製品が広く採用され始めました。どこでも目にすることができ、データデモクラシーの解決策でした。そして、Power BIはベストオブボースワールドのデータ可視化とレポートツールとして競合し始めました。しかし、10年以上経った今でも、これらの新しいツールでも同じことが見られます。BIツールのセルフサービス採用率は極めて低いのです。私だけではないと明らかです。

組織全体でのBIの採用率は26%です。 （360Suite 2021）

2021年の衝撃的なビジネスインテリジェンス統計データ

BI市場の進化に伴い、これらの統計データはビジネスインテリジェンスツールがどれほど重要であるかを示しています…

www.trustradius.com

ただ傍観するわけにはいきませんでした。当然、世界が常に必要としていたものを作らなければなりませんでした：セルフサービスを解決するBIツール。そうです、私はついにうまくいくだろうと思いました。そのために、私はFlexIt Analyticsを作成しました。しかし、先程の予測を覚えていますか？はい、再び、私は非常に間違っていました。さっぱりわかりませんでした。では、直接本題に入りましょう：

一箇所でデータ分析を大衆にアクセス可能にする魔法のような解決策は、存在しなかったし、今後も存在しない。

セルフサービスの解決策となるBIツールは存在しません。しかし、私たちができることは、一歩後ろに退いて問題を「大局的な」非テックな視点で考え、また前進するための貴重な洞察と戦略を得ることです。

マズローの欲求階層

高校時代にタイムスリップして、人間の動機に関する心理学の講義を思い出してみてください。もし学校でこれについて学んでいなかったり、覚えていなかった場合は、以下に要約を記載します：

アメリカの心理学者アブラハム・マズローは、人間の動機に関する理論を提案し、基本的な欲求を満たさなければ、人はより高い欲求を達成することはできないと主張しました。私たちは階層を上昇するにつれて、食べ物や水などの低レベルの短期欲求から、より長期間継続し、より複雑で、達成がますます困難になる高レベルの欲求に移ります。最高レベルは自己実現と超越です。

マズローの欲求階層

マズローの欲求階層は、人々を刺激するニーズのピラミッドです。個人の最も基本的なニーズは基盤にあります…

www.simplypsychology.org

要するに、次のレベルに進む前に基本的な土台が必要です。データの世界にいる人なら誰でも、これをすぐに認識し、「データの自己実現」ということが「セルフサービス」に直結することを理解できるでしょう。せっかく、「自己」が両方に含まれているのですから、これは偶然ではありません。さあ、深堀りしてみましょう。

セルフサービスの欲求階層

私たちは、次のレベルでも同じ画像を表示します。なぜなら、それは見た目も美しいグラフィックであり、私たちの今後の分析に非常に役立つからです。マズローの階層と同様に、セルフサービスデータ分析の欲求階層は、各レベルが上位のレベルをサポートし、可能にする方法を示しています。さらに、進むほど信頼性がより必要とされ、提供されます。

もう一度、DJ：

収集

基盤として、マズローの生理的なニーズは明らかです：食べ物、水、住居。同様に、セルフサービスの欲求階層の基盤は明らかです – データの収集です。データを収集する必要があります。さらに言えば、基盤作りのために、異なるソースから生データを集める必要があります。現代のデータの世界では、これはELT（Extract、Load、Transform）の一部であり、簡単のためにデータレイクと呼ばれるものが生まれます。洗練されたデータウェアハウス概念であるETL（Extract-> Transform-> Load）との違いに注意してください。この理由については、別の記事で詳しく説明します。

ここで最後に指摘するポイントは、このレベルから生み出されるデータ分析は、より高度な分析者/データサイエンティストによって行われ、階層の上位レベルにはまだ至っていないため、信頼性が低くなるということです。たとえば、最上位の超越に直接進むことはできますか？おそらく、ただし週末が終わり、パーティーが終了した後、それを維持することはできないでしょう。

変革

マズローの階層での次のレベルは、安全性です。安全は、セキュリティ、社会的安定、予測可能性、制御などを含みます。セルフサービスの階層では、ビジネスモデルとしてのデータウェアハウスにデータをクリーニングや整理することで、その予測可能性、安定性、制御を達成します。これは多次元スタースキーマモデルの形を取ることが多いです。下位の収集レベルの生のソースデータから、分析者は顧客データのために多くの異なるテーブルを結合する必要があります。このレベルでは、その異種なデータが共通のテーブルに統合され、カスタマーディメンションと呼ばれます。また、このプロセスでは、データがクリーニングされ（重複、同じ顧客の不一致する名前）、便利な計算が事前に行われます（例：最初の注文日）。これにより、はるかに単純化されたSQLが可能となります。

最終的には、データにおける安全性と信頼性のレベルが確立されました。また、ビジネスドメインの所有者も関与する必要があります。変革プロセスは実際のビジネスニーズをサポートするために行われるものであり、ビジネスオーナーの参加が必要です。現代のデータの世界では、このハイブリッドニーズをサポートするために「分析エンジニア」という重要な役割が登場しています。

意味的レイヤー

マズローの第三のレベルは、関係とつながりを通じた愛と所属感です。自己サービスの階層との相関関係は驚くほどで、意味的レイヤーは文字通り関係（テーブル結合）を設定する場所であり、すべてを一緒にするものです。私は意味的レイヤーについて話しても話し足りないほどですし、こちらの記事で詳しく説明しています。

「意味的フリー」がビジネスインテリジェンスの未来

dbt、メトリクス、ヘッドレスおよび普遍的な意味的レイヤーが「意味的フリー」ビジネスインテリジェンスを可能にする方法

towardsdatascience.com

私は真のセルフサービスを可能にするために、このレベルが最も重要であり、ビジネスドメインの所有者が深く関与する必要があると主張します。「普遍的な意味的レイヤー」は、データのリテラシーやシンプリシティ、信頼性を通じてセルフサービス分析を支える真実の単一ソースを提供できます。アナリストは、ビジネスに適したフィールド名やエンティティ名、データカタログの説明を信頼できるものとして利用できます。そして、重要なこととして、データ間のテーブル結合方法（またはSQLの書き方）を知る必要はありません。また、データの起源テーブルにフィールドを遡るデータの系譜、同義語（あなたが「売上」と呼び、私が「収益」と呼ぶ）、データの最新化（データが最後に更新された時点）など、重要な情報にもアクセスできます。

ここで特筆すべき重要なことがあります。特に「ビジネスオブジェクトは90年代にこれを持っていた」と言うかもしれない歴史家の方々にとってです。私たちはまだ「分析レイヤー」（BIツールのレベル）に到達していません。その理由は、上記の記事（「意味的フリーはビジネスインテリジェンスの未来」）で詳しく説明されていますが、ビジネスロジックの意味的レイヤーをBIツールに詰め込むことは重要ではありません。自己サービスの階層での「意味的レイヤー」は、次のレイヤーをサポートすべきであり、それ自体ではありません。

分析

このレベルでは、ビジネスインテリジェンスツール、レポート、ダッシュボード、および一般的に自己サービス分析について話す際に多くの人が考えるものについて話します。もしあなたが私と同じくマズローの階層と意味的レイヤーの関連性に驚いているなら、セルフエスティームレベルについてもご興味があるでしょう。ここでは彼は、ステータス、認知、名声、名誉、注目などの「下位」バージョンのニーズと、力、能力、習熟、自信、独立、自由などの「上位」バージョンのニーズにニーズを分割しています。こんにちは、”データヒーロー”、”ゼンマスター”、そして専門家。

自己サービスの階層では、ビジネスドメインの所有権と自己サービス分析が見えてきます。その中でも2つの分析タイプに焦点を当てています：

1. 記述的 – 発生したことを示すレポートやダッシュボード

2. 診断的 – なぜそのようなことが起きたのかを示す分析

クリーンなデータウェアハウスからダッシュボードを構築しているでしょうか？よくモデル化された変換レイヤーと普遍的な意味的レイヤーの上に。

逆説的に言えば、セルフサービスを可能にしていると思っていたBIツールが、実際に最も悪影響を及ぼしているかもしれません。Tableau（信じられないほどの可視化ツールであり、間違いなく非常に価値があります）が、ITの遅さを回避し、ビジネスに直接販売することで早期に成功を収め、さらにこの違いを利用し続けていることは知られています。多くの実装では、ソースデータベース上の手書きのSQLからデータをエクスポートし、その.CSVをTableauにインポートするといった方法が含まれています。この食べ放題ビュッフェで健康的な食事を選ぶこともできますが、現実はしばしば異なるものです。その結果生じる混乱は、ビジネスを重くしたり、次のレベルに到達できなくしたりすることがあり、結局は起こったことについての記述的なダッシュボードのみを作り続けます。

自己実現と超越

マズローの階層の最上位レベルは、自己充実、個人的成長、そして自己の最大の可能性に到達することに関連しています。人生と同様に、データの世界でも「完全に終わり」と言える最高点はありません。それは持ち続ける作業です。実現するのは非常に困難で、永遠に続くかのように思えます。このレベルでは、基本的な記述的および診断的アナリティクスを超え、データとプロセスに非常に高い信頼性を確立しています。これにより、次の2つのタイプのアナリティクスを実現できます：

3. 予測的 – 次に何が起こるかを把握すること

4. 指示的 – 予測に基づいて最適な進むべき道を推奨すること

この時点では、データのすべてのレイヤーに強固な基盤があり、人工知能の活用、ビジネスプロセスの自動化、より高度なユースケースの対処を進める意味のある進展を始めることができます。

データ駆動型組織の要素

OK、つまり、「データの人生」を改善するためのフレームワークを確立し、データの自己実現の壮大な目標を持ちました。それでは、そこに辿り着くための方法を掘り下げてみましょう。まず、焦点を当てる必要があるものを見てみましょう：人、プロセス、ツールです。

人

私はテック側からきているので、ビジネスの問題を解決するための技術的なソリューションを作りたいと思っています。もちろん、ビジネスの要件を得たら、暗い部屋に閉じこもってコードを書けば、ビジネスのニーズに応えるソフトウェアを作ることができます。しかし、私を含め多くの人々の間違いは、人間性という柔軟な側面への焦点不足です。これは当然のことですが、テックの人々は我々がしばしば信じるほど明白ではなく、驚くべきソフトウェア製品を作成し、それをビジネスユーザーに渡し、「タダ、できました！」と言って使われない場合や「理解できない」と言われると困惑します。

技術の人間側は混乱し、神秘的なものかもしれませんが、そうではなくても十分です。これの中核にあるのは、いくつかの重要な領域に焦点を当てて信頼性と能力を確立することです。まず、賛同を得なければなりません。さもないと、抵抗する力によって、優れた技術的ソリューションでも軌道修正されてしまいます。それとともに、ビジネスが推進する「ビジネス駆動」データソリューションではなく、「データ駆動」ソリューションに真剣に協力する必要があります。私たちが構築する際には、納品される製品の能力をどのように向上させるか考える必要があります。データの世界では、どのようにして「データのリテラシー」を促進できるでしょうか？もちろん、ビジネスは自分たちのデータを知っているべきですが、技術的なプロセスを経てビジネスに戻すと、私たちが思うほど明白ではありません。データカタログとセマンティックレイヤーによって、データリテラシーを促進する必要があります。最後に、ソリューションを展開する際には、標準的な展開セッションや講習会だけではなく、「ジャストインタイム」トレーニングに焦点を当てる必要があります。ビジネスユーザーが実際のデータの問題を解決する必要性がある瞬間に、リアルなデータのニーズに焦点を当てます。

プロセス

人の部分をうまくやっても、簡単に脱線してしまうことがあります。軌道を外さないようにするために、プロセスも正しく行う必要があります。特にテックの側で過去数十年間で最も明らかな問題の一つは、多くのプロジェクトがウォーターフォールアプローチをとってきたことです。ここではプロジェクトの開始時に結果が確定されるというアプローチです。データ駆動型組織を構築するのに数年かかるデータの世界では、アジャイルな方法で柔軟性を持つことが最初のステップとなります。

アジャイルは、プロセス全体で方向性の変更を柔軟に受け入れ、進行中に関係者のフィードバックを考慮に入れることを歓迎する柔軟な方法として開発されました。 — Forbes

アジャイル vs. ウォーターフォール: プロジェクト管理方法論の優れた選択は何ですか？

アジャイルとウォーターフォールは、よく知られたプロジェクト管理方法論です。どちらもソフトウェアで人気です…

www.forbes.com

「アジャイル」を行う人々の大きな間違いの一つは、ばらばらのスプリントプロジェクトを行っても、一貫した最終成果物が得られないことです。ウォーターフォールアプローチを取らなくても、最終目標を持つ必要があります。この最終目標に焦点を当てるために、基準とデータガバナンスが必要です。また、ビジネス側がデータを所有することも重要であり、テック側ではなくてビジネス側がプロセスに密接に関与する必要があります。最後に、プロセスは継続的な改善に焦点を当てる必要があります。何がうまくいっているのか、何がうまくいっていないのか、そしてなぜなのかを考え、それらを修正して継続的に成果を出し続ける必要があります。

ツール

初めは、私たちは問題の魔法の解決策としてツールに頼りました。前述した通り、ツール自体が解決策ではありません。それどころか、解決策の1/3にも満たないのです。人々が50%、プロセスが30%、ツールがわずか20%だと思います。BIツールの提供業者として、それは大体の見通しです。それでも、それは真実です。

言い換えると、ツールは人々とプロセス全体の要素を活性化するためにできることがいくつかあります。当然、使用方法の詳細な知識を必要としないように直感的である必要があり、多くの現代のBIツールはそうしていると思います。ただし、私が欠点だと思うのは「プラグアンドプレイ」の面です。前述のように、私たちはツールにビジネスロジックをあまりにも多く組み込んでしまっており、他のツールに切り替えることが非常に困難になっています。それに加えて、多くの組織が3つ以上のBIツールにアクセスして同じデータセットを利用しているという事実もあります。私たちがするべきことは、BIツールからビジネスロジックを取り出し、すべてのBIツールが接続できる集中的なセマンティックレイヤーに配置することです。

さらに、私たちのツールはひとつの総合ツールではなく、他のツールと統合する必要があります。これは「モダンデータスタック」が正しく行っているところの一つですが、何百ものツールを持つと混乱したアーキテクチャを作ることになるので、逆に行き過ぎないように注意が必要です。最終的には、ツールは人々とプロセスをサポートするためだけに存在することを覚えておいてください。

データ主導の組織を作るための手順

データ主導の組織のフレームワークと全体の要素を確立したので、どうやってそこにたどり着くかについて話しましょう。

ステップ1: 同意

まず最初に、キーパーソンを確定し、経営陣からの同意を得る必要があります。これがない場合、セルフサービスのフレームワークと要素の提供に必要な「人の力」が不足するリスクがあります。幅広い同意を得ることは非常に困難ですので、早期の支持者が誰かを見つけてください。これらの手順の終わりには、ステップ1からやり直し、データ主導の組織を構築して途中でますます多くの同意を得るようにします。ここで雪玉効果を狙っています。

ステップ2: 小さいスタート

雪玉の例えを続けると、私たちは雪だるまを作っています。もちろん、小さく始めて積み重ねていきます。私たちは構築するものをコンポーネントごとに考え、実際のビジネスニーズに対応するためにアジャイルなアプローチを取ります。最初のイテレーションでは「早い勝ち」を目指すことで、これらの良い結果を積み上げ、途中でさらに多くの人々の支持を受けます。

ステップ3: プロセスの構築

このアジャイルな「早い勝ち」により、ワイルドウェストの乱雑なアーキテクチャが生まれるリスクがあります。これが私たちがすぐに標準とデータガバナンスを確立し、品質の高い正確かつ信頼性のあるデータ製品の提供に集中し続ける理由です。Githubのようなツールは、私たちの標準とデータガバナンスをサポートするのに役立ちます。

ステップ4: 民主化

データガバナンスにより、より信頼性のあるデータ製品をより安全にロールアウトできるようになります。データを民主化するために、次のことを行う必要があります：

• データの隔離を解消する — これは、1つの部門（通常は技術部門）が制御し、組織全体から孤立した「ブラックボックス」データソースです。
• データリテラシーを構築する — ビジネスユーザーがITが提供している内容を直ちに理解することはできません。データカタログはデータリテラシーをサポートするために大いに役立ちますが、これは難しいことです。しばしば、古くなって埃をかぶってしまうスプレッドシートのデータ辞書になってしまいます。より動的でアクティブなデータカタログに移行し、ビジネスユーザーがデータカタログのエンティティに対してアクションを起こすことができるようにし、定義などに対するフィードバックも提供して継続的な改善を行う必要があります。
• 信頼を構築する — データを民主化するためには、ITはビジネスがデータを正しく使用することを信頼しなければなりません。ビジネスは、ITが正確で信頼性のあるおよびタイムリーなデータを提供することを信頼しなければなりません。途中で信頼関係を築く必要があります。

ステップ5：協力する

データの民主化を進めたので、解決策を開発するために協力し、また改善するための重要なフィードバックを提供するために、協力して一緒に働く必要があります。テックからビジネスまでのさまざまなメンバーで構成されるDART（データ分析およびレポーティングチーム）グループを形成し、定期的に会議を開き、問題を解決していきます。

ステップ6：評価する

最後に、なにかうまくいかなかったり、改善が必要な点を取り上げながら成功したことを強調する必要があります。独善的になりすぎず、KPIを作り出したりせずに、成功を測定する方法を見つける必要があります。この最初のイテレーションの結果に満足していますか？すぐに役立つデータ製品を作成しましたか？次に、うまくいった点とそうでなかった点を見つけ出し、継続的に改善していきます。

そして、手洗いと繰り返し、2回目以降の成果重視のプロジェクトでステップ1からやり直します。

結びの思い

まとめると、データに基づく組織を作り上げ、セルフサービスを可能にするために、私たちは3つの重要な領域をカバーしました。重要な点は、ゼロから完全にデータ民主化された組織にはなれないということです。徐々に進めていき、組織内のより多くの人々がデータに関与できるように、徐々に改善していくことを目指しています。まとめると、この取り組みを集中的に行うための3つの方法をここで振り返ります：

1. フレームワーク – データに基づく組織を可能にするために構築する必要があるニーズの階層
2. コンポーネント – このデータに基づく組織の構成要素、つまり人々、プロセス、ツール
3. 作成手順 – フレームワーク内でこのコンポーネントに焦点を当てる6つのステップアプローチ

セルフサービスに向けた取り組みに成功を祈ります！

ご意見をお聞かせください。こちらにコメントいただけると嬉しいです。または、Andrew Taftに直接お問い合わせください。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!