会社独自のChatGPTを開発するには、技術の1/3とプロセス改善の2/3が必要です

改善されたタイトルは 『会社独自のChatGPT開発には、技術力1/3とプロセス改善2/3が欠かせません』

GPTベースのバーチャルアシスタントの開発に関わるプロセス、役割、複雑さの実践的な概要

2023年を通じて、私たちはバルト地域最大のエネルギー企業であるエネフィットの従業員向けにGPTモデルベースのバーチャルアシスタントを開発してきました。最初の記事では、問題、開発プロセス、初期結果について概説しました（こちらで読む）。この記事では、バーチャルアシスタントの開発における非技術関連の課題の重要性について詳しく説明します。

はじめに

2023年の初めには、大規模な言語モデルの技術において突破口が開けたことが明らかでした。過去10年間のチャットボットはしばしば2、3つ目の質問ですでにユーザーを失望させることが多かったのとは異なり、ChatGPTは正確で多機能で本当に役立つものとして登場しました。OpenAIとMicrosoftがGPTモデルにプログラム的なアクセスを提供するオープンAPIサービスを通じて会社固有のユースケースを実装する機会が生じたことでした。

私たちはエネフィットのバーチャルアシスタントプロジェクトに取り組みましたが、基盤技術が整っていること、内部の関心が高いこと、そしてノベルで複雑なソフトウェア開発の課題が優れた専門家と共に達成可能であることを知っていました。

開発初期の段階では、この物語は正しかったと証明されました：プロジェクト活動のほぼ80％がソフトウェア開発のタスクであり、20％は技術に関連しない活動でした。プロジェクトが進行するにつれて、これらの割合は急激に変化し、完全に新しいプロセスと役割が必要となりました。

• ハイパーパラメータの調整：ニューラルネットワーク入門
• 「Pandasを使用したSpark上のPythonの並列化 並行性のオプション」
• 2023年のデータの求人市場を解読する：数字は過剰供給か機会を示唆しているのか？

データ/情報ガバナンス2.0

バーチャルアシスタントは、基礎となるドキュメントが許す限り、企業固有の情報を正確に提供できます。つまり、基礎となるドキュメントに不正確な情報、構造が貧弱な情報、古い情報が含まれていると、バーチャルアシスタントはそれほど良い回答を提供することはできません。これは一般的にGIGO（ガベージ・イン・ガベージ・アウト）の原則と呼ばれ、AIの能力に基本的な制約を設定します。

したがって、バーチャルアシスタントを構築する上で、データ/情報の品質を確保することは重要な部分です。以下を含みます：

• 各ドキュメント/情報グループに所有者を割り当て、その情報の正確性に責任を持つ。
• バーチャルアシスタントのユーザーが不適切な回答や誤情報を報告できるフィードバックメカニズムを合意する。
• ユーザーフィードバックが情報所有者に届き、対応されるようにするためのフィードバック管理プロセスを確立する。

基本的に、これは全ての関係者がデータ管理に関与することを意味します：持続的なフィードバックを提供するユーザーとそのフィードバックに対応するデータの所有者。

ドキュメントの所有者は、キーワードを追加することでバーチャルアシスタントが情報を見つけやすくする方法の改善にも貢献できます。必要に応じてコンテンツの構造を改善し、テスト、改善、テスト、改善…即ち、情報の所有者はバーチャルアシスタントを共同作業するパートナーとみなす必要があります。

このセクションを締めくくるために、Microsoftの新しいCopilotに触れてみましょう。現在、Copilotの発売に注目が集まっています。ほとんどのテック愛好家がデモ動画を見ており、それが企業関連の質問に優れた回答を自動的に提供するプラグアンドプレイ製品であると期待しています。しかし、この期待はおそらく失望に終わるでしょう。なぜなら、CopilotでさえもGIGOの原則に免疫がないからです。

Copilotのマーケティングビデオを超えてさらに探求すると、ドキュメント管理の要件に関する詳細なドキュメントが見つかります。要約すると、Microsoftは次のことを期待しています（続きを読む）：

• すべての古いドキュメントは削除されます。
• すべてのドキュメントに正確で関連性のある情報が含まれる必要があります。
• 企業は上記を保証するための新たなデータガバナンスプロセスを確立する必要があります。
• ドキュメントは検索の向上のためにキーワードで充実させる必要があります。

これらは、特に従業員のコンピュータに保存されているドキュメントについて話している時には高い要件です。

Copilotは素晴らしい新しい技術だと私は考えています。ただし、データガバナンスプロセスなしにはどのバーチャルアシスタント技術も成功裏に実装されることはできませんということを強調することが重要です。

バーチャルアシスタントのガイド

大型の事前学習済み言語モデル（例：GPT、Llama）は、ロボティックな論理マシンです。つまり、特定の役割を果たしてもらうためには（例：エグゼクティブアシスタント、契約アシスタント、法律の専門家）、彼らをガイドし、スタイルの例を提供する必要があります。

仮想アシスタントへの指導は、言語モデルにユーザーの質問と回答ガイドを与えることを意味します。たとえば、「あなたはEnefitの仮想アシスタントであり、企業のポリシーや規則について知っている。利用可能な情報で回答が見つからない場合は、わからないと言ってください…」のように言います。

このようなガイダンスを通じて、仮想アシスタントに振る舞い方を指示し、応答に使用する形式を指示し、避けるべきことを強調することができます。

ただし、一般的なガイドだけでは十分ではありません。企業は、仮想アシスタントに特定のスタイル（正式、フレンドリーなど）に従ってほしい場合があります。そのような場合、質問と回答のペアであるスタイルの例が提供されます。言語モデルは既存のテキストを続けるようにトレーニングされているため、仮想アシスタントは提供されたスタイルの例に似たようにユーザーの質問に答えようとします。

応答ガイドとスタイルの例を作成し、さまざまなバージョンをテストし、磨き上げることは、仮想アシスタントの開発における3つ目の重要なパートです。

「仮想アシスタントトレーナー/ガイド」の役割はまったく新しいものであり、仮想アシスタントが作成されるドメインに精通した人しか効果的に果たすことはできません。効果的な仮想アシスタントの開発には、ソフトウェア開発者、情報所有者、仮想アシスタントトレーナーの間で緊密な連携が必要です。なぜなら、「不十分な」応答の原因は異なる専門家によるものかもしれないからです。

結論

今日の技術では、80％の効率で機能するチャットボットを開発することは簡単ですが、95％の品質を持つ仮想アシスタントを作成するのは複雑な課題です。

初めに見たとき、80％は十分だと思うかもしれませんが、なぜ最後の20％のためにそんなに苦労するのでしょうか？実際には、過去10年間のチャットボットの経験に基づくと、時間の80％に精度があるチャットボットは、ユーザーの「認知的有用性の閾値」を超えることができません。

この認知的有用性の閾値は、私たちすべての心に潜在する基準ですが、この限界が正確にどこにあるかを具体的に定義することはできません。ただし、技術を使用することで、この限界が超えられたかどうかはすぐにわかります。技術の品質がこの閾値を下回る場合、与えられた技術の使用を完全に中止します。

言い換えると、80％と95％の違いは、前者の場合は誰もこの技術の使用を始めないということであり、後者の場合は多くの従業員の日常のアシスタントとなるということです。

80％と95％の精度の違いは、前者の場合は誰もこの技術の使用を始めないということであり、後者の場合は多くの従業員の日常のアシスタントとなるということです！

この最後の15～20％を達成するには、基本情報の関連性を保証するデータ管理システムの実装、仮想アシスタントの開発に関連する新しい役割とプロセスの作成、すべての関係者の新しい技術へのトレーニング、戦略的および運用レベルでの実装および導入のサポートが必要です。したがって、技術は仮想アシスタントの開発の1/3を占めるにすぎず、組織とプロセスに関連する課題が残りを占めます。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!