「自分の武器を選ぶ：うつ病AIコンサルタントの生存戦略」
Choosing Your Weapon Survival Strategy of a Depression AI Consultant
新しいターミネーターの映画が最近公開されました。この新しいエピソードでは、未来の人間の抵抗勢力がロボットを過去に送り、OpenAIのサーバーファームを破壊し、ChatGPTとAGIの出現を防ぎます。これは真実ではありませんが、どのように聞こえますか？
AIの実践者として、最近のAIの進展についてどのように感じていますか？新しい力に興奮しているだけでなく、急速に変化するAIの流れの中で自分の立場を保つ方法について考えたことはありますか？
ChatGPTの誕生は話題を呼びました。人々はその力に魅了されていますが、未知の将来に対して恐怖を感じています。この混乱した愛と憎しみの感情は一般の人々だけでなく、AIの専門家たちも困惑させています。
最近、私は研究者たちがAIの急速な進展の課題によって経験する不安について探求する、読む価値のあるユニークな論文を見つけました[1]。著者たちは技術的な側面に焦点を当てるのではなく、研究者たちが経験する不安について探求しています。
興味深いことに、一流の研究所の学術研究者たちも「現在のAIの進展のペースに追いつけない」と心配していることがわかります。論文によれば、研究者たちは産業界の専門家と同じようにリソースの制約に直面しています。モデルのトレーニングが非常に高額になっていることは驚くべきことではありません。著者たちは限られたリソースで研究を行うための戦略を提案しています。
私は著者たちの率直さを評価していますが、彼らの提案は主にAIの研究者を対象としています。この記事では、私たちAIの実践者がこの課題に対応する方法について探求します。このトピックはあまり議論されないため、私が切り込み役になりたいと思っています。議論がインスピレーションを与えるものになることを願っています。ただし、これは私個人の意見であり、追加の視点も歓迎します。
目次
· なぜ重要か
· 最初の原則
· 制限を理解する
· 大局を把握する
· 責任 ∘ 説明可能性 ∘ 公平性 ∘ 安全性 ∘ プライバシーとデータセキュリティ
· エンジニアリングは私たちの得意分野
· 最後に
· 参考文献
なぜ重要か
過去には、人々は機械学習のタスクにどの技術やツールを使用するかを明確に理解していました。トピックモデリングや感情分析のプロセスに精通していた彼らは、使用しているライブラリをすべて知っていました。まるで交響楽団の指揮者のような感覚を持っていました。しかし、LLMの登場により、すべてが変わりました。LLMがすべてを支配しており、興味深いことに、誰もがLLMがどのように機能するかを知りません。今、人々はまだLLM以外のソリューションを開発すべきかどうかを疑問視していますが、LLMベースのソリューションをどのように責任を持って作るかについてはほとんど知りません。
以前は、学術研究者、ML実践者、およびクライアントの間には重要な違いがありました。研究者たちは魅力的な学術的な魔法を駆使して新しい概念の開発に取り組んでいました。一方、クライアントは、MLコンサルタントが彼らや彼らのチームが持っていない専門知識を持っていることを認識していましたが、MLコンサルタントは独自の貢献を提供することを誇りに思っていました。みんなが幸せでした。しかし、大規模な言語モデルの登場により、世界は大きく変わりました。
現在、生成型AIにより、高度なAIの能力がエンドユーザーによりアクセスしやすくなりましたが、ほとんどの学術研究者は新しい基盤モデルの研究をすることができません。なぜなら、新しいモデルのトレーニングは非常に高額になっているからです。すべての人がLLMを同じように使用しています。ほとんどプロンプトを使用し、非常に稀にファインチューニングを行っています。彼らはすべて妄想問題に困惑しており、解決策はすべて実験的です。高度な数学のスキルはLLMの開発にはあまり重要ではありません。そのため、すべてのLLMユーザーは同じ問題を同じ技術を使用して解決し、同じ結果を得ています。その結果、LLMは学術研究者、実践者、エンドクライアントをより近づけました。
MLコンサルタントは、MLサービスを提供することで生計を立てているため、研究者が実践的な問題を解決し、クライアントが最先端のAIツールを自分たちで使用できる場合、私たちの職業をどのように正当化すべきでしょうか？
第一の原則
生成AIは非常に活発な分野であり、新しいモデル、新しい製品、新しい理論が毎週または数週間ごとに発表されています。そのペースについていくことは簡単ではありません。しかし、新しい開発のそれぞれに深く入る前に、まず最初の原則に戻り、技術が解決する問題について考える必要があります。これはシンプルで効果的な戦略です。新しい開発は数多くあり、それぞれが特定の人々を助けるために努力しています。この戦略を適用することで、目標に関連する技術により集中することができます。
例として、プロンプトエンジニアリングがあります。プロンプトエンジニアリングは非常に有用性が証明されています。インコンテキスト学習、思考の連鎖、思考の木など、さまざまな技術が開発されています。一部の人々は、プロンプトエンジニアを新しい称号としての台頭を予見しました。これがMLエンジニアの未来でしょうか？
プロンプトエンジニアリングがなぜ開発されたのか考えてみましょう。すると、ユーザーが人間の言語でLLMと対話できるようにするために、指示に従うLLMが開発されたことがわかります。プロンプトエンジニアリングは、テキストを構造化して、生成AIモデルによりよく解釈・理解できるようにすることが主な目的です。プロンプトエンジニアリングは、技術者志向のパターンが多くあり、技術者志向のように見える一方で、主に経験の浅いユーザーをサポートすることを目指しています。プロンプトエンジニアリングの現在の複雑さは、私たちがLLMがプロンプトを信頼性のある方法で理解する方法をまだ学んでいないためです。さらなる開発により、プロンプトエンジニアリングは十分に成熟し、短期的なトレーニングで誰もが満足のいく結果を得ることができるようになるかもしれません。MLの専門家はプロンプトエンジニアリングのスキルを学ぶべきですが、残念ながら、プロンプトエンジニアリングは主に閾値を下げることが目的であり、強力な雇用の保証を提供しません。プロンプトエンジニアリングを自分の主要な能力と考える場合、クライアントとの知識のギャップが狭まっています。
CLIやGUIに加えて、自然言語ユーザーインターフェースであるNLIのアイデアが提案されています。これは良いアイデアだと私は思います。同じ考えを共有する場合、プロンプトは誰にでも利用可能でなければなりません。それはまったく秘密のようにはされてはいけません。
制約を知る
生成AIは多くの称賛を受けていますが、それ自体にも制約があります。モデルは幻覚を見る傾向があり、論理的な推論が得意ではなく、制御が難しいです。これらの特徴があるため、LLMアプリケーションの開発は困難であり、プロフェッショナルなサービスを提供し、ビジネス価値を提供するために生成AIをより有用にする機会を提供します。これを実現するためには、生成AIが得意なことを知るだけでなく、生成AIの不足している領域、パフォーマンスの評価方法、およびこれらの問題を緩和する方法についても知ることが重要です。このようなノウハウを蓄積することは、長期的に非常に貴重なものとなるでしょう。
例として、RAGアプリケーションを考えてみましょう。RAGは生成AIエコシステムの重要な構成要素です。LLMが推論を地域データに基づいて行う必要がある場合や、プロンプトウィンドウよりもはるかに大きなコンテンツを扱いたい場合には、RAGが適切なオプションです。多数のRAGシステムが開発され、このトレンドに追いつくために多くのベクトルデータベースが作成されています。しかし、RAGにも独自の落とし穴があります。実際、印象的なRAGデモを構築することは比較的簡単ですが、それを本番システムに変換することは非常に困難です。これらの制約を認識することは、責任あるコンサルタントになるために役立ちます。
RAGアプリケーションについて詳しく知りたい場合は、以下の投稿をご覧ください：RAGのデメリット[2]、ベクトルデータベースの適用についての考慮事項[3]、埋め込みモデルの選択とホスティング方法[4]、埋め込みLLMの微調整方法[5]。
RAGの例を超えて、LLMのパフォーマンスはどのように評価されるのか、プロンプトインジェクションとプロンプトリークとは何か、ご存知ですか？プロンプトが微妙なニュアンスに敏感であることに気付いたかもしれませんが、プロンプトの堅牢性を測ることに興味はありますか？これらはすべて実用的な質問であり、多くの研究者の焦点となっています。まだ完璧な解決策はありませんが、これらの懸念や改善策について認識していることは、ソリューション設計において非常に役立つでしょう。これらの質問があなたにインスピレーションを与え、私たちができることがたくさんあることを感じていただければ幸いです。これらの質問と解決策は、私たちを強力なAI専門家に育てるでしょう。
全体像を把握する
もう一つの重要な戦略は、生成AIアプリケーションを単一のモデルではなく、全体システムとして考えることです。私たちは、LLMには多くの欠点があることを知っています。その中には、現在のLLMの構造の固有の欠陥もあります。それらの問題を解決するためには、画期的な新しい構造が必要です。Yann Lecun氏の言葉によれば、「LLMは未来ではありません」。研究者たちが代替LLMアーキテクチャを探求している間にも、多くの問題はエンジニアリングの解決策で対処する必要があることを知る必要があります。
昨年のMetaの失敗したLLMプロジェクトについて、MIT Technology Reviewに興味深い記事があります[6]。Metaは新しいLLMをリリースし、科学的な洞察を生成しました。しかし、そのモデルはオフラインになる前にわずか3日間しか存在しませんでした。何が起こったのでしょうか？
4,800万の科学論文、教科書、講義ノートでトレーニングされた後、モデルは「科学的なディープフェイク」を作り出すことができました。偽の科学論文を作り出し、それらを実在の研究者に誤って帰属させました。また、「宇宙のクマの歴史」のような架空のウィキ記事を作り出しました。もしLLMが提供した偽の参考文献を熱心な科学者が使用したら想像してみてください。
これは間違いなく非常に一般的なLLMの幻覚の問題です。LLMの幻覚を排除することは困難な戦いです。既知のすべての修正を適用しても、どの程度の正確さを達成できるかを把握する必要があります。プロジェクトが不正確な回答を許容しない場合、単一のLLMは良い選択肢ではないかもしれません。必要に応じて、知識グラフをバックエンドとする高度な解決策の方がはるかに優れたパフォーマンスを発揮します。応答はより信頼性があり、追跡可能で、全体的なソリューションも管理しやすくなります。
単一のモデルの現実的な精度を把握するために、以下のリーダーボードをご覧ください[8]。
責任
誰もがLLMの最も重要な問題は幻覚だと同意するでしょう。人々は問題を制御するためにさまざまな戦略を開発してきました。幻覚以外にも、生成型AIをシステムに適用することに迷う要素は他にありますか？以下のいくつかを見てみましょう：
説明可能性
何かをクエリするとき、LLMは常に答えを出します。しかし、モデルがどのようにしてその答えを導いたのかは明確ではありません。モデルが応答を導く際に、信頼できる情報を参照しているのか、それとも作り上げたものなのか、どのように確信できるのでしょうか？再びRAGに戻りますが、回答が重要な情報を含んでいるか不完全かをどのように知ることができるでしょうか？
公平性
すべてのLLMは大規模なデータセットでトレーニングされます。彼らはデータの中のパターンを発見するために設計されています。この文脈では、LLMは単なる統計モデルです。そして、すべての統計モデルは最も人気のあるパターンに偏っています。一般的な問題は、彼らがロングテールでうまく機能しないことです。
オーストラリアの人口の80%が上位8つの主要都市に住んでいるという人口統計データに基づいてモデルを考えてみましょう。それは全体的に良いパフォーマンスを示しますが、地方の人々やアボリジニの利益を見落としてしまいます。これらのバイアスは、最近のAIの安全性への懸念が高まっていることから、ショーストッパーになることがあります。
安全性
ゼロから新しいLLMをトレーニングするには、大量のトレーニングデータと膨大なお金が必要です。非常に資金力のある企業で働いている人々以外は、LLMアプリケーションの開発は事前にトレーニングされた基礎モデルに基づく必要があります。そして、これには2つの固有のリスクが伴います：
- トレーニングデータが安全であることをどのように知ることができるのでしょうか？悪意のあるデータを潜り込ませてバックドアを作ることは非常に簡単です。
- 生成されたモデルが安全であることをどのように保証することができるのでしょうか？トレーニングデータがクリーンで明確であっても、生成されたモデルは攻撃に対して敏感かもしれません。コンピュータビジョンモデルは入力画像に見えないノイズを追加することでだまされることがあることはおそらく既に知っているでしょう。LLMも攻撃に対して敏感です。
トレーニングデータとモデルが安全でないと仮定しなければならない場合、リスクを検出、制御、管理して危険を防止するにはどうすればよいでしょうか？
プライバシーとデータセキュリティ
LLMは単なる機械学習モデルです。そして、その知識は大規模なトレーニングデータセットに基づいて構築されています。彼らは、どの種類のデータが制限なしで開示されるべきか、どのデータが特定のユーザーグループにのみ提供されるべきか、どのデータが全く開示されないべきかを理解する必要はありません。では、アプリケーションをどのようにガードレールすればよいのでしょうか？トレーニングデータのプライバシーとセキュリティを監査し、LLMに忘れてほしくない情報を指示するにはどうすればよいのでしょうか？
技術は私たちの領域です
上記のすべてについての認識は、私たちの知識ベースとプロジェクト提案に含めるべきものを理解する手助けとなります。ソリッドなエンジニアリングなしに、アイデアは実現できません。
生成型AIのプロダクションでは、多くの空白のフィールドが存在します。いくつかの側面は新しいコンセプトであり、またいくつかの側面は古いMLOpsのプラクティスからアップグレードする必要があります。従来のMLOpsは、モデルのパフォーマンスが期待通りに維持されること、トレーニングとランタイム環境の効率性が確保されることに焦点を当てていました。LLMアプリケーションは効率的なモデルホスティング、ファインチューニング、ランタイムパフォーマンスの向上が必要です。さらに、前述の懸念事項それぞれに対するエンジニアリングソリューションを提供する必要があります。これらのユニークな課題により、LLMの運用は従来のMLOpsでは対応できないほど維持が困難になります。
LLMモデル管理を例に挙げると、MLOpsのスキルであるGPUクラスター上でモデルを効率的にホストする方法を学ぶ必要があります。また、LLMモデルの評価、モデルの調整、効果的なトレーニングデータの準備方法、ヒューマンインザループを活用したモデルのバイアス制御方法、RLHFを利用したモデルのリスク制御方法など、すべてのスキルを知る必要があります。タスクリストはずっと長く、技術スタックも複雑です。これらすべてに手を動かして取り組む必要があります。これらは私たちがクライアントを支援する方法です。
ソフトウェア開発者は数十年にわたり、最適なプロジェクト管理モデルを見つけるために取り組んできました。無数のプロジェクトの失敗を基に、数多くの方法論が開発されてきました。最終的に、人々はコミュニケーションがプロジェクトの成功の鍵であることに気づきました。彼らは最も効率的な方法としてアジャイルモデルを見つけ、スクラムが事実上の標準となりました。
ただし、機械学習プロジェクトはコミュニケーションがはるかに複雑で、すべての関係者を同じページに保つことがはるかに困難です。ただし、機械学習プロジェクト固有のベストプラクティスはまだ存在しません。私の解釈では、これは機械学習アプリケーションの幼少期を示していると考えています。コミュニケーションがプロジェクトを後退させていることを見ました。私は、MLプロジェクトのスムーズな進行を実現するための新しいスクラムの調整を考える人が現れることを期待しています。
この課題にどのように取り組むことができるでしょうか？私の提案は、できる限り範囲を超えることです。特定の範囲に自分自身を制約しないでください。ステークホルダー間のギャップを埋める能力は、プロジェクトに利益をもたらします。
まとめ
新興の生成AIは、無限の挑戦と機会の青い海に私たちを導きます。現時点では、すべてが曖昧で速い動きをしているように見えます。学び、試し、毎日問題を解決することがたくさんあります。良いニュースは、次の画期的なイノベーションが現れるまで、主な生成AIの課題は実践的なものです。ほとんどは現実の問題を解決し、高度な数学のスキルは必要ありません。計画的な方法で自分自身の計画を立て、専門知識を構築すれば、最新の開発に追いつくことが容易になります。私たちは有用なMLコンサルタントとして自分自身を資源にすることができ、MLコミュニティに対して実践を還元する機会を持っています。この機会がどれくらい続くかはわかりませんが、これは素晴らしいことです！
ご理解いただけるように、これは長い旅です。私のビジョンに賛同していただける場合は、購読して拍手していただき、進捗状況を共有できるようにしていただければと思います。
参考文献
Choose Your Weapon: 抑うつ状態のAI研究者のための生存戦略
大学や研究機関でAI研究者をされていますか？現在のAIの進展についていけていないことに不安を感じていますか…
arxiv.org
RAGのデメリット
最近、大規模言語モデル（LLM）の台頭により、RAGシステムへの関心が高まっています。多くの実践者が…
VoAGI.com
ベクトルデータベースを採用する前に知る必要があること
適用可能な生成AIへの旅を続けるために、いくつかの課題について議論したいと思います…
VoAGI.com
OpenAIのソリューションよりも優れて安価かつ高速なテキスト埋め込みモデルのホスティング
わずかな技術的な努力で、OpenAIのソリューションよりも優れたテキスト埋め込みモデルを作成できます。
VoAGI.com
PEFTとLoRAを用いた埋め込みモデルの微調整
以前の議論では、埋め込みモデルの評価とこれらをホスティングすることの潜在的な利点を探求しました…
VoAGI.com
なぜMetaの最新の大規模言語モデルはわずか3日間しかオンラインで生き残れなかったのか
ガラクティカは科学者の助けになるはずでした。その代わり、バイアスがかかり不正確なナンセンスを無思慮に吹き出しました。
www.technologyreview.com
LinkedInのダリアナ・リウ氏: 我々は150人以上のデータサイエンティスト、MLエンジニア、幹部、PMを対象に調査しました…
29カ国でデータサイエンティスト、MLエンジニア、幹部、PMを対象にLLMの使用状況について調査しました。以下に3つ示します…
www.linkedin.com
We will continue to update VoAGI; if you have any questions or suggestions, please contact us!
Was this article helpful?
93 out of 132 found this helpful
Related articles
