より強力な言語モデルが本当に必要なのでしょうか？

Is a more powerful language model really necessary?

現在、人々はほとんど疑問視していない：より大きなモデルはより良いモデルを意味するというつながりです。Open AIによるGPTの新しいリリースごとに、伝統的なメディアやソーシャルメディアの両方で非常に大きな関心が生まれます。しかし、私たちは日常のタスクをサポートするためにより強力な言語モデル（基盤モデル）が必要なのでしょうか？

この記事では、Serokellのデータサイエンスチームリードであり、Ph.D.コンピュータサイエンス、准教授、およびITMOのシニアリサーチャーであるIvan Smetannikov氏に話を聞きました。彼は、なぜChatGPTはしばしば時間とリソースの大量の浪費となる場合があるのかを説明し、同じ結果をもたらすことができるNLPモデルの代替手法についても話しています。

ChatGPTのユニークな点は何ですか？

ChatGPTは、自然な人間の言語で応答を処理および生成するために設計された基盤モデルです。GPT 3.5をベースに構築されており、単語や文のシーケンスを理解し、前の会話を覚え、それらから学習することができます。また、自己教師あり学習も使用しており、間違いを修正することができます。一般的に、さまざまなタスクで他の生成モデルよりも優れた結果を示します。少なくとも、それがOpen AIがあなたに思わせたいことです。

彼らは、ChatGPTがエッセイを書くこと、賃貸契約を立てること、子供向けの物語を要約することなど、あらゆることに普遍的に優れていると提案しています。そして、彼らの解決策の普遍性は魅力的です。

• 2023年に読むための自然言語処理に関する5冊の無料の書籍
• Wandaとは：大規模言語モデルに対するシンプルで効果的なプルーニング手法の紹介
• Google MusicLMを使用してテキストから音楽を生成する

AIの先端研究者であり、生成AIの一流の専門家の一人であるスタンフォード大学のPeter Liang氏は、この適応性がトランスフォーマーモデルを非常に魅力的にしていると主張しています：

初期のトレーニング段階を経ると、自己教師ありモデルは、より具体的な多くの小さなタスクに対してさらに微調整することができます。その潜在的な影響は非常に大きいです。― Techmonitor

しかし、ここでチャットボットの利点は終わります。ChatGPTにはいくつかの深刻な欠点があります：幻覚からセキュリティの脆弱性まで。その原因はアーキテクチャにあります。

なぜChatGPTは心配なのですか？

私たちがChatGPTなどの生成的機械学習モデルがすばらしいと思うか疑問に思う理由をいくつか挙げます。

膨大なリソースを消費する

ChatGPTは、任意のリクエストに応答するために多くのパワーを必要とします。あるユーザーが計算したところによると、ChatGPTは2023年1月に17.5万人分の電力を消費しているかもしれません。”基盤モデルとは何か？”という単純な質問をするとき、チャットボットはあなたが1ヶ月間に消費するエネルギーよりも多くのエネルギーを消費します。比較のために、1回のGoogle検索は60Wの蛍光灯を17秒間点灯させるのと同じです。私にとっては、非常に大きな浪費に思えます。特に、同じ結果をより簡単な手段で達成できる場合を考えると（これについてはこの記事でさらに詳しく説明します）。

さらに、アルゴリズムが電力を消費するため、膨大な炭素排出量も生成します。基盤モデルのさらなる開発と使用は、私たちの惑星の未来に大きな影響を与える可能性があります。

疑わしいパフォーマンス

チャットボットを稼働させるためにどれだけのリソースが使われるかを見てきました。でも、それは人間の言語を理解するために価値があるのでしょうか。

実際にはそうではありません。ChatGPTは確率的アルゴリズムに基づいており、単に次の単語の出現確率を予測しようとします。しかし、人間の言語や会話を理解することはできません。

GPTや他の大規模言語モデルは、認識論的なものではなく、芸術的なものです。奇妙で邪悪なシンセサイザーを想像してください。そのボタンは、テキスト情報、スタイル、意味をサンプリングします。それはテキストの形で答えを提供するというわけではなく、ほとんどのテキストを楽器のように演奏できるようにするためのものです。― The Atlantic

これが、ChatGPTがしばしば誤った回答、つまり「幻覚」を生成する理由を説明します。ChatGPTは事実、引用、ソースを創造します。さらに、デフォルトでは回答の誤りに気づかないのです。具体的に要求しない限り、確かではないときに通知しません。したがって、私にとっては、リソースと正確さのバランスは疑わしいです。そんなに多くのエネルギーとお金を連続的に裏切るものに費やす価値はあるでしょうか？

一手に集中したパワー

最後に、チャットボットモデルの大きな問題は、一手に多くの権力が集中することです。

Google、Facebook、Open AIなど、わずかな企業のみが基盤モデルを展開する余裕があります。基盤モデルの機能や適切な使い方を調査する研究者や政策立案者のほとんどは、これらのリソースにアクセスすることができません。

今日のスタートアップ（OpenAI、Anthropic、AI21 Labsなど）は、学術界よりもはるかに豊富な資源を持っており、したがって最大の基盤モデル（例：OpenAIのGPT-3）のトレーニングをまだ余裕で行うことができます。[…] 基盤モデルの中心化する性質は、それらを開発するための参入障壁が続けて上昇することを意味します。したがって、アジリティを持つスタートアップでも競争が困難になる傾向があり、それは検索エンジンの開発にも反映されています。 ― キラ・ラディンスキー、ハーバード・ビジネス・レビュー

さらに、Open AIのような企業は自社の技術を公開しません。GPT-3はまったくリリースされず、一部の人にAPIアクセス権限が付与されるのみです。データセットも公開されていません。コミュニティは基盤モデルの作成に制御や意見を持っていません。

代わりに何ができるのでしょうか？

理解する重要なことは、LLMで達成できることはより直接的で限定的なAIでも達成できるということです。はい、それはあまり汎用的ではありませんが、実際のビジネスタスクのほとんどは一般的なAIを必要としません。ほとんどの場合、ボットを開発し、より簡単なモデルでサポートすることは、有名なプロバイダからトークンを購入するよりも簡単で安価になります。

さらに、この方法では、第三者に感知情報を委託する必要はありません。彼らがデータをどのように保護しているかについて何も知らない場合（ChatGPTからのデータ漏洩の最近のスキャンダルもある）、ChatGPTや類似のソリューションは、仮説をテストするためのMVPを作成するのには最適です。しかし、長期的には、自社のニーズに合わせて開発し調整したインハウスソリューションにコンポーネントを切り替える方が合理的です。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!