生成AI 最初のドラフト、最終的なものではない

『生成AI 最初のドラフト、最終形ではありません』

著 : ヌマ・ダマニ＆マギー・エングラー

 

AIにとってはまさに一時のブームであると言っても過言ではありません。去年末、OpenAIの対話型エージェントChatGPTが予想外の大ヒットとなって以来、テック業界ではChatGPTの背後にある大規模言語モデル（LLM）について話題になっています。 アンソーピックやコヒアなどの資金力のあるスタートアップに加えて、Google、Meta、Microsoftなども独自のLLM製品をリリースしています。 さまざまなセクターの企業が急いでLLMをサービスに統合しました。OpenAIだけでも、カスタマーサービスのチャットボットにパワーを供給するストライプのようなフィンテック企業から、教育資材を生成するDuolingoやKhan Academyのようなエドテック企業、リアルタイムでNPC（非プレイヤーキャラクター）に対話を提供するためにLLMを利用するInworldなどのビデオゲーム企業まで幅広い顧客を誇っています。 これらのパートナーシップと広範な採用により、OpenAIの年間売上高は10億ドルを超えると報じられています。これらのモデルのダイナミズムに感銘を受けるのは容易です。最新のOpenAIのLLMであるGPT-4に関する技術報告書は、そのモデルが学術および専門分野のさまざまなベンチマーク、例えば司法試験、SAT、LSAT、GRE、美術史、心理学、統計学、生物学、経済学などで非常に高いスコアを達成していることを示しています。

これらの目を引く結果からは、知識労働者の終焉を示唆するかもしれませんが、GPT-4と人間の専門家との間には重要な違いがあります。 GPT-4には理解能力がありません。GPT-4や他のLLMが生成する応答は、論理的な推論プロセスではなく統計的処理によって派生しています。大規模言語モデルは、インターネット上の膨大なデータからトレーニングされます。ウェブクローラーは、何百万ものウェブページを訪れてその内容をダウンロードするボットで、ソーシャルメディアやウィキ、フォーラム、ニュースやエンターテイメントのウェブサイトなど、あらゆる種類のサイトからテキストのデータセットを生成します。これらのテキストデータセットには数十億または数兆の単語が含まれており、ほとんどが自然言語で配置されています。つまり、単語が文を形成し、文が段落を形成する形式です。

• ２０２３年１０月：オクタが新しいアイデンティティイノベーションを発表して、AI時代のセキュリティを確保します
• 「LangchainとOllamaを使用したPDFチャットボットのステップバイステップガイド」
• 「10月2023年のベストセールスエンゲージメントプラットフォーム」

文章を繰り返し補完する例の数百万の中で、モデルは「It was a dark and」「The capital of Spain is」といった文章を見た後に次の単語を予測しようとします。そして、それが正しいかどうかを確認して、間違った場合は自己更新します。経過する時間とともに、モデルはこのテキスト補完のタスクをますます上手くこなすようになります。特に「The capital of Spain is」といった文脈では、次の単語がほとんど常に同じである場合、つまりモデルによって「正しい」とされる手法は、人間が「正しい」と考える応答です。 「It was a dark and」のように次の単語がいくつか異なるものになり得る文脈では、モデルは人間が「合理的」と考える選択肢、たとえば「stormy」ではなく「sinister」または「musty」という選択肢を学習するようになります。このように、モデルが大量のテキストデータセットを自己学習するLLMのライフサイクルのこのフェーズを、該当事例を含む特定のデータセットで訓練した後の状態をプリトレーニングと呼びます。

ただし、次に来るべき単語を予測するだけで望ましい結果を得ることができない場合もあります。その場合、モデルは「犬についての詩を書いて」といった指示に対して詩を書くべきではなく、指示を続けるべきかどうかを理解することができないかもしれません。このような特定の行動（指示の従順性など）や特定のタスク（コードの書き込みや人々とのカジュアルな会話など）を実現するために、LLMは対象となるタスクの例を含むターゲテッドなデータセットで訓練されます。

ただし、次に来るべき単語を予測するだけで望ましい結果を得ることができない場合もあります。その場合、モデルは「犬についての詩を書いて」といった指示に対して詩を書くべきではなく、指示を続けるべきかどうかを理解することができないかもしれません。このような特定の行動（指示の従順性など）や特定のタスク（コードの書き込みや人々とのカジュアルな会話など）を実現するために、LLMは対象となるタスクの例を含むターゲテッドなデータセットで訓練されます。

ただし、言語モデルが次に来るべき単語を予測するというタスクそのものが、間違った情報や説明を自信を持って作り上げるという現象、いわゆる幻想を引き起こす可能性があります。LLMがテキストを予測し補完する能力は、トレーニングプロセス中に学習されたパターンに基づいていますが、不確実性のあるもしくは複数の可能な補完がある場合、LLMは現実に基づかないにも関わらず最も妥当と思われる選択肢を選ぶのです。

例えば、Googleがそのチャットボット、Bardを公開したとき、最初の公開デモで事実に反する発言をしました。 Bardは「James Webb Space Telescope（JWST）が『地球外の惑星の最初の写真を撮った』と発言」したことで有名になりました。しかし実際には、2004年に最初の外部惑星の画像がVery Large Telescope（VLT）によって撮影され、JWSTは2021年に打ち上げられました。

“`html

幻覚はLLMの唯一の欠点ではありません- インターネットデータの大量トレーニングは、バイアスと著作権の問題に直接的に結果をもたらします。まず、バイアスについて話しましょう。これは、人種、性別、階級、宗教などの個人の属性にわたるモデルの異なる出力を指します。LLMはインターネットデータから特徴やパターンを学ぶため、人間のような偏見、歴史的な不正、文化的な関連性も不運にも持ちます。人間はバイアスがあるものの、LLMはトレーニングデータに存在するバイアスを増幅する傾向があります。LLMによれば、男性は成功した医師、エンジニア、CEOですが、女性は協力的で美しい受付や看護師であり、LGBTQの人々は存在しないものとされます。

インターネットデータの驚異的な量でLLMをトレーニングすることにより、著作権の問題も浮上します。著作権は創造的な作品に対する独占的な権利であり、著作権保持者は一定期間内にその作品を複製、配布、展示、上演する唯一の権限を持ちます。

現在、LLMに関する主な法的懸念は、出力の著作権可能性ではなく、トレーニングデータセットに貢献する作家や著者の既存の著作権の侵害にあります。作家組合はOpenAI、Google、Meta、Microsoftなどに対して、著作権保護された素材の使用に対して作家に同意し、クレジットを表示し、適正な報酬を支払うよう要求しています。一部の著者と出版社もこの問題に取り組んでいます。

LLMの開発者は、現在、著作権に関する懸念から個人や団体から複数の訴訟を受けています- コメディアン兼俳優のサラ・シルバーマンは、OpenAIに対して彼らの著作権保護された本をLLMのトレーニングに使用する許可を与えていないと主張し、著者と出版社のクラスに加わり訴訟を起こしました。

幻覚、バイアス、著作権に関する懸念は、LLMに関連する最もよく文書化された問題の一部でありますが、それだけではありません。LLMは機密情報を符号化し、望ましくないまたは有害な出力を生成し、敵対者に悪用される可能性もあります。疑いなく、LLMは一貫して文脈に即したテキストを生成する能力に優れており、効率を改善するためなど多くのタスクやシナリオで活用されるべきです。

研究者たちはこれらの問題のいくつかに対処するためにも取り組んでいますが、モデルの出力を最良に制御する方法は、まだ解明されていない研究課題であり、既存のLLMは完全に万全ではありません。彼らの出力は常に正確さ、事実性、潜在的なバイアスを検証すべきです。あまりにも信じられない程の出力を得た場合には、注意を払いさらに検証する必要があります。テキスト生成AIから生成されたものは、あくまで初稿であり、最終稿ではありません。

Maggie Englerは、大規模言語モデルのセーフティに取り組むエンジニア兼研究者です。彼女はデータサイエンスと機械学習をオンラインエコシステムの乱用に応用することに焦点を当て、サイバーセキュリティや信頼性と安全性の専門家です。Maggieは教育者とコミュニケーターとしても献身的に活動し、テキサス大学オースティン校情報学部で臨時助教として教鞭をとっています。

[Numa Dhamani](https://www.linkedin.com/in/numadhamani/)は、技術と社会の交差点で働くエンジニア兼研究者です。 彼女は影響操作、セキュリティ、およびプライバシーの分野における自然言語処理の専門家です。NumaはFortune 500企業やソーシャルメディアプラットフォーム、スタートアップや非営利団体向けに機械学習システムを開発してきました。彼女は企業や組織にアドバイスをし、アメリカ国防総省研究プログラムの主任研究員を務め、多くの国際的な査読付きジャーナルに貢献しています。

“`

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!