大型言語モデルへの優しい導入

「大型言語モデルのスムーズな導入方法」

こんにちは、この大規模な言語モデル（LLM）のやさしい入門にたどり着いてくれて嬉しいです。ここに来たということは、この3文字の頭字語がここ数年のニュースフィードを席巻している中で、悩んでいたことでしょう。もう心配いりません！このブログ投稿がそれについての目的です。大規模な言語モデルの素晴らしい景色を歩いて、その過程でいくつかの基本的な概念やその動作の理由を説明します。ニューラルネットワークから始めて、ディープラーニングの基礎をおさらいし、NLPとは一体何なのかを理解し、最終的には大規模な言語モデルの動作について学びます。さあ、始めましょう。

人工知能とは何ですか？

簡単に言えば、知能は思考、学習、理解、問題解決の能力を指します。これにより、人間や特定の動物は周囲の状況を理解し、状況に適応し、経験や知識に基づいて意思決定をすることができます。

知性は、推論能力、誤りから学ぶ能力、情報を効果的に活用して課題に立ち向かう能力を含みます。

基本的には、私たちが世界を自在に航海し、成功裏に関われる能力です。では、知性（AI）の概念について掘り下げてみましょう。

• Google DeepMindは、直接報酬微調整（DRaFT）を導入しました：微分可能な報酬関数を最大化するための効果的な人工知能手法における拡散モデルの微調整
• テキスト生成の評価におけるベクトル化されたBERTScoreのビジュアルガイド
• 3Dインスタンスセグメンテーションにおける境界の打破：改善された疑似ラベリングと現実的なシナリオを備えたオープンワールドアプローチ

AIは、データに基づいて知的な選択をしながら、膨大な情報を処理するスキルを持ったアシスタントと見なすことができます。映画や音楽のおすすめを提案したり、医療画像の正確な分析を支援したり、人間の介入なしで自律的に車を運転したりするなど、さまざまなタスクに役立つ頭脳がそばにあると考えてください。

AIの魅力は、アルゴリズム（ステップバイステップの指示）とデータにその機能が依存していることです。これは、誤りから学ぶコンピューターと同様です。練習を通じて割り当てられたタスクで徐々に向上していきます。これは、AIの動作を探求する人々によって説明や理解が可能であることを意味します。

機械学習とは何ですか？

AIの概念を理解したら、実際に機械がどのように知識と理解を獲得するのかが気になるでしょう。その点で機械学習が関連してきます。

コンピュータを持っていると想像してください。そのコンピュータに、画像が猫か犬かを示しているかどうかを判断させるようにしたいとします。この問題に取り組む一つの方法は、コンピュータに毛皮、耳、尾などの特徴を探すように指示することです。しかし、このアプローチは非常に複雑になる可能性があります。

機械学習は異なるアプローチを取ります。それはコンピュータに例を通じて教えることに似ています。猫と犬の画像に触れさせて、徐々にそれ自体で猫と犬を区別することを理解し始めます。画像内のパターンや類似点を見つけることで学習します。

要するに、機械学習はAIの学習の側面を形成します。コンピュータはデータからタスクを学習します。したがって、AIは推論、問題解決、言語の理解など、より広範な能力を持つことができます。これらは機械学習によって大幅に向上することができます。

機械学習モデルとは何ですか？

AIとMLの概念を把握したら、言語モデル（LLM）の重要性を理解することが不可欠です。LLMを理解するためには、まず「モデル」の意味を理解する必要があります（その一部を構成する言葉のうちの1つです）。データの例、規則、パターンに学ぶ機械の背後にある知識や理解と考えてください。例えば、猫は髭がある、犬は脚が長いといった特徴を学習して、画像が与えられたときに情報に基づいた意思決定や予測を行うことができます。

私たちの類推を深めるために、言語モデルをテキストを処理する能力を持つモデルとしてイメージしてください。これらのモデルはインターネットから大量のテキストデータを学習し、人間が生成するテキストコンテンツに匹敵する能力を持ちます。たとえば、GPT 4のようなモデルは、詩の作成、賢い質問の回答、さらにはコンピュータコードの生成などでその腕前を発揮しています。言語のマスタリーにおいて、本当に魔術師です！

ニューラルネットワークとは何ですか？

モデルが予測を生成するためには、データに観察されるパターンを理解する必要があります。これを実現するためのアプローチがいくつかあり、その一つがニューラルネットワークの利用です。

ニューラルネットワークは、機械学習や人工知能において重要な役割を果たし、画像認識、言語理解、予測などの複雑なタスクに取り組むことができます。

ニューラルネットワークは、ニューロンと呼ばれるユニットの層から成り立っており、情報処理において協力しています。あなたの脳をニューロンで構成されたネットワークと想像してみてください。例えば、猫の画像に遭遇した場合、脳内のニューロンが毛皮、耳、ヒゲなどの特徴に基づいてそれを識別するために活性化します。ニューラルネットワークも同様に、データ内のパターンを認識するために、層を跨いでニューロンを使用します。ただし、人間の脳の働きに比べると、はるかに簡単です。

ケーキを焼くというアナロジーを使って、ネットワークの世界に飛び込んでみましょう。材料とレシピを入力データと考え、ニューラルネットワークのために集める原材料に似ています。

• ケーキを焼く過程は、相互に連携する層から成るネットワークの構造を象徴しています。
• プロセスの各ステップは、活性化関数を持つニューロンの働きを表しています。これは、温度や混ぜる時間などの要因に基づいてレシピを調整することに似ています。
• 材料の量を微調整することがケーキの味に影響を及ぼすように、ネットワーク内の重みはニューロンの接続の強さを決定します。
• 最終的な目標は、ニューラルネットワークが正確な予測や分類を行うようなケーキを作ることです。
• ケーキが期待に達しない場合、レシピを改善します。これは、ニューラルネットワークにおける逆伝播と同様です。

ディープラーニングとは何ですか？

ケーキのアナロジーの中で、ディープラーニングと通常のニューラルネットワークの主な違いは、ネットワークの深さ、つまり隠れ層の数です。以下でその違いを明確に説明しましょう：

通常のニューラルネットワークは、入力層と出力層の間に配置された隠れ層一つまたは数層から成り立っています。ニューラルネットワークの場合、各隠れ層は、混ぜる時間、温度、材料の量などの要素を考慮に入れることができるかもしれません。これらの特徴を組み合わせることで、ネットワークはケーキの品質について予測を行うことができます。

ディープラーニングのニューラルネットワークは、複数の隠れ層が積み重ねられていることが特徴です。これらのディープニューラルネットワークは、追加の隠れ層ごとに複雑で抽象的な特徴を捉えます。たとえば、最初の隠れ層は混ぜる時間や温度などの特性に焦点を当てるかもしれませんが、後続の層は材料の相互作用などより細かい側面を掘り下げることができます。この階層的な表現能力により、ネットワークはデータ内のパターンと関係性を把握することができます。

言語モデルとは何ですか？

文を完成させるという目標を持ったワードゲームをしていると想像してください。例えば、「The sun is shining and the birds are singing」という文が出てきます。次の単語を予測しなければならないのです。

文からの単語の知識を利用して予測を行う言語モデルは、天候に関するフレーズの後に「bright」や「beautiful」などの単語がよく続くという知識に基づいて推測するでしょう。

それだけではありません。言語モデルは、次に来る可能性のある各単語に対して確率を割り当てます。例えば、天気について話した後に「elephant」が使われることはあまりないため、「bright」にはより高い確率を割り当て、それに対して「elephant」にはより低い確率を割り当てるでしょう。したがって、言語モデルはこれらの確率に基づいて予測を行います。言語モデルは、過去の事例からのパターンに頼って、文の中で最も可能性の高い次の単語を決定することができる言葉の魔術師のような存在です。完璧ではありませんが、携帯電話でのオートコンプリートの提案やメッセージを入力する際の次の単語の予測などのタスクにおいて非常に優れた性能を発揮します。

エンコーダーとデコーダーとは何ですか？

エンコーダーは、言語モデル内で、あなたが話す言葉に密に耳を傾ける聴衆のような存在です。エンコーダーは「太陽は輝いており、鳥たちは」などの文の前の単語を分析し、それらの意味や関連性を注意深く考慮して文脈の理解を確立します。この要約された文脈は次に「デコーダー」に渡されます。

デコーダーは、単語の提案者として機能します。デコーダーはエンコーダーから情報を受け取り、その文が鳥に関連している可能性を示すことがあり、次の単語の候補リストを生成します。たとえば、鳥や良い天気と一般的に関連する単語である「歌う」や「鳴く」といった提案をするかもしれません。デコーダーからの各提案には確率が割り当てられ、最も確率の高い単語が最も可能性が高いとされます。

単語ゲームのアナロジーでは、エンコーダーは単語から文脈を把握し、デコーダーはその文脈に基づいてさまざまなオプションの確率に関連付けられた文脈を活用して次の単語について的確な予測を行います。これは、聞き手（エンコーダー）が注意深く聞き、専門家のアドバイザー（デコーダー）が聞いたことに基づいて最適な単語の選択肢を提供する会話に似ています。彼らは一緒に協力して意味のある文を構築するのに役立ちます。

エンコーダー・デコーダーのセットアップにおける文脈とは何ですか？

エンコーダーとデコーダーが存在するセットアップでは、「文脈」という用語は、入力シーケンス（通常は単語やトークンの系列）に関する詳細を指し、デコーダーが出力シーケンスを生成するために格納され、利用されます。

エンコーダーの役割は、入力からこの文脈を捉えてエンコードすることであり、デコーダーの役割はこの文脈を利用して出力を生成することです。

以下にエンコーダーデコーダーセットアップにおける文脈の働き方の説明があります：

文脈のエンコーディング（エンコーダー）

エンコーダーは入力シーケンスを取得し、ステップごとに処理し、通常、各要素（文中の単語など）を固定長の表現に変換します。

この表現は、コンテキストベクトルとして知られ、入力シーケンス全体からのすべての情報を要約します。それは、入力の要素間の関係や依存関係を捉えます。

文脈の活用（デコーダー）

デコーダーは、エンコーダーから文脈ベクトルを状態として受け取ります。この情報の縮小形には、入力シーケンスに存在した内容の詳細が含まれています。

この文脈を使用して、デコーダーは一度に1つの要素ずつ出力シーケンスの各部分を生成します。また、出力シーケンス内で以前に生成された要素も考慮する場合もあります。

この文脈を利用することで、デコーダーは次に来るべきものを的確に判断し、与えられた文脈内で意味のある出力を生成することができます。

生成モデル

生成モデルとは、「マスクされた」言語モデルを指す用語です。では、「マスクされた」とは具体的に何を意味するのでしょうか？

マスクされた言語モデル（MLM）は、単語の推測ゲームを非常にうまくプレイすることができます。具体的な例を使って、彼らがどのように機能するかを説明しましょう。

「The [MASK] is chasing the ball.」のように、単語が入れられるべき箇所がある文を想像してください。課題は、適切な単語を埋めることです。 MLMは、これらの単語パズルを解くのに非常に熟練しています。

彼らを特別なものにするのは、推測に頼らないことです。代わりに、彼らは文のスペースの前後のすべての単語を注意深く分析します。

これらのモデルは、豊富なインターネットテキストを使用してトレーニングを受けています。彼らは単語が文の構造にどのように結合するかを観察しました。その結果、彼らは学習した内容に基づいて適切な単語で文章を完成させる能力を持っています。

私たちは、BERTやGPTなどのさまざまなマスクモデルを使用しています。これらは次の単語を予測する能力が非常に高い生成モデルとして知られています。GPTはGenerative Pre-trained Transformerを表しています。以前は生成モデルと事前学習の側面について説明しましたが、ここでは「Transformer」という言葉の意味を掘り下げましょう。

Transformerとは？

Transformerは、Vaswaniらが2017年の論文「Attention Is All You Need」で紹介した深層学習モデルの一種です。これらは、長距離依存関係を効率的に捉える能力により、テキストなどの順次データを処理するのに特に効果的です。

Transformerアーキテクチャは、エンコーダとデコーダの2つのコンポーネントで構築されています。これらのパーツはそれぞれ複数のレイヤーから成り立っています。

• エンコーダ：エンコーダは文などの入力シーケンスを取得し、トークンごとに処理します。各トークンはまず次元空間内のベクトルに変換されます。そして、エンコーダの各レイヤーでは、自己注意メカニズムが働き、モデルが入力シーケンスの他のすべてのトークンとの関連性の重要性を理解することができます。これらの重み付けされた表現を組み合わせることで、モデルは情報を効果的に捉えます。さらに、エンコーダの各レイヤーでは、これらの表現を洗練するために前向きニューラルネットワークが使用されます。
• デコーダ：デコーダはエンコーダと似たような構造ですが、エンコーダの出力に焦点を当てた追加の注意メカニズムを備えています。デコーディング中、このモデルはステップごとに出力シーケンスを生成します。各ステップでは、自己注意を使用して以前に生成されたトークンを考慮し、入力シーケンスからの情報を包括したエンコーダの出力に注意を払います。この双方向の注意により、デコーダは出力の文脈に基づいてトークンを生成することができます。

自己注意

自己注意は、Transformerモデルにおいて単語間の関連性を理解する上で重要な役割を果たし、シーケンス内の単語との関連性を考慮し、それぞれの単語の重要度を割り当てることができます。このプロセスにより、高度に意味のある表現が生成されます。

自己注意により、モデルはテキストシーケンス内の単語や要素間の関係を把握し、シーケンス内のすべての単語に対してその重要度を割り当てることができます。このプロセスにより、意味のある表現が生成されます。

Transformerモデルにおける自己注意の重要性は、主要な要因に起因することができます：

1. 文脈の把握：自己注意により、Transformerは文内の単語同士の関係性を捉え、自然言語の文脈を理解するために隣接する単語だけでなく、文全体を考慮することができます。
2. 長距離の依存関係の学習：自己注意は、Transformerがデータ内で距離を超える依存関係を学習するのに役立ちます。これは言語翻訳やテキスト生成などのタスクにおいて重要であり、意味のある句や言葉が文内で離れている場合に必要となります。

Transformersと自己注意についての洞察を提供している@JayAlammar氏のブログもぜひチェックしてみてください。これらは非常に多目的で、さまざまな自然言語処理のタスクに適用可能です。

ChatGPTには何が起こっているのでしょうか？

ChatGPTは、トランスフォーマーやマスクモデル、エンコーダーデコーダーなどの概念を組み合わせたものです。ChatGPTの強力さの秘密は、トランスフォーマーベースのアーキテクチャと大規模なデータセットでの事前トレーニング、特定のタスクに対する微調整、文脈に沿った応答を生成する能力の組み合わせにあります。

以下は、ChatGPTが非常に効果的な理由のいくつかです：

• トランスフォーマーアーキテクチャ：ChatGPTはトランスフォーマーアーキテクチャに基づいて構築されており、データの処理に優れ、人間の言語を理解および生成するのに特に適しています。
• 広範な事前トレーニング：チャットボットのインタラクションなどのタスクに使用する前に、ChatGPTはインターネットから大量のテキストデータでトレーニングを行います。この事前トレーニングのフェーズにより、モデルは言語の文法ルールと一般知識を理解します。
• 双方向の自己注意：ChatGPTは、トークン（単語または単語の一部）が文内の前後の単語を考慮できる自己注意メカニズムを利用します。この双方向の理解により、モデルは文脈を捉え、単語間の依存関係を把握してより文脈に応じた応答を生成することができます。
• 微調整：初期の事前トレーニングフェーズの後、ChatGPTは特定のタスクに対して能力を洗練するための微調整を行います。例えば、チャットボットのインタラクションなどです。

さらに、ChatGPTの独自性に貢献しているもう一つの技術があります。それは人間のフィードバックからの強化学習（RLHF）と呼ばれる方法です。

人間のフィードバックからの強化学習（RLHF）

人間のフィードバックからの強化学習（RLHF）は、人間によって生成されたデータと強化学習を組み合わせてChatGPTのパフォーマンスを向上させるために使用される技術です。以下はChatGPTにおけるRLHFの概要です：

前述の通り、ChatGPTは事前学習を行い、膨大な量のテキストデータから学習します。

次に、ChatGPTは「チューニング」というプロセスを経ます。このフェーズではAIトレーナーがモデルと対話を行い、ガイドラインに基づいて応答を提供します。これらのトレーナーはユーザーとのやり取りをシミュレートします。その結果得られる対話データセットと、モデルの応答をトレーナーがランク付けする比較データが報酬システムとなります。

モデルはこの報酬システムに基づいて報酬を最大化するように訓練されます（これが強化学習として知られています）。つまり、人間の好みに合致し、与えられた文脈に適合する応答を生成することを学ぶのです。

細かい調整と強化学習を繰り返すことで、モデルは時間とともにパフォーマンスを向上させていきます。各イテレーションによって正確でユーザーフレンドリーな応答が生成されるようになります。

まとめ

この記事では、人工知能の領域について詳しく説明し、特に機械学習とその高度なサブフィールドである深層学習に焦点を当てました。文脈の手掛かりに基づいて文の次の単語を予測するための予測アルゴリズムとして機能する言語モデルについて解説しました。TransformersやSelf Attentionについても触れながら、RLHFについても簡単に説明しました。

LLMsの世界をスムーズに進むのに役立つ、わかりやすいガイドを提供できたことを願っています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!