大規模言語モデルに追いつく

Catch up with large-scale language models

大々的な言語モデルについての実践的なガイド

もしあなたがここにいるのなら、私と同じように、大々的な言語モデル（LLM）に関する情報の流れや煽り記事に圧倒されていたことを意味します。

この記事は、ハイプを排除した大々的な言語モデルに関する情報を追いつくための私の試みです。この技術は変革的であり、私たちが理解することは重要だと考えています。さらに興味を持ち、それを使って何かを構築することを願っています。

次のセクションでは、LLMの定義とその動作、もちろんTransformerアーキテクチャについて説明します。また、LLMのトレーニング方法についても探求し、Pythonを使用して感情分析にFlan-T5を使用するハンズオンプロジェクトで記事を締めくくります。

それでは、始めましょう！

• 自然言語処理：BERTやGPTを超えて
• 「新しいAIの研究が、化学的な匂いを説明する能力において、機械学習モデルが人間レベルのスキルを達成することを示している」という
• このAIの論文では、プログラミング言語が指示調整を通じて互いを向上させる方法について説明しています

LLMと生成AI：同じものですか？

生成AIは、テキスト、画像、ビデオ、コードなどを生成することを主な目的とするモデルに焦点を当てた機械学習のサブセットです。

生成モデルは、人間が作成した膨大な量のデータを学習して、新しいデータを作成できるようにするパターンと構造を学習します。

生成モデルの例：

• 画像生成：DALL-E、Midjourney
• コード生成：OpenAI Codex
• テキスト生成：GPT-3、Flan-T5、LLaMA

大々的な言語モデルは、入力テキストを受け取り、次の単語を予測し続けて出力が完成するまで繰り返すため、生成AIの一部です。

しかし、言語モデルが大きくなるにつれて、要約、感情分析、固有表現認識、翻訳など、自然言語処理の他のタスクも実行できるようになりました。

それを踏まえて、LLMの動作に注目しましょう。

LLMの動作方法

大々的な言語モデルが存在する理由の1つは、Googleとトロント大学の画期的な研究「Attention Is All You Need」（2017年）の発表です。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!