「大規模言語モデルのドメイン適応」

「美容とファッションにおける大規模言語モデルのドメイン適応」

HuggingFaceを使用して、事前学習済みモデルを新しいドメインに適応させる方法

BERTのような大規模言語モデルは、通常WikipediaやBookCorpusのような一般ドメインのコーパスで事前学習されます。これらを医療のようなより専門化されたドメインに適用すると、そのドメインに特化したモデルと比較して性能が低下することがしばしばあります。

この記事では、HuggingFace Transformersライブラリを使用して、Debertaベースといった事前学習済みの大規模言語モデルを医療ドメインに適応させる方法を探ります。具体的には、中間事前学習と呼ばれる効果的な技術について説明します。この技術では、ターゲットドメインのデータを用いてモデルをさらに事前学習します。これにより、モデルを新しいドメインに適応させ、パフォーマンスを向上させることができます。

これはシンプルで効果的な技術であり、LLMをドメインに合わせて調整し、下流のタスクパフォーマンスを大幅に向上させることができます。

さあ、始めましょう。

• 「検索強化生成（RAG） 理論からLangChainの実装へ」
• TSMixer グーグルによる最新の予測モデル
• マイクロソフト アジュール：クラウドコンピューティングの未来を支える

ステップ1：データ

プロジェクトの最初のステップはデータの準備です。医療ドメインのデータセットでは、以下のフィールドが含まれています（他にもたくさんのフィールドがあります）：

全てのフィールドをここに記載することは不可能ですが、既存のフィールドに関するこの一部分でも、LLMの入力シーケンスを形成するのに役立ちます。

まず念頭に置いておかなければならないのは、入力はテキストシーケンスであるということです。なぜなら、LLMはテキストシーケンスとして入力を読み込むからです。

このシーケンスを形成するためには、LLMに次にどのような情報が来るのかを伝えるために特別なタグを挿入することができます。以下の例を考えてみてください：<patient>name:John, surname: Doer, patientID:1234, age:34</patient>、<patient>は特別なタグで、これからの情報は患者に関するものであることをLLMに伝えます。

したがって、入力シーケンスは次のように形成されます：

ご覧の通り、4つのタグを挿入しました：

1. <patient> </patient>: …

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!