医学論文のLLaMAのFine-tuning:バイオメディカルQAベンチマークで高い性能を発揮するPMC-LLaMA-Aモデルに出会ってください

PMC-LLaMA-AモデルはバイオメディカルQAベンチマークで高性能を発揮するために、医学論文のLLaMAのFine-tuningを行っています

大規模言語モデル(LLM)の開発、例えばOpenAIのChatGPTやGPT-4などは、自然言語処理、コンピュータビジョン、バイオメディカル分野を含む多くの分野で人工知能を再構築しました。残念ながら、ChatGPTのトレーニングの具体的な内容やそのバリエーションモデルのアーキテクチャについてはまだ不明です。LLaMAはオープンソースの基礎言語モデルですが、モデルの事前学習段階でドメイン固有のデータが不足しているため、ドメイン知識を必要とするアプリケーションでのパフォーマンスが低いと考えられています。

多くの研究では、オープンソースのLLMを特定の目的に合わせて修正したり使用したりすることについて議論されています。たとえば、AlpacaやVicunaは、自動的に作成された命令の例を使用してモデルの相互作用の能力を拡張することに焦点を当てています。

上海交通大学と上海AI研究所による最近の研究では、単一の事前学習済みLLaMAにドメイン知識を注入し、基礎言語モデルを医学特化のコーパスに向ける方法を取っています。彼らはPMC-LLaMAという公開可能な言語モデルを開発しました。このモデルは、4.8百万の医学関連の学術論文を基にLLaMA-7Bを改良して開発されました。チームは、医学の議論や相談には医学に特化した基礎言語モデルの方がより有益だと考えています。

チームは、英語の81.1百万の学術論文を含むS2ORCデータセットから始め、それらをPubMed Central(PMC)IDに基づいて整理しました。したがって、医学の知識に関連する約4.9百万の論文、合計75兆トークンが得られました。彼らはGPT2で初めて提示された自己回帰生成目標を最適化し、これらの自由に利用可能なPMC論文でLLaMA-7Bモデルを微調整しました。彼らはbf16(Brain Floating Point)データ形式とFully Sharded Data Parallel(FSDP)アクセラレーションアプローチを使用して学習プロセスを高速化しました。

チームはPMC-LLaMAを、前述の関連する医療QAデータセットに対して3つの異なるタイプの微調整を行うことでテストしました:完全な微調整、パラメータ効率の良い微調整、データ効率の良い微調整。実験の結果、PMC-LLaMAは、指示を微調整した医療ドメインのLLaMAおよび他のモデルよりも優れたパフォーマンスを示しました。

PMC-LLaMAの短所は、現時点では4.8百万の論文の中ですべてのトークンを見つけることができないということです。将来的には、より多くのパラメータでPMC-LLaMAモデルを徐々にトレーニングし、PMC-LLaMAを継続的にトレーニングし、hugging faceページでベースモデルを更新する予定です。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

データサイエンス

なぜハイプが重要なのか:AIについて現実的な考え方が必要

ELIZAはChatGPTにいくつかの類似点を持つ初期のチャットボットでしたなぜこの興奮が重要なのでしょうか?船を発明すると、船...

機械学習

「AIとML開発言語としてのPythonの利点」

「AIやMLなどのツールを使用して、ウェブ開発会社が業界を征服するためにPythonがますます使用されている理由を発見してくだ...

機械学習

「このAIニュースレターが必要なすべて #59」

今週、Zoomの利用規約の変更(3月から)が、顧客のビデオデータの使用に関する懸念が拡散したことで注目されましたZoomの利用...

データサイエンス

「AIはデータガバナンスにどのように影響を与えているのか?」

ジェネレーティブAIは既にデータガバナンスの世界を揺るがし始めており、今後もその影響力は続く予定ですChatGPTのリリースか...

AIニュース

「AI自動化と性別格差:AIが女性労働者に与える影響」

人工知能(AI)の進歩により、労働の未来が再構築されつつあります。AIによる自動化による仕事の喪失への恐怖は広まっていま...

機械学習

OpenAIのモデレーションAPIを使用してコンテンツのモデレーションを強化する

プロンプトエンジニアリングの台頭や、言語モデルの大規模な成果により、私たちの問いに対する応答を生成する際の大変な成果...