医学論文のLLaMAのFine-tuning:バイオメディカルQAベンチマークで高い性能を発揮するPMC-LLaMA-Aモデルに出会ってください

PMC-LLaMA-AモデルはバイオメディカルQAベンチマークで高性能を発揮するために、医学論文のLLaMAのFine-tuningを行っています

大規模言語モデル(LLM)の開発、例えばOpenAIのChatGPTやGPT-4などは、自然言語処理、コンピュータビジョン、バイオメディカル分野を含む多くの分野で人工知能を再構築しました。残念ながら、ChatGPTのトレーニングの具体的な内容やそのバリエーションモデルのアーキテクチャについてはまだ不明です。LLaMAはオープンソースの基礎言語モデルですが、モデルの事前学習段階でドメイン固有のデータが不足しているため、ドメイン知識を必要とするアプリケーションでのパフォーマンスが低いと考えられています。

多くの研究では、オープンソースのLLMを特定の目的に合わせて修正したり使用したりすることについて議論されています。たとえば、AlpacaやVicunaは、自動的に作成された命令の例を使用してモデルの相互作用の能力を拡張することに焦点を当てています。

上海交通大学と上海AI研究所による最近の研究では、単一の事前学習済みLLaMAにドメイン知識を注入し、基礎言語モデルを医学特化のコーパスに向ける方法を取っています。彼らはPMC-LLaMAという公開可能な言語モデルを開発しました。このモデルは、4.8百万の医学関連の学術論文を基にLLaMA-7Bを改良して開発されました。チームは、医学の議論や相談には医学に特化した基礎言語モデルの方がより有益だと考えています。

チームは、英語の81.1百万の学術論文を含むS2ORCデータセットから始め、それらをPubMed Central(PMC)IDに基づいて整理しました。したがって、医学の知識に関連する約4.9百万の論文、合計75兆トークンが得られました。彼らはGPT2で初めて提示された自己回帰生成目標を最適化し、これらの自由に利用可能なPMC論文でLLaMA-7Bモデルを微調整しました。彼らはbf16(Brain Floating Point)データ形式とFully Sharded Data Parallel(FSDP)アクセラレーションアプローチを使用して学習プロセスを高速化しました。

チームはPMC-LLaMAを、前述の関連する医療QAデータセットに対して3つの異なるタイプの微調整を行うことでテストしました:完全な微調整、パラメータ効率の良い微調整、データ効率の良い微調整。実験の結果、PMC-LLaMAは、指示を微調整した医療ドメインのLLaMAおよび他のモデルよりも優れたパフォーマンスを示しました。

PMC-LLaMAの短所は、現時点では4.8百万の論文の中ですべてのトークンを見つけることができないということです。将来的には、より多くのパラメータでPMC-LLaMAモデルを徐々にトレーニングし、PMC-LLaMAを継続的にトレーニングし、hugging faceページでベースモデルを更新する予定です。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

データサイエンス

RecList 2.0 オープンソースによるMLモデルの体系的なテストシステム

評価は複雑な問題です評価パイプラインの作成に関与するさまざまなコンポーネントを管理することはしばしば困難ですモデルが...

人工知能

「AIガバナンスにおけるステークホルダー分析の包括的ガイド(パート1)」

「AIガバナンスジャーナルの前のエディションでは、AIガバナンスの12の基本原則を取り上げましたこれらの原則は、倫理的ジレ...

データサイエンス

企業がOpenAIのChatGPTに類似した自社の大規模言語モデルを構築する方法

最近の数年間で、言語モデルは大きな注目を集め、自然言語処理、コンテンツ生成、仮想アシスタントなど、さまざまな分野を革...

AIニュース

「OpenAIがオープンソースのGPTモデルのリリースを予告」

人工知能の先駆的な存在であるOpenAIは、オープンソースのGPTモデルを公開する可能性によってテックコミュニティで話題となっ...

AIニュース

「LLMsにおけるエンタープライズ知識グラフの役割」

紹介 大規模言語モデル(LLM)と生成AIは、人工知能と自然言語処理の革新的なブレークスルーを表します。彼らは人間の言語を...

機械学習

量子AI:量子コンピューティングの潜在能力を機械学習で解き明かす

この記事では、量子機械学習について、現在の課題、機会、評価、成熟度、およびタイムリーさについて、読者がより詳しく学ぶ...