「自然言語処理入門」

Introduction to Natural Language Processing

Pythonコードの10行で複雑なNLPタスクを解決する方法

著者による生成された画像

NLP(自然言語処理)は、コンピュータ科学の複雑な分野であると言えます。SpaCyやNLTKなどのフレームワークは大規模であり、学習が必要なことが多いです。しかし、オープンソースの大規模言語モデル(LLM)とモダンなPythonライブラリの助けを借りれば、多くのタスクをより簡単に解決することができます。さらに、数年前までは科学論文でのみ利用可能だった結果も、たった10行のPythonコードで実現できるようになりました。

それでは、早速始めてみましょう。

1. 言語翻訳

Google翻訳がどのように機能するのか気になったことはありますか?Googleは、膨大なテキストデータでトレーニングされた深層学習モデルを使用しています。今では、Transformersライブラリの助けを借りて、Google Labsだけでなく、普通のPC上でも同様のことができるようになりました。この例では、事前にトレーニングされたT5-base(Text-to-Text Transfer Transformer)モデルを使用します。このモデルは、まず生のテキストデータでトレーニングされ、次に「英語からドイツ語に翻訳する:家は素晴らしい」というようなソース-ターゲットのペアでファインチューニングされました。ここで、「英語からドイツ語に翻訳する」はモデルに何をするかを「伝える」接頭辞であり、フレーズはモデルが学習すべき実際の文脈です。

重要な警告。大規模な言語モデルは非常に大きいです。この例では使用されているT5ForConditionalGenerationクラスは、「t5-base」という約900MBのモデルを自動的にダウンロードします。コードを実行する前に、十分なディスク容量があることと、トラフィックが制限されていないことを確認してください。

事前にトレーニングされたT5モデルをPythonで使用することができます:

from transformers import T5Tokenizer, T5ForConditionalGenerationpreprocessed_text = "translate English to German: the weather is good"tokenizer = T5Tokenizer.from_pretrained('t5-base',                                        max_length=64,                                        model_max_length=512,                                        legacy=False)tokens = tokenizer.encode(preprocessed_text,                          return_tensors="pt",                          max_length=512,                          truncation=True)model =…

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

AIニュース

Google Cloudがマッコーリー銀行のAIバンキング機能を強化するのを支援します

マッコーリーのバンキング&金融サービスグループは、人工知能(AI)と機械学習(ML)の力を結集し、銀行業界を変革するため...

データサイエンス

Ludwig - より「フレンドリーな」ディープラーニングフレームワーク

産業用途の深層学習については、私は避ける傾向があります興味がないわけではなく、むしろ人気のある深層学習フレームワーク...

データサイエンス

メタAIのもう一つの革命的な大規模モデル — 画像特徴抽出のためのDINOv2

Mete AIは、画像から自動的に視覚的な特徴を抽出する新しい画像特徴抽出モデルDINOv2の新バージョンを紹介しましたこれはAIの...

人工知能

ネットワークの強化:異常検知のためのML、AI、およびDLの力を解き放つ

「機械学習、人工知能、およびディープラーニングの技術が使われることで、ネットワークセキュリティを向上させ、精度を持っ...

機械学習

「大規模言語モデルの微調整方法:ステップバイステップガイド」

2023年、アルパカ、ファルコン、ラマ2、およびGPT-4のような大規模言語モデル(LLM)の台頭は、人工知能の民主化の傾向を示し...

機械学習

マイクロソフトが「オルカ2」をリリース:特製のトレーニング戦略で小さな言語モデルに高度な推論を導入

LLMs(Large Language Models)は、人間の言語に似た言語を理解し生成するために膨大なテキストデータでトレーニングを受けま...