「自然言語処理入門」

Introduction to Natural Language Processing

Pythonコードの10行で複雑なNLPタスクを解決する方法

著者による生成された画像

NLP(自然言語処理)は、コンピュータ科学の複雑な分野であると言えます。SpaCyやNLTKなどのフレームワークは大規模であり、学習が必要なことが多いです。しかし、オープンソースの大規模言語モデル(LLM)とモダンなPythonライブラリの助けを借りれば、多くのタスクをより簡単に解決することができます。さらに、数年前までは科学論文でのみ利用可能だった結果も、たった10行のPythonコードで実現できるようになりました。

それでは、早速始めてみましょう。

1. 言語翻訳

Google翻訳がどのように機能するのか気になったことはありますか?Googleは、膨大なテキストデータでトレーニングされた深層学習モデルを使用しています。今では、Transformersライブラリの助けを借りて、Google Labsだけでなく、普通のPC上でも同様のことができるようになりました。この例では、事前にトレーニングされたT5-base(Text-to-Text Transfer Transformer)モデルを使用します。このモデルは、まず生のテキストデータでトレーニングされ、次に「英語からドイツ語に翻訳する:家は素晴らしい」というようなソース-ターゲットのペアでファインチューニングされました。ここで、「英語からドイツ語に翻訳する」はモデルに何をするかを「伝える」接頭辞であり、フレーズはモデルが学習すべき実際の文脈です。

重要な警告。大規模な言語モデルは非常に大きいです。この例では使用されているT5ForConditionalGenerationクラスは、「t5-base」という約900MBのモデルを自動的にダウンロードします。コードを実行する前に、十分なディスク容量があることと、トラフィックが制限されていないことを確認してください。

事前にトレーニングされたT5モデルをPythonで使用することができます:

from transformers import T5Tokenizer, T5ForConditionalGenerationpreprocessed_text = "translate English to German: the weather is good"tokenizer = T5Tokenizer.from_pretrained('t5-base',                                        max_length=64,                                        model_max_length=512,                                        legacy=False)tokens = tokenizer.encode(preprocessed_text,                          return_tensors="pt",                          max_length=512,                          truncation=True)model =…

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

コンピュータサイエンス

ジェイソン・アーボン:「百万年後、超パワフルなコンピュータは我々の時代のテスターたちを称えるでしょう」

「Jason Arbonと一緒に、テストにおけるAIの使用、いくぶん不公平なマニュアルQA vs. 自動化QAの闘い、新しいテクノロジーの...

AIニュース

‘未知に挑む検索 強化生成 (RAG) | AIが人間の知識と出会う場所’

導入 私たちの高速なデジタル世界では、人工知能はその驚くべき能力で私たちを驚かせ続けています。その最新のブレイクスルー...

機械学習

「LoRAアダプターにダイブ」

「大規模言語モデル(LLM)は世界中で大流行しています過去の1年間では、彼らができることにおいて莫大な進歩を目撃してきま...

データサイエンス

LinkedInのフィード進化:より詳細かつパワフルな機械学習、そして依然として人間も重要

LinkedInのフィードとインフラの最新更新について読むと、人間を中心に据えた原則を技術用語と実装に繋げる方法が解説されて...

AI研究

「ジョンズ・ホプキンス大学の研究者たちは、がんに関連するタンパク質フラグメントを正確に予測することができる深層学習技術を開発しました」

ジョンズ・ホプキンス大学のエンジニアとがん研究者は、最先端の深層学習技術を駆使して、個別のがん治療における画期的な突...

人工知能

150以上のミッドジャーニーロゴのプロンプト

「Midjourneyのような生成AIツールを使って、ビジネスのために美しいロゴを作成することができます」