テキスト分類におけるトランスフォーマーエンコーダー

テキスト分類のトランスフォーマーエンコーダー

Transformerエンコーダを使用してテキストを分類するためのステップバイステップの説明

Mel Poole氏による写真

Transformerは、間違いなくディープラーニングの分野で最も重要なブレイクスルーの一つです。このモデルのエンコーダ・デコーダのアーキテクチャは、クロスドメインの応用において強力であることが証明されています。

もともと、Transformerは機械翻訳、テキスト生成、テキスト分類、質問応答などの言語モデリングタスクにのみ使用されていました。しかし最近では、Transformerは画像分類、物体検出、セマンティックセグメンテーションなどのコンピュータビジョンタスクにも使用されています。

Transformerの人気や、BERTやVision-Transformer、Swin-Transformer、GPTファミリーなどの多数のTransformerベースの洗練されたモデルの存在から、Transformerアーキテクチャの内部動作を理解することは重要です。

この記事では、Transformerのエンコーダ部分のみを解析します。これは主に分類目的に使用できます。具体的には、Transformerエンコーダを使用してテキストを分類します。それでは、早速この記事で使用するデータセットを見てみましょう。

データセットについて

使用するデータセットは、電子メールのデータセットです。このデータセットは、このリンクを介してKaggleからダウンロードできます。このデータセットはCC0: パブリックドメインのライセンスで提供されており、自由に使用および配布することができます。

import mathimport torchimport torch.nn as nnimport torchtextimport pandas as pdfrom sklearn.model_selection import train_test_splitfrom torch.utils.data import DataLoaderfrom tqdm import tqdmfrom torchtext.data.utils import get_tokenizerfrom torchtext.vocab import build_vocab_from_iteratordevice = torch.device("cuda" if torch.cuda.is_available() else "cpu")df = pd.read_csv('spam_ham.csv')df_train, df_test = train_test_split(df, test_size=0.2, random_state=42)print(df_train.head())# 出力'''     Category                                            Message1978     spam  Reply to win £100 weekly! Where will the 2006 ...3989      ham  Hello. Sort of out in town already. That . So ...3935      ham   How come guoyang go n tell her? Then u told her?4078…

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

人工知能

スコット・スティーブンソン、スペルブックの共同創設者兼CEO- インタビューシリーズ

スコット・スティーブンソンは、Spellbookの共同創設者兼CEOであり、OpenAIのGPT-4および他の大規模な言語モデル(LLM)に基...

データサイエンス

「Adam Ross Nelsonによる自信のあるデータサイエンスについて」

データサイエンスの中で新たな分野が現れ、研究内容が理解しにくい場合は、専門家や先駆者と話すのが最善です最近、私たちは...

人工知能

ギル・ジェロン、Orca SecurityのCEO&共同創設者-インタビューシリーズ

ギル・ゲロンは、オルカ・セキュリティのCEO兼共同設立者ですギルは20年以上にわたりサイバーセキュリティ製品をリードし、提...

AIテクノロジー

アンソニー・グーネティレケ氏は、Amdocsのグループ社長であり、テクノロジー部門および戦略部門の責任者です- インタビューシリーズ

アンソニー・グーネティレーケは、Amdocsでグループ社長、テクノロジーと戦略担当です彼と企業戦略チームは、会社の戦略を策...

データサイエンス

2023年にAmazonのデータサイエンティストになる方法は?

ほとんどのビジネスは現在、膨大な量のデータを生成し、編集し、管理しています。しかし、ほとんどのビジネスは、収集したデ...

AIニュース

Q&A:ブラジルの政治、アマゾンの人権、AIについてのGabriela Sá Pessoaの見解

ブラジルの社会正義のジャーナリストは、MIT国際研究センターのフェローです