テキスト分類におけるトランスフォーマーエンコーダー

テキスト分類のトランスフォーマーエンコーダー

Transformerエンコーダを使用してテキストを分類するためのステップバイステップの説明

Mel Poole氏による写真

Transformerは、間違いなくディープラーニングの分野で最も重要なブレイクスルーの一つです。このモデルのエンコーダ・デコーダのアーキテクチャは、クロスドメインの応用において強力であることが証明されています。

もともと、Transformerは機械翻訳、テキスト生成、テキスト分類、質問応答などの言語モデリングタスクにのみ使用されていました。しかし最近では、Transformerは画像分類、物体検出、セマンティックセグメンテーションなどのコンピュータビジョンタスクにも使用されています。

Transformerの人気や、BERTやVision-Transformer、Swin-Transformer、GPTファミリーなどの多数のTransformerベースの洗練されたモデルの存在から、Transformerアーキテクチャの内部動作を理解することは重要です。

この記事では、Transformerのエンコーダ部分のみを解析します。これは主に分類目的に使用できます。具体的には、Transformerエンコーダを使用してテキストを分類します。それでは、早速この記事で使用するデータセットを見てみましょう。

データセットについて

使用するデータセットは、電子メールのデータセットです。このデータセットは、このリンクを介してKaggleからダウンロードできます。このデータセットはCC0: パブリックドメインのライセンスで提供されており、自由に使用および配布することができます。

import mathimport torchimport torch.nn as nnimport torchtextimport pandas as pdfrom sklearn.model_selection import train_test_splitfrom torch.utils.data import DataLoaderfrom tqdm import tqdmfrom torchtext.data.utils import get_tokenizerfrom torchtext.vocab import build_vocab_from_iteratordevice = torch.device("cuda" if torch.cuda.is_available() else "cpu")df = pd.read_csv('spam_ham.csv')df_train, df_test = train_test_split(df, test_size=0.2, random_state=42)print(df_train.head())# 出力'''     Category                                            Message1978     spam  Reply to win £100 weekly! Where will the 2006 ...3989      ham  Hello. Sort of out in town already. That . So ...3935      ham   How come guoyang go n tell her? Then u told her?4078…

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

データサイエンス

「David Smith、TheVentureCityの最高データオフィサー- インタビューシリーズ」

デビッド・スミス(別名「デビッド・データ」)は、TheVentureCityのチーフデータオフィサーであり、ソフトウェア駆動型のス...

人工知能

ムーバブルインクのCEO兼共同創設者であるヴィヴェク・シャルマ氏についてのインタビュー・シリーズ

ビヴェクは2010年にムーバブルインクを共同設立し、急速な成長を遂げながら、600人以上の従業員を擁し、世界有数の革新的なブ...

機械学習

「Prolificの機械学習エンジニア兼AIコンサルタント、ノラ・ペトロヴァ – インタビューシリーズ」

『Nora Petrovaは、Prolificの機械学習エンジニア兼AIコンサルタントですProlificは2014年に設立され、既にGoogle、スタンフ...

データサイエンス

「3つの質問:ロボットの認識とマッピングの研磨」

MIT LIDSのLuca CarloneさんとJonathan Howさんは、将来のロボットが環境をどのように知覚し、相互作用するかについて議論し...

機械学習

もし芸術が私たちの人間性を表現する方法であるなら、人工知能はどこに適合するのでしょうか?

MITのポストドクターであるジヴ・エプスタイン氏(SM '19、PhD '23)は、芸術やその他のメディアを作成するために生成的AIを...

人工知能

「15Rockの共同創業者兼CEO、ガウタム・バクシ氏によるインタビューシリーズ」

「ガウタム・バクシは、気候リスク管理とアドバイザリーサービスのグローバルリーダーである15Rockの共同創設者兼CEOですガウ...