「トランスフォーマーの単純化:あなたが理解する言葉を使った最先端の自然言語処理(NLP)— パート1 — イントロ」

Transformer Simplified Cutting-edge Natural Language Processing (NLP) Using Understandable Language - Part 1 - Intro

Transformer(トランスフォーマー)は、AIの進歩に非常に貢献したディープラーニングのアーキテクチャです。これはAIとテクノロジー全体の領域において重要な段階であり、少し複雑でもあります。現在では、Transformerに関する非常に良質なリソースがいくつか存在していますが、なぜまた別のものを作るのでしょうか?その理由は2つあります:

  1. 私は自己学習に精通しており、異なる人々が同じアイデアをどのように説明しているかを読むことが、理解を大幅に向上させることを経験から知っています。
  2. 私はほとんどの記事を読んで、それが十分に説明されているとは思わないことが非常に稀です。テクノロジーコンテンツの作成者は、概念を複雑にしすぎるか、説明不足になる傾向があります。何事も難解なものではないことを十分に理解しておくべきです。このシリーズでは、十分な説明をすることを試みます。

さらに、記事やオープンソースのコードのおかげでキャリアを築いている者として、お返しをする責任を感じています。

このシリーズでは、AIについてほとんど何も知らない人々と、機械学習の仕組みを知っている人々の両方に、合理的なガイドを提供しようとします。そのためにはどのような計画を立てているのでしょうか?まず第一に、説明することです。私はこれまでに1000近くの技術論文(例えば、これ)を読んだと思いますが、私が直面した主な問題は、著者(おそらく無意識のうちに)が多くのことを知っていることを前提としていることです。このシリーズでは、私はあなたが知っていることよりも少ないことを前提として計画しています。

さらに、直感、数学、コード、視覚化を組み合わせることで、このシリーズを誰にでも楽しんでもらえるようにデザインします。これは非常に複雑な分野における高度な概念であることを考慮に入れると、あなたが「うわー、これは遅い、当たり前のことを説明するのを止めてくれ」と思うリスクを冒しますが、もし「何を言っているのかさっぱりわからない」と思うのであれば、そのリスクはずっと少ないはずです。

Transformer(トランスフォーマー)、時間の価値はあるか?

一体何が大騒ぎなのでしょうか?本当に重要なのでしょうか?それは、世界で最も先進的なAI技術ツール(例:GPTなど)の基盤となっているからでしょう。

多くの科学的な進歩と同様に、アイデアの一部は以前から説明されていましたが、アーキテクチャの詳細な説明は「Attention is all you need」という論文から提供されました。この論文は、次のような「シンプルなネットワークアーキテクチャ」だと主張しています。

オリジナル論文からのイメージ

もしもあなたがほとんどの人と同じであれば、この図がシンプルなネットワークアーキテクチャだとは思わないでしょう。したがって、私の仕事は、このシリーズを読み終えた時点で、あなたが「これはまだシンプルではないが、理解できる」と思うように努力することです。

では、この変な図、何なの?私たちが見ているのはディープラーニングのアーキテクチャであり、それぞれの四角形はコードの一部に変換され、それらのコード全体が現在、人々がどのようにするかわからない何かを実行するでしょう。

Transformerは多くの異なるユースケースに適用できますが、おそらく最も有名なのは自動チャットです。多くの話題について知っているかのように話すことができるソフトウェアです。ある意味でマトリックスに似ています。

私は人々が実際に必要な情報だけを読むことが容易になるようにしたいので、このシリーズは私がTransformerのストーリーを伝える方法に基づいて分割されます。最初の部分はこちらであり、アーキテクチャの最初の部分— 入力についてです。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

データサイエンス

AIと機械学習のためのReactJS:強力な組み合わせ

このブログ記事では、ReactJSとAI/MLが組み合わされることで、パワフルでインタラクティブなウェブアプリケーションを構築す...

機械学習

AIを活用した空中監視:UCSBイニシアチブがNVIDIA RTXを使い、宇宙の脅威を撃退する目的で立ち上がる

数か月ごとに流星群が起こると、観察者は夜空に散らばる流れ星や光の筋が輝く見事な光景を見ることができます。 通常、流星は...

データサイエンス

「AIおよび自動化により、2030年に存在しなくなるであろう6つのテクノロジージョブ」

「現在の進行方向に基づいて、バランスを保っているいくつかのテック系の職種をご紹介します」

AIニュース

OpenAIがグローバルイルミネーションを引き継ぎ、初の企業買収を祝います

テック界に波紋を広げる動きとして、人工知能の先駆的存在であるOpenAIが、初の買収に乗り出しました。OpenAIがデジタルプロ...

データサイエンス

「深層学習技術を利用した人工知能(AI)によるADASの向上」

ディープラーニングは、リアルタイムのセンサーデータを使用して、正確な物体検出、衝突予測、および積極的な意思決定を実現...

人工知能

文法AIの向上にBERTを活用する:スロット埋め込みの力

イントロダクション 会話型AI時代において、チャットボットや仮想アシスタントは普及し、私たちがテクノロジーとの対話を革新...