「25,000台のコンピュータがChatGPTを訓練した方法」

25,000台のコンピュータでChatGPTを訓練

Volodymyr Hryshchenkoによる写真、Unsplashから

ChatGPTのブレークスルー

著者による画像

Goodの次は何ですか?

あなたは「Good Morning」または「Good Bye」と思うかもしれませんが、「Good Loud」とは絶対に言いません。それは意味がありません。数十年にわたり、コンピュータ科学者はAIにこの正確な問題を解決するよう訓練してきました。

著者による画像

与えられた単語に対して、私たちのAIは次の単語を予測します。これを数回繰り返すと、文が生成されます。

ChatGPTの仕組み

インターネット全体でトレーニングされたChatGPTは、人間のようにチャットする方法を学びました。しかし、この驚異的な偉業は、2010年代後半のブレークスルーによってのみ可能になりました。ChatGPTを支え、私たちが生活する世界を永遠に形作っています。

これは、AIがインターネット全体のすべての本、ツイート、ウェブサイトを読み、学んだ物語です。そして、それが可能になった方法です。

文は長いです。

単語単位を超えた場合、次の単語の予測ははるかに困難です。次の例を見てください。

著者による画像

この文脈では、「I ate a good Morning」と言うのは意味がありません。しかし、私たちのAIは「good」だけを見て、「morning」と出力します。ほとんどの場合、人間でさえ次の単語を予測するために多くの単語が必要です。したがって、AIもこの追加情報が必要です。

次の単語を予測するために、AIは多くの単語を読む必要があります。ChatGPTは一度に8,000語以上を読むことができます。これを行う自然な方法は、各単語を一つずつAIに与えることです。

著者による画像

これが過去のAIの動作方法です。再帰ニューラルネットワーク(RNN)は一つの単語を受け取ります…

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

AI研究

黄さんの法則に留意する:エンジニアたちがどのように速度向上を進めているかを示すビデオ

話の中で、NVIDIAのチーフサイエンティストであるビル・ダリー氏が、モーアの法則時代後のコンピュータパフォーマンスの提供...