「MITのこのAI研究は、光を基にした機械学習システムがより強力で効率的な大規模言語モデルを生み出す方法を示しています」

This AI research from MIT demonstrates how light-based machine learning systems produce more powerful and efficient large-scale language models.

ディープニューラルネットワーク（DNN）は、コンピューターにとってスーパーブレインのような存在です。彼らは多くの情報からトリッキーなものを見つけ出すのが得意です。彼らはコンピューターに画像を理解させ、人間のように話し、自動車を自動運転させ、さらには医師が病気を見つけるのを助けるほど賢くなることができます。

DNNは、私たちの脳がどのように働くかを模倣しており、それによって、通常のコンピュータープログラムが苦労する難しい問題を効率的に解決することができます。しかし、現在のディープニューラルネットワーク（DNN）の基盤となるデジタル技術は、その能力の限界に直面しており、一方で機械学習の分野は拡大し続けています。さらに、これらの技術は膨大なエネルギー消費を要求し、広範なデータセンターに制約されています。この状況から、新しい計算アプローチの発見と創造が生まれるようになりました。

その結果、MITの研究者たちはこの状況の改善に多大な努力を注いできました。MITを率いるチームは、ChatGPTを駆動する機械学習プログラムの能力を数段上回る可能性を持つシステムを巧妙に考案しました。この新たに開発されたシステムは、現代の機械学習モデルを駆動する最先端のスーパーコンピューターよりもはるかに少ないエネルギーを消費するという驚異的な利点も持っています。このシステムは、数百のマイクロンスケールレーザーを用いた光の操作によって実現されています。

• テンセントAIラボの研究者たちは、テキスト対応の画像プロンプトアダプタ「IP-Adapter」を開発しました：テキストから画像への拡散モデルのためのアダプタです
• 「Appleの研究者が、ポーズされた画像から詳細な3D再構築を生成するエンドツーエンドネットワークを提案」
• マイクロソフトと香港浸会大学の研究者が、WizardCoder A Code Evol-Instruct Fine-Tuned Code LLMを紹介しました

研究者たちは、この技術が大規模な光電子プロセッサーの実現につながり、データセンターから分散型エッジデバイスまでの機械学習タスクの加速を可能にする道を開いたと強調しています。言い換えれば、現在は大規模なデータセンターでのみ計算可能なプログラムを、携帯電話やその他の小型デバイスでも実行できるようになるかもしれません。光計算は、電子に比べてはるかに少ないエネルギーを消費します。光は、はるかに小さな空間に対してはるかに多くの情報を伝えることができます。

このイニシアチブのリーダーであるMIT電気工学およびコンピューターサイエンス学科の准教授であるDirk Englundは、現在のスーパーコンピューターの能力がChatGPTのサイズを制約していると述べています。経済的な要因により、はるかに大きなモデルの訓練の実現可能性は限られています。彼らが開拓したこの技術は、今後数年間においてはアクセスできないままであるはずの機械学習モデルの利用を可能にすることができます。彼はさらに、もし100倍の能力を持つ次世代のChatGPTが実現した場合、その能力についてはまだ決定中であるが、このような技術が許容する発見の領域であると述べています。

光ニューラルネットワークの利点にもかかわらず、現在の光ニューラルネットワーク（ONN）には重要な課題もあります。たとえば、電力に基づいて入力データを光に変換するのが非効率であるため、多くのエネルギーが必要です。さらに、これらの操作に必要なコンポーネントは大きく、かなりのスペースを占有します。加算などの線形計算に長けたOptoelectronic Neural Networks（ONNs）ですが、乗算や条件文などの非線形計算には制約があります。

この研究に関する論文とMITブログをご覧ください。この研究に関するすべてのクレジットは、このプロジェクトの研究者に帰属します。また、最新のAI研究ニュースや素敵なAIプロジェクトなどを共有している、2,900人以上のML SubReddit、40,000人以上のFacebookコミュニティ、Discordチャンネル、およびメールニュースレターにぜひご参加ください。

 Hostinger AI Website Builder：使いやすいドラッグアンドドロップエディター。今すぐお試しください （提供）

この記事はMarkTechPostで最初に掲載されたものです。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!