Learn more about Search Results A - Page 612

クラスの不均衡：アンダーサンプリング技術の探求

以前にクラスの不均衡の影響とその原因を正式に説明し、またランダムオーバーサンプリング、ROSEなどのいくつかのオーバーサンプリング技術を説明しました...

MITによる新しい機械学習の研究は、大規模言語モデル（LLM）が空間と時間の概念を理解し表現する方法を示しています

大規模言語モデル（LLMs）は最近、驚くべきスキルを発揮しています。GPTのトランスフォーマーアーキテクチャに基づいて構築された有名なChatGPTは、その人間の模倣能力により、大きな人気を得ています。質問応答やテキスト要約、コンテンツ生成、言語翻訳など、さまざまな用途があります。その人気にもかかわらず、これらのモデルが訓練中に実際に学んできたものが疑問視されています。ある理論によれば、LLMsはデータのパターンと相関を見つけるのに優れていますが、データを生成する基本的なメカニズムを理解する面では不十分です。原理的には非常に優れた統計エンジンに似ており、実際には理解を持っているわけではないかもしれません。別の理論では、LLMsは相関を学び、トレーニングデータの生成プロセスに基づくより簡潔で理解しやすいモデルを成長させると述べています。最近、マサチューセッツ工科大学の2人の研究者が、大規模言語モデルがどのように学習するのかをよりよく理解するために、研究を行いました。この研究では、異なる空間的時間スケールをカバーし、場所、イベント、関連する空間または時間座標の名前を含む6つのデータセットを作成し、LLMs Llama-2モデルの内部活性化に対して線形回帰プローブを使用して、LLMsが空間と時間の表現を作成しているかどうかを調べました。これらのプローブは、各データセット名に対応する現実世界の正確な位置または時間を予測します。研究結果は、LLMsが異なるスケールで空間と時間の線形表現を学ぶことを示しています。これは、モデルが空間的および時間的側面について構造化された方法で関係性とパターンを理解していることを意味します。単にデータアイテムを記憶するのではなく、LLMsの表現は指示やプロンプトの変更に対しても強健です。情報の提供方法が異なっても、モデルは一貫して空間的および時間的情報の理解と表現を示します。この研究によれば、表現は特定のエンティティのクラスに制限されていません。都市、ランドマーク、歴史上の人物、芸術作品、ニュース見出しなどは、空間と時間の観点でLLMsによって均一に表現されています。これにより、モデルがこれらの次元の包括的な理解を生み出していることが推測されます。研究者はさらに、「空間ニューロン」と「時間ニューロン」と呼ばれる特定のLLMニューロンを認識しています。これらのニューロンは、空間的および時間的座標を正確に表現し、空間と時間を処理し表現するモデル内の専門的なコンポーネントの存在を示しています。結論として、この研究の結果は、現代のLLMsが統計量の単なる暗記を超えて、空間や時間などの重要な次元に関する構造化された重要な情報を学習しているという考えを強化しています。LLMsは単なる統計エンジンを超えており、訓練されたデータ生成プロセスの基礎構造を表現することができると言えます。

「ドバイ、ロボタクシーの試験を開始する予定」

「アラブ首長国連邦の都市ドバイは、混雑や事故を減らすため、今月初めてのロボットタクシーの導入を開始します」

「認知症予防を目指すバイリンガルゲームアプリ」

シンガポール工科大学の研究者が開発した多言語対応のアプリは、ゲーミフィケーションを利用して高齢者の認知症予防に役立つことを目指しています

「GPU上の行列乗算」.

このブログでは、最新の行列の乗算がCUDAでどのように実装されるかについて詳しく説明しますNVIDIA GPUのアーキテクチャについて詳しく述べ、それら上で高い効率性を持つアルゴリズムを設計するために必要な要素に深く踏み込みます

「エアガーディアンと出会ってください：目の追跡技術を使用して、MITの研究者たちが開発した人間のパイロットがどこを見ているかを追跡する人工知能システム」

自律的なシステムがますます普及している世界において、その安全性とパフォーマンスの確保は非常に重要です。特に自律型の航空機は、輸送から監視などさまざまな産業に革命をもたらす可能性を持っています。しかし、その安全な運用は依然として大きな懸念事項です。MITの研究者たちは、これらの自律型システムの機能と安全性を向上させるために、精力的に取り組んでいます。最近の開発では、研究チームが視覚的な注意を活用して自律型航空機のパフォーマンスと安全性を向上させる革新的な手法を提案しました。自律型航空機は人間の介入なしに運用されるように設計されており、高度なアルゴリズムとセンサーに頼ってナビゲーションや意思決定を行います。これらのシステムは効率の向上や運用コストの削減など多くの利点を提供しますが、困難も抱えています。そのうちのひとつが、特に複雑でダイナミックな環境下でも自律型航空機が安全に運用できるようにすることです。この課題に取り組むために、研究者たちは視覚的な注意を自律飛行制御の要素として注目した新しい手法を提案しました。研究チームは、パイロットと協力して制御と総合的な飛行安全性を向上させるガーディアンシステムを提案しています。このガーディアンシステムは、人間の入力と自身の注意パターンを積極的に監視する点で、従来の自律型システムとは異なります。このガーディアンシステムは、畳み込み層、密集層、および直列的な意思決定を行うための特殊なCfC（相関から因果関係を見出す）ネットワークを含むニューラルネットワークアーキテクチャに基づいています。このCfCネットワークは、特定のタスクの根本的な因果関係を捉えるために設計されており、さまざまな変数の関係を理解し、的確な判断を下すことができます。この手法の主要なイノベーションのひとつは、視覚的な注意マップの利用です。ニューラルネットワークのためのVisualBackPropアルゴリズムは、パイロットとガーディアンが飛行中に注意を注いでいる場所を理解するための手段として機能します。ガーディアンにとって、注意マップは環境とその重要な要素に対する理解を表しています。一方、人間のパイロットにとっては、アイトラッキング技術が実際の視覚的な注意を計測します。ガーディアンシステムの介入は、パイロットとガーディアンの注意プロファイルの不一致が事前定義された閾値を超えた場合にトリガーされます。つまり、ガーディアンシステムが期待するものからパイロットの注意が大きく逸れた場合、ガーディアンは安全な飛行運用を確保するために制御を取ります。この介入プロセスは、パイロットが注意を散漫にしたり、疲れたり、情報に圧倒されたりする場合に重要です。研究チームは、この手法の効果を評価するために、シミュレートされた環境と実世界の環境の両方で実験を行いました。ガーディアンシステムはシミュレートされたシナリオで人間のパイロットと対決し、その結果は驚くべきものでした。ガーディアンシステムなしの人間のパイロットの衝突率は46%でしたが、ガーディアンの介入により、衝突率はわずか23%に減少し、飛行安全性が大幅に向上しました。ガーディアンシステムは、四軸ドローンを用いた実世界の実験でもその効果を示しました。人間のパイロットが赤いキャンプチェアを目指してドローンを誘導しました。ガーディアンシステムが作動している場合、安全な飛行が一貫して保たれ、飛行速度が低下し、最適な飛行軌道までの距離が短縮されます。これにより障害物との衝突のリスクが減り、総合的な飛行安全性が向上します。このガーディアンシステムの成功は、自律型システムにおける視覚的な注意の重要性を示しています。パイロットとガーディアンが注視している場所を積極的に監視し理解することで、システムは安全性とパフォーマンスを向上させるために的確な判断を下すことができます。この協力的なアプローチは、さまざまなシナリオで信頼性の高い安全な自律型航空機システムの開発において重要な一歩です。まとめると、研究チームの自律型航空機制御における視覚的な注意の活用に対する革新的なアプローチは、航空業界やその他の分野において大きな可能性を秘めています。視覚的な注意パターンに基づいて人間のパイロットと協力するガーディアンシステムの導入により、飛行安全性とパフォーマンスが大幅に向上しました。この手法により、自律型航空機の運用方法が変革され、事故のリスクが低減し、さまざまなアプリケーションでの使用の可能性が広がるでしょう。自律型システムが進化し続ける中、このようなイノベーションはより安全で効率的な未来を確保するために必要不可欠です。