Search Results A

UCSFとUC Berkeleyの研究者たちは、脳幹の脳卒中による重度の麻痺を持つ女性がデジタルアバターを通じて話すことができるようにする脳-コンピューターインタフェース（BCI）を開発しました

人工知能は今日では音声と顔の認識に重要な役割を果たしています。これらの信号は脳の信号によって記録・合成され、AIの劇的な利用を可能にしています。この技術は、これらの信号をテキストにエンコード・デコードすることも、驚くほどの速度で行うことができます。これにより、システムはさらに強力になります。これらの音声と顔の認識の技術は、自然言語処理という広範なカテゴリに属しています。研究者たちはまだ、麻痺した人々のために音声と顔の認識を可能にするAIを探し続けています。 UCサンフランシスコ大学とUCバークレー大学の研究者たちは、脳-コンピュータインターフェースを開発しました。これは、脳の電気的なインパルスと外部デバイス（おそらくはロボットまたはAIチャットボット）との直接的な通信経路とも呼ばれます。麻痺した女性でさえデジタルアバターと会話できるという結果が示されています。これらの研究者は、他の人との最も自然なコミュニケーション方法である強力なコミュニケーション体を埋め込むことを目指しています。AIは、麻痺や話すことができない患者に対する解決策を提供しました。研究者たちは、音声認識に重要な役割を果たす、女性の体表面に長方形の電極を実装しました。これらの電極は、彼女の体を伝わる脳信号またはインパルスを実装し、彼女の認識を容易に利用できるようにしました。研究者たちは、モデルを訓練し、システムが使用する人工知能アルゴリズムを改善することで、システムの正確性を向上させました。これには、異なるフレーズを何度も繰り返し使用し、システム内のNLPのワードバッグモデルを使用しました。研究者たちはまた、AIモデルをトレーニングして、これらの単語を音素に認識・エンコードすることもできるようにしました。これにより、システムの正確性が向上し、以前よりも速くなりました。研究者たちは、彼女の結婚式の録音声を使用して彼女の声を生成するためのアルゴリズムを開発しました。生成された音声にはいくつかの欠陥がありましたが、後に研究者たちは以前に生成された声の品質を改善するために取り組みました。これらの研究者はまた、女性の顔認識に役立つデジタルアバターも開発しました。研究者たちはまた、女性の脳信号とアバターを統合する機械学習モデルも作成しました。これにより、彼女の顎、唇、舌、口などのすべての動きが記録されました。研究者たちは、人体とソフトウェアの間のワイヤレス接続のためのこのセットアップについてまだ取り組んでいます。これは、このモデルの次のバージョンになるでしょう。このモデルの主な利点は、直接的な接触がないことです。さまざまなディープラーニングアルゴリズムが、このワイヤレスモデルでまだ取り組まれています。ハイパーパラメータのテストが行われ、モデルの効率を向上させるための取り組みが行われています。

「インクリメンタルラーニング：メリット、実装、課題」

インクリメンタルラーニングは、学術界における動的なアプローチを表しており、徐々で一貫した知識の吸収を促しています。学習者に大量の情報を押し付ける従来の方法とは異なり、インクリメンタルラーニングは複雑な主題を管理可能な断片に分解します。機械学習においては、インクリメンタルなアプローチによりAIモデルを新しい知識を段階的に吸収するように訓練します。これにより、モデルは既存の理解を保持・強化し、持続的な進歩の基盤を形成します。インクリメンタルラーニングとは何ですか？インクリメンタルラーニングは、新しいデータを小さな管理可能な増分で徐々に導入することによって、年々知識を蓄積していく教育的なアプローチです。すべてを即座に学ぼうとするのではなく、インクリメンタルラーニングは複雑なトピックを小さなチャンクに分割します。このアプローチは、スペースドリペティション（間隔をあけた反復）、定期的な復習、以前に学んだ概念の強化を重視し、理解力、記憶力、主題の長期的な習得を共に向上させます。インクリメンタルラーニングでは、AIモデルは以前に獲得した情報を忘れずに知識を徐々に向上させます。したがって、これは人間の学習パターンを模倣しています。この学習は、データの入力が順序立てて行われる場合やすべてのデータの保存が実現不可能な場合に重要です。インクリメンタルラーニングの利点メモリの強化、リソースの効率的な利用、リアルタイムの変化への適応、または学習をより管理可能な旅にするために、インクリメンタルラーニングは幅広い魅力的な利点を提供します：記憶力の向上：以前に学んだ素材を再訪し、積み重ねることにより、インクリメンタルラーニングは記憶力を向上させ、知識を年々確固たるものにします。リソースの効率的な利用：インクリメンタルラーニングモデルは一度に少ないデータを保存する必要があるため、メモリの節約に役立ちます。リアルタイムの適応：インクリメンタルラーニングモデルはリアルタイムの変化に適応する能力を持っています。たとえば、製品推薦システムはユーザーの好みを学習し、関連する興味を引く製品を推奨します。効率的な学習：タスクを小さなパートに分割することにより、インクリメンタルラーニングはMLモデルの新しいタスクへの学習能力を迅速に向上させ、精度を向上させます。持続可能な学習習慣：インクリメンタルラーニングはプロセスを圧倒的に減らし、管理可能にすることで、持続可能な学習習慣を促進します。アプリケーション指向：インクリメンタルラーニングは、概念の定期的な実践と適用が内在化されており、実用的な理解とスキルを向上させます。インクリメンタルラーニングの実世界の応用これらの例は、インクリメンタルラーニングが言語能力からAIモデルの精度、自動運転車の安全性まで、さまざまな領域で深みと洗練を加える方法を示しています。既存の知識を基に構築することの変革的な影響を示すこの動的なアプローチにより、より知的で適応性のあるシステムが生まれます。言語学習インクリメンタルラーニングは、言語習得の領域でその地歩を築いており、学習者が徐々に語彙を構築し文法の複雑さを理解していく旅です。この徐々のアプローチにより、学習者は時間をかけて語学力を向上させることができます。基本的なフレーズのマスタリングから複雑な文構造の理解まで、インクリメンタルラーニングは包括的な言語力を養成する道を開きます。 AIと機械学習 AIと機械学習のダイナミックな世界では、インクリメンタルラーニングの技術が新しい情報の流入に基づいてモデルを磨き、置き換える役割を果たしています。これらの技術により、モデルは最新のデータに更新され、進化するパターンと洞察に適応します。この柔軟なアプローチは、変化が唯一の定数であるドメインで特に重要であり、AIシステムが高い精度と関連性を維持することを可能にします。詐欺検知システム金融セクターに進出すると、インクリメンタルラーニングのアルゴリズムは銀行システム内の不正行為に対抗するために重要です。Mastercardは、これらのアルゴリズムを使用してさまざまな変数を検討し、不正な取引の確率を評価しています。新しいデータインスタンスごとに、アルゴリズムは自身の理解を洗練し、不正行為の検出精度を高め、金融取引を保護します。自動運転車自動運転車の領域は、インクリメンタルラーニングが輝く別の領域です。自動運転車は蓄積された知識の力を利用し、以前の経験から学び、より効果的に周囲の環境をナビゲートします。これらの車は道路を走行する際にさまざまな状況からデータを収集し、異なるシナリオの理解を向上させます。テスラの車は、道路からデータを収集して機械学習モデルを改善し、より安全でスマートな運転体験を創造しています。推薦システムデジタルの世界では、増分学習によって私たちが日々遭遇する個別化された推薦が形成されます。ニュース記事から映画の提案まで、推薦システムは私たちの好みを理解し、私たちの嗜好に合ったコンテンツをカリキュレートします。このアプローチは徐々に洗練され、ユーザーがカスタマイズされた魅力的な消費の旅を楽しむことができるように、推薦を微調整していきます。…

「GPT-4 8つのモデルを1つに統合、秘密が明かされる」

「GPT4は競争を避けるためにモデルを秘密にしていましたが、今はその秘密が明らかになっています！」

Artificial Intelligence

『周期的な時間特徴のエンコード方法』

多くの予測タスクでは、モデルの入力として時間情報が必要です小売会社のレモネードの売上を予測するための回帰モデルを考えてみてください（おそらく、コンテキストについての私の記事の例を覚えているかもしれません...

持続可能性、デジタルヘルス、そして働き方の未来を支援する

「産業と技術のためのMITとAccentureの収束イニシアチブは、サポートするために3つの新しい研究プロジェクトを選択します」

人工知能の台頭に備えるために、高校生をどのようにサポートできるか

「1週間の夏のプログラムは、好奇心旺盛な若い頭脳の間で健康における機械学習のアプローチに対するより深い理解を育むことを目指しています」

ロボットスキル合成のための言語から報酬への変換

Googleの研究科学者、Wenhao YuとFei Xiaによる投稿エンドユーザーがロボットに新しいタスクを教えるためのインタラクティブな機能を持つことは、実世界の応用において重要な能力です。例えば、ユーザーはロボット犬に新しいトリックを教えたり、マニピュレータロボットにユーザーの好みに基づいてランチボックスの整理方法を教えたりすることがあります。大量の言語モデルが、インターネット上の広範なデータで事前学習された最近の進歩は、この目標を達成するための有望な道を示しています。実際、研究者たちは、LLMをロボットに活用するためのさまざまな方法を探索しています。それは、ステップバイステップの計画や目標指向の対話からロボットコードの生成までです。これらの方法は、新しい行動の構成的一般化の新しい方法を提供しますが、既存の制御原理のライブラリーから新しい行動をリンクするために言語を使用することに焦点を当てています。これらの制御原理は、手動で設計されるか、あらかじめ学習されるものです。ロボットの動きに関する内部知識を持っているにもかかわらず、LLMは関連するトレーニングデータが限られているため、低レベルのロボットコマンドを直接出力することが困難です。その結果、これらの方法の表現は、使用可能な基本要素の幅によって制約されます。これらの基本要素の設計は、広範な専門知識や大量のデータ収集を必要とすることがしばしばあります。「Language to Rewards for Robotic Skill Synthesis」では、自然言語入力を介してユーザーがロボットに新しいアクションを教える手法を提案しています。これを行うために、言語と低レベルのロボットアクションの間のギャップを埋めるインターフェースとして報酬関数を活用しています。報酬関数は、その意味、モジュール性、解釈性の豊かさから、このようなタスクにとって理想的なインターフェースを提供します。また、報酬関数は、ブラックボックス最適化や強化学習（RL）を介した低レベルポリシーへの直接的な接続を提供します。我々は、LLMsを活用して自然言語のユーザー指示を報酬指定コードに翻訳し、それからMuJoCo MPCを適用して生成された報酬関数を最大化する最適な低レベルのロボットアクションを見つける言語から報酬へのシステムを開発しました。我々は、四足歩行ロボットと器用なマニピュレータロボットを使用して、シミュレーション上のさまざまなロボット制御タスクで我々の言語から報酬へのシステムを実証しました。さらに、物理的なロボットマニピュレータでも我々の手法を検証しました。言語から報酬へのシステムは、2つの主要なコンポーネントで構成されています：（1）報酬トランスレータ、および（2）モーションコントローラ。報酬トランスレータは、ユーザーの自然言語の指示をPythonコードとして表される報酬関数にマッピングする役割を担っています。モーションコントローラは、与えられた報酬関数を最適化するために、リシーディングホライズン最適化を使用して、ロボットモーターごとに適用されるトルクの量などの最適な低レベルのロボットアクションを見つけます。 LLMsは、事前学習データセット内のデータが不足しているため、直接的に低レベルのロボットアクションを生成することができません。我々は報酬関数を使用して、言語と低レベルのロボットアクションのギャップを埋め、自然言語の指示から新しい複雑なロボットモーションを実現することを提案しています。報酬トランスレータ：ユーザーの指示を報酬関数に翻訳する報酬トランスレータモジュールは、自然言語のユーザー指示を報酬関数にマッピングすることを目指して構築されました。報酬の調整は、特定のハードウェアに対して専門知識が必要なため、一般的な言語データセットで訓練されたLLMsが特定の報酬関数を直接生成できないことは驚くべきことではありませんでした。これを解決するために、LLMsのインコンテキスト学習能力を適用しました。さらに、報酬トランスレータをモーションディスクリプタと報酬コーダーの2つのサブモジュールに分割しました。モーションディスクリプタまず、モーションディスクリプタを設計し、ユーザーからの入力を解釈して、あらかじめ定義されたテンプレートに従ったロボットの動きの自然言語の説明に展開します。このモーションディスクリプタは、曖昧またはあいまいなユーザーの指示をより具体的で具体的なロボットの動きに変換し、報酬コーディングのタスクをより安定させます。さらに、ユーザーはモーションの説明フィールドを介してシステムと対話するため、これは報酬関数を直接表示するよりもユーザーにとってより解釈可能なインターフェースも提供します。モーションディスクリプタを作成するために、ユーザーの入力をLLMで翻訳し、希望するロボットの動作の詳細な説明に変換します。 LLMが適切な詳細度と形式でモーションの説明を出力するようにガイドするプロンプトを設計します。あいまいなユーザーの指示をより詳細な説明に翻訳することで、システムで報酬関数をより信頼性の高い方法で生成することができます。このアイデアは、ロボットのタスクを超えて一般的に応用することも可能であり、Inner-Monologueとchain-of-thoughtのプロンプトに関連しています。 Reward…

「言語モデルにアルゴリズム的な推論を教える」

Posted by Hattie Zhou, MILAの大学院生、Hanie Sedghi, Googleの研究科学者 GPT-3やPaLMなどの大規模言語モデル（LLM）は、モデルとトレーニングデータのサイズを拡大することで、近年驚異的な進歩を遂げています。それにもかかわらず、LLMが象徴的に推論できるか（すなわち、論理的なルールに基づいて記号を操作できるか）という長年の議論がありました。たとえば、LLMは、数字が小さい場合には簡単な算術演算を実行できますが、数字が大きい場合は苦労します。これは、LLMがこれらの算術演算を実行するために必要な基本的なルールを学習していないことを示唆しています。ニューラルネットワークはパターンマッチング能力に優れていますが、データ中の偶発的な統計的パターンに過学習しやすいです。これは、トレーニングデータが大きく多様であり、評価が分布内である場合には良いパフォーマンスに影響しません。ただし、加算などのルールベースの推論を必要とするタスクでは、LLMは分布外の一般化に苦労し、トレーニングデータの偶発的な相関は真のルールベースの解決策よりもはるかに容易に利用されることがしばしばあります。その結果、さまざまな自然言語処理タスクでの重要な進展にもかかわらず、加算などの簡単な算術タスクのパフォーマンスは依然として課題のままです。MATHデータセットでのGPT-4のささやかな改善にもかかわらず、エラーは主に算術と計算のミスによるものです。したがって、重要な問題は、LLMがアルゴリズム的な推論が可能かどうかということです。アルゴリズム的な推論は、アルゴリズムを定義する一連の抽象的なルールを適用してタスクを解決することを含みます。「コンテキスト学習を通じたアルゴリズム的な推論の教育」では、コンテキスト学習を活用してLLMにアルゴリズム的な推論能力を可能にするアプローチについて説明しています。コンテキスト学習とは、モデルがモデルのコンテキスト内でそれに関するいくつかの例を見た後にタスクを実行できる能力を指します。タスクはプロンプトを使用してモデルに指定され、重みの更新は必要ありません。また、より困難な算術問題においてプロンプトで見られるものよりも強力な一般化を実現するための革新的なアルゴリズム的プロンプティング技術を提案しています。最後に、適切なプロンプト戦略を選択することで、モデルが分布外の例でアルゴリズムを信頼性を持って実行できることを示しています。アルゴリズム的プロンプトを提供することで、コンテキスト学習を通じてモデルに算術のルールを教えることができます。この例では、LLM（単語予測）は、簡単な加算の質問（例：267 + 197）をプロンプトとして入力すると正しい答えを出力しますが、桁数の長い類似の加算の質問に対しては失敗します。ただし、より困難な質問に加算のアルゴリズム的プロンプトを追加すると（単語予測の下に表示される青いボックスと白い+）、モデルは正しく答えることができます。さらに、モデルは一連の加算計算を合成することによって乗算アルゴリズム（ X ）をシミュレートすることができます。アルゴリズムをスキルとして教えるモデルにアルゴリズムをスキルとして教えるために、アルゴリズムプロンプトを開発します。これは、他の根拠に基づいたアプローチ（スクラッチパッドや思考の連鎖など）を基に構築されます。アルゴリズムプロンプトは、LLMからアルゴリズム的な推論能力を抽出し、他のプロンプトアプローチと比較して2つの注目すべき特徴があります。 1）アルゴリズミックな解決策に必要な手順を出力してタスクを解決し、2）LLMによる誤解釈の余地がないように、各アルゴリズミックな手順を十分な詳細で説明します。アルゴリズム的なプロンプトの直感を得るために、2つの数字の加算のタスクを考えてみましょう。スクラッチパッドスタイルのプロンプトでは、右から左に各桁を処理し、各ステップでキャリー値（現在の桁が9より大きい場合は次の桁に1を追加します）を追跡します。ただし、キャリーのルールはキャリー値の数例を見た後ではあいまいです。キャリーのルールを明示するために明示的な方程式を含めると、モデルは関連する詳細に焦点を当て、プロンプトをより正確に解釈することができることがわかります。この洞察を活用して、2つの数字の加算のためのアルゴリズム的なプロンプトを開発しました。計算の各ステップに対して明示的な方程式を提供し、曖昧さのない形式でさまざまなインデックス操作を説明します。さまざまな加算のプロンプト戦略のイラスト。答えの桁数が最大5桁までの加算のプロンプト例を3つだけ使用して、19桁までの加算のパフォーマンスを評価します。正確性は、答えの長さに均等にサンプリングされた合計2,000の例において測定されます。以下に示すように、アルゴリズムのプロンプトの使用により、プロンプトで見られる以上に長い質問に対しても高い正確性が維持されており、モデルが入力に関係ないアルゴリズムを実行することによってタスクを解決していることが示されています。異なるプロンプトのメソッドによる加算問題のテスト正確性の長さの増加。アルゴリズム的なスキルを道具として活用するモデルがより一般的な推論プロセスにおいてアルゴリズミックな推論を活用できるかどうかを評価するために、学校の数学のワードプロブレム（GSM8k）を使用してパフォーマンスを評価します。具体的には、GSM8kからの加算計算をアルゴリズミックな解決策で置き換える試みを行います。…

「競合するアジェンダがオンラインコンテンツのモデレーションの取り組みを乱す」

「EUと米国は、オンラインコンテンツのモデレーションの取り扱い方について異なる意見を持っている」

「Googleのアルゴリズムによって、FIDO暗号化は量子コンピュータから安全になります」

GoogleとスイスのETH Zurichの研究者によって開発されたポスト量子暗号（PQC）アルゴリズムは、FIDO2セキュリティキーに対して量子耐性のある暗号化を可能にします

Learn more about Search Results A - Page 689