Search Results A

ウェイト、バイアス、ロスのアンボクシング：ディープラーニングに集中する

ディープラーニングは、大量のデータを自動的に利用して、コンピュータが人間と同様に学ぶために層状のニューラルネットワークを活用するマシンラーニングの一種です高いレベルでは、ディープラーニングは…

「ディープラーニングにおける転移学習とは何ですか？」

簡単に言えば、新しい異なるデータセットで実行される訓練済みモデルを使用する技術です核心のアイデアは、訓練済みモデルの知識を新しいデータセットに適用することですが...

セマンティックヒアリング：リアルな環境で特定の音を重点的に集中させたり無視したりしながら、空間認識を維持するための機械学習に基づくヒアラブルデバイスの新しい機能

ワシントン大学とマイクロソフトの研究者は、先進的な機械学習アルゴリズムによって駆動される意味解釈能力を持つノイズキャンセリングヘッドフォンを発表しました。この革新的なイノベーションにより、着用者は望む音だけを聞くことができ、他の聴覚的な妨害を排除することができます。チームは自分たちの革新的な取り組みを進める上での中心的な障壁について詳述しました。現在のノイズキャンセリングヘッドフォンの問題点を強調し、周囲の環境から特定の音を識別し分離するために必要なリアルタイム情報を持っていないと指摘しました。そのため、着用者の聴覚体験と視覚知覚の間のシームレスな同期は重要な懸念事項となります。聴覚刺激の処理に遅延が生じることは許容できず、ほぼ即座に行われる必要があります。従来のノイズキャンセリングヘッドフォンは主に入ってくる音を阻害したり、特定の周波数をフィルタリングすることに重点を置いていますが、この革新的なプロトタイプは異なるアプローチを採用しています。入ってくる音に対して分類システムを使用し、ユーザーが聞きたい音を個別に選択することができます。このプロトタイプのポテンシャルは、一連の試験を通じて示されました。これらの試験は、掃除機の音の中での会話や街のざわめきを消して鳥の鳴き声に集中すること、そして交通のクラクションに注意を払いながら建設の騒音を軽減することなどが含まれていました。この装置は、セッションの終了を知らせるアラーム以外の周囲の音を静かにすることで瞑想を促進しました。迅速な音の処理を実現するための核心は、ヘッドフォンに統合されるよりもパワフルなデバイス、つまりユーザーのスマートフォンを活用することにあります。このデバイスには、バイノーラル音の抽出に特化した専用のニューラルネットワークが搭載されており、研究者によればこれは革新的な業績です。実験中、研究チームは20の異なる音のクラスで正常に動作し、接続されたスマートフォン上でわずか6.56ミリ秒の時間で実行することを証明しました。新しい室内外のシナリオでの現実の評価により、ターゲットの音を抽出しながら、バイノーラル出力の空間的な手がかりを保持する証明段階のシステムの有効性が確認されました。このノイズキャンセリング技術の革新的な進展は、さまざまな環境でユーザーエクスペリエンスを向上させるための広大な可能性を秘めています。リアルタイムで個別の音環境をカスタマイズできることで、これらの次世代ヘッドフォンは従来の制約を超えます。研究チームがこのイノベーションをさらに洗練し、コードの公開に備えるにつれて、個人の音風景が指先にある未来への展望が現実味を帯びてきます。

即座のマルチビジュアライゼーションダッシュボードのためにGPT-4を促す

この更新の新しい力は、基本的なプロンプトエンジニアリングを使用して複雑なデータセットからデータ可視化を即座に作成するシンプルさですダッシュボードの作成に関するケーススタディを見ていきましょう...

MITの研究者たちは「MechGPT」を導入しました：メカニクスと材料モデリングにおいてスケール、学問領域、およびモダリティをつなぐ言語ベースのパイオニア

研究者たちは、物質科学の広範な領域において密度の濃い科学的な文書から重要な洞察を効率的に抽出するという困難な課題に直面しています。この複雑な作業には、複雑なコンテンツをナビゲートし、物質の核心を網羅した意味のある質問・回答ペアを生成することが含まれます。その複雑さは、科学的な文書の密なフabricから重要な情報を抽出するという大きな課題にあります。このため、研究者は物質の本質を捉えた意味のある質問・回答ペアを作り出す必要があります。この領域内の現在の手法では、情報抽出に汎用言語モデルを活用することが一般的です。しかし、これらの手法はテキストの洗練化や方程式を正確に組み込む際に支援が必要です。これに対応するため、MITの研究者チームは、事前学習済み言語モデルに基づく画期的なモデルであるMechGPTを紹介しました。この革新的な手法では、一般的な言語モデルを利用して鋭い質問・回答ペアを形成するための2段階のプロセスを採用しています。MechGPTは単なる抽出以上に、鍵となる事実の明確さを向上させます。 MechGPTの旅は、Hugging Faceエコシステム内のPyTorchで実施される慎重なトレーニングプロセスで始まります。Llama 2 transformerアーキテクチャに基づき、このモデルは40のトランスフォーマーレイヤーを誇り、ロータリー位置埋め込みを活用して拡張されたコンテキストの長さを容易にします。32ビットのページ化されたAdamWオプティマイザーを用いて、トレーニングプロセスは約0.05の優れた損失を達成します。研究者たちは、モデルの能力を向上させるために微調整中にLow-Rank Adaptation (LoRA) を導入しています。これにより、追加のトレーニング可能なレイヤーを統合しながら、元の事前学習済みモデルを凍結させることで、モデルが初期の知識ベースを消去するのを防ぎます。その結果、メモリの効率化とトレーニングのスループットの加速が実現します。 MechGPTの基本モデルに加えて、研究者はより大規模な2つのモデル、MechGPT-70bとMechGPT-70b-XLのトレーニングにも取り組んでいます。前者はMeta/Llama 2 70 chatモデルの微調整バージョンであり、後者は10,000トークンを超える大きなコンテキストのために動的にスケーリングされたRoPEを組み込んでいます。 MechGPT内のサンプリングは、因果関係マスキングを実装した自己回帰原則に従って行われます。これにより、モデルは次の要素を考慮せずに各要素を予測するため、将来の単語を考慮しないように制約されます。この実装では、モデルの焦点を調整するために温度スケーリングが導入され、不確実性の温度の概念が導入されます。まとめると、MechGPTは物質科学の科学的な文書から知識を抽出するという困難な領域での希望の光として浮かび上がっています。LoRAや4ビットの量子化などの革新的な技術によって豊かになったモデルのトレーニングプロセスは、従来の言語モデルを超えた応用の可能性を示しています。Google Scholarへのアクセスを提供するチャットインタフェースにおけるMechGPTの具体的な具現化は、将来の拡張に向けた橋渡しとなります。この研究は、材料科学における貴重な財産としてMechGPTを紹介し、専門領域内の言語モデルの限界を押し広げる先駆者と位置付けています。研究チームがさらに前進する中、MechGPTは言語モデルのダイナミックな進化の証として、知識抽出の新たなフロンティアを開拓しています。