Search Results A

この中国のAI研究は「Consistent4D」を紹介します：未キャリブレーションの単眼映像から4Dダイナミックオブジェクトを生成するための新しい人工知能手法

コンピュータビジョンの領域は、視覚的な入力から動的な3Dデータを解読するという基礎的で困難な課題に取り組んでいます。この能力は、デジタルコンテンツの制作、自律型車両のシミュレーション、医療画像の解析など、さまざまなアプリケーションにおいて重要です。しかし、一つの単眼のビデオ観察からこのような情報を抽出することは、動的な3D信号の複雑な性質のために困難な課題です。移動オブジェクトを再構築するための既存の多くの手法は、入力として同期したマルチビュー映像が必要であり、カメラをテレポートするなどの手法や準静的なシーンを使用した、効果的なマルチビューキューが豊富なトレーニングデータを前提としています。それにもかかわらず、これらの手法は、カメラレンズによってキャプチャされないシーンの要素を正確に再構築する際に困難に直面します。さらに、同期したカメラセットアップと正確なキャリブレーションに依存することは、これらの手法の現実世界での実用性を制限します。 CASIA、南京大学、および復旦大学による新しい研究は、2Dソースから4Dコンテンツを生成するために設計された画期的な方法であるConsistent 4Dを紹介しています。この手法は、テキストから3Dへの最近の進歩と画像から3Dへの技術向上を参考にしており、テール型のCascade DyNeRFを利用して動くオブジェクトを視覚化し、同時に事前トレーニングされた2D拡散モデルを使用してDyNeRFの最適化プロセスを制御します。その論文の中で述べられているように、主な課題は時間的な一貫性と空間的な一貫性の両方を保持することです。この課題に対処するために、研究者はトレーニングされたビデオ補間モデルに依存するインターポレーション駆動型の一貫性ロス（ICL）を使用し、空間と時間の両方にわたる一貫した監視信号の生成を可能にしています。特に、ICLロスの導入により、4D開発の信頼性が向上するだけでなく、3Dクリエーションにおける一般的な問題を軽減することができます。さらに、彼らは動的なNeRF生成ビデオを後処理するために、シンプルなビデオエンハンサーでトレーニングを行います。綿密なテストによる励ましの結果は、合成および実際のインターネットビデオの両方を含む、ビデオから4Dへの創造の未開拓の領域での有望な進展を示しています。

このAI論文では、「PolyID：高性能バイオベースポリマーの発見における機械学習の先駆者」として、ポリ－ンにおける機械学習を紹介しています

人工知能は生活のあらゆる側面で使用されています。AIは生活のあらゆる方面で使用され、化学やポリマーなどさまざまな分野で役立っています。化学やポリマー科学では、AIは科学者が新たな材料を発見するのに役立ちます。さまざまな化学物質の反応を予測し、新しい素材を作るための最適な組み合わせを提案します。これにより、化学物質やポリマーの開発プロセスがより迅速かつ効率的になります。しかし、21世紀の材料科学者が直面している課題は、より持続可能なポリマーの開発であり、さらに優れた性能基準を持つものです。この課題は、主な資源が石油化学薬品に限定されている場合に特に顕著になります。この課題に対応するためには、創造力と高度な科学的手法の両方が必要であり、持続可能性原則に準拠し、現代の環境に配慮した基準を満たすポリマーの開発が求められます。国立再生可能エネルギー研究所（NREL）の科学者であるBrandon Knottによれば、石油は主に炭素と水素の構成物である炭化水素であるとされています。これらの分子の配置は有益な性質を示し、さまざまな有利な特性の基盤を形成します。Knottの結論は、炭化水素の要素と石油の分子構成を理解することが重要であり、その特殊な特性をさまざまな応用に活用するためです。炭化水素には酸素や窒素などの要素が欠けています。しかし、炭化水素だけでは提供できないより広範な機能を必要とするポリマーを製造する際には、これらの要素が必要です。Knottは、バイオマスや酸素および窒素を豊富に含む廃棄物を原料リストに導入するという解決策を提案しています。とうもろこしの茎、藻、さらにはゴミなどの材料には、追加の化学リンケージが存在し、化学者はポリマー製造プロセスで特定の特性を達成するための柔軟性が増します。このアプローチは、ポリマーの機能性を拡大するだけでなく、より持続可能で資源的な生産方法に貢献します。国立再生可能エネルギー研究所（NREL）は、ポリマーの開発のバランスを促進するために、PolyID（ポリマー逆設計）と呼ばれる高度な機械学習ツールを使用しています。このツールは、分子構造に基づいて材料の特性を予測します。PolyIDを使用することで、研究者は数百万もの潜在的なポリマーデザインを評価し、特定の用途に合わせたショートリストを生成することができます。 PolyIDは、酸素、水素、炭素などの元素の配置と材料の特性の関連性を確立し、弾力性、耐熱性、シーラントの性能などの属性の予測を容易にします。NRELの科学者たちは、高密度ポリエチレン（石油ベースの材料）から成る現代の食品包装フィルムの代替となる生分解性のある材料を探し求めるために、PolyIDを効果的に利用しました。PolyIDは高温耐性や強力な蒸気シーリングなどの重要な特性を優先し、同時に生分解性や温室効果ガス排出量の低減といった環境上望ましい属性を取り入れました。研究者たちはまた、PolyIDの予測の正確さを確認するために実験室でテストを行いました。その結果、7つすべてのポリマーが高温に耐性を示し、ネット温室効果ガス排出量を低下させる能力も示しました。さらに、これらのポリマーは包装された食品の新鮮さを延長させることも示し、PolyIDが環境に優しい高性能なポリマーソリューションを効率的に特定する可能性を示しました。 PolyIDは、ポリマーの分子組成と既知の特性を結びつける広範なデータベースを構築することにより、特定の物理的特性に向けた新しいポリマーの設計を予測する能力を獲得します。研究の主な著者であるNolan Wilsonによれば、このシステムは、以前に経験したことのない新しい構造に対して非常に正確な予測ができるとされています。

デューク大学の研究者たちは、ポリシーステッチングを提案していますこれは、ロボットとタスクの新しい組み合わせにおけるロボットの転送学習を容易にする、画期的なAIフレームワークです

ロボット工学では、環境の変化やロボット構造の変更に敏感なスキルをロボットに教えるために、強化学習（RL）を使用する際に研究者は課題に直面しています。現在の方法は、ロボットとタスクの新しい組み合わせに対して一般化するための支援が必要であり、アーキテクチャの複雑さと強力な正則化のために複雑な現実のタスクを処理することができません。この問題に対処するために、デューク大学と空軍研究所の研究者らはポリシーステッチング（PS）を導入しました。この手法は、別々に訓練されたロボットとタスクモジュールを組み合わせて迅速な適応のための新しいポリシーを作成することを可能にします。3D操作タスクを含むシミュレーションおよび実世界の実験は、PSの非常に優れたゼロショットおよびフューショットの転移学習能力を示しています。異なる環境条件や新しいタスクに対してロボットポリシーを転送する際には、課題が残っています。これまでの研究は、価値関数、報酬、経験サンプル、ポリシー、パラメータ、および特徴などのRLフレームワーク内の特定のコンポーネント移動に主に集中してきました。メタ学習は、新しいタスクへの迅速な適応を可能にする解決策として登場し、改良されたパラメータの初期化と新しいデータの迅速な統合を提供するためのメモリを拡張したニューラルネットワークを提供します。ゼロショットの転移学習、マルチタスク学習、ライフロングラーニングに適用されるコンポジショナルRLは有望な結果を示しています。このフレームワーク内の訓練済みモジュールは、大規模なモジュラーシステム内での使用に制限されており、新しいモジュールとシームレスに統合することはできません。ロボットシステムは、過去の知識に基づいて新しいスキルを継続的に習得する人間とは対照的に、学習経験を新しいタスクやボディ構成に転送する際に課題があります。モデルベースのロボット学習は、さまざまなタスクに対してロボットの運動学と動力学の予測モデルを構築することを目指しています。一方、モデルフリーRLはエンドツーエンドでポリシーを訓練しますが、転移学習の性能はしばしば制限されます。現在のマルチタスクRLのアプローチでは、タスクの数に比例してポリシーネットワークの容量が指数関数的に拡大するため、困難に直面します。 PSは、モジュラーポリシーデザインと転送可能な表現を活用して、異なるタスクとロボット構成間での知識転送を容易にします。このフレームワークは、モデルフリーRLアルゴリズムの幅広い適用に適応します。本研究では、教師あり学習からモデルフリーRLへの相対表現の概念を拡張し、中間表現を共通の潜在座標系に整列させることで、変換不変性の促進に焦点を当てています。 PSはゼロショットおよびフューショットの転移学習能力において、既存の方法を上回り、シミュレーションおよび実世界のシナリオで優れた成果を収めています。ゼロショットの転送では、PSは100%の成功率でタッチし、40%の総合成功率を達成し、実用的な実世界の設定で効果的に一般化する能力を示しています。潜在表現の整列により、ステッチポリシー内の高次元の潜在状態間のペアワイズ距離が大幅に縮小されることが示されており、PSの転送可能な表現の学習における成功を裏付けています。実験は、物理的なロボットセットアップ内でのPSの実世界での適用可能性に関する実践的な洞察を提供し、非効果的なPSでのモーバイル表現を提供しています。結論として、PSはモジュラーポリシーデザインと潜在空間の整列の利点を示しつつ、ロボット学習ポリシーを新しいロボットタスクの組み合わせにシームレスに転送する効果を証明しています。この手法は、特に高次元の状態表現や微調整の必要性に関する現在の制約を克服することを目指しています。研究では、アンカー選択における自己教師付きテクニックを探求し、アンカー状態に頼らないネットワークモジュールの整列方法の代替手段を調査するなど、将来の研究方向を示しています。この研究は、PSの多様な形態を持つロボットプラットフォームへの展開の可能性を強調しています。

ヨハネス・ケプラー大学の研究者たちは、GateLoopを紹介します：線形循環とデータ制御された状態遷移によるシーケンスモデリングの進歩

ヨハネス・ケプラー大学の研究者が、効率的な長いシーケンスのモデリングのために線形再帰の可能性を活用する革新的なシーケンスモデルであるGateLoopを紹介しました。これは線形再帰モデルを一般化し、自己回帰言語モデリングでそれらを上回りました。GateLoopは低コストの再帰モードと効率的な並列モードを提供し、Transformerアーキテクチャに強く関連する置換注意モードを導入します。これはデータ制御された相対的位置情報を注意に提供し、既存のモデルで使用される従来の累積和を超えたより堅牢なシーケンスモデルのためのデータ制御された積の重要性を強調します。 GateLoopはS4、S5、LRU、RetNetなどの線形再帰モデルの機能を拡張する多目的なシーケンスモデルで、データ制御された状態推移を利用しています。GateLoopは自己回帰言語モデリングで優れた性能を発揮し、効率的な再帰モードと非常に効率的な並列モードの両方を提供します。Transformerアーキテクチャに関連する置換注意モードを導入します。研究では、接頭辞累積積の事前計算、演算子の結合性、非データ制御パラメータ化などの重要な側面について議論しています。GateLoopはWikiText103データセットでより低いパープレキシティスコアで経験的に検証されています。既存のモデルは線形再帰の可能性を十分に活用していないことが示されており、GateLoopはデータ制御された推移と複雑な累積積を用いてこれを解決しています。長距離の依存関係を持つシーケンスは、機械学習においては再帰ニューラルネットワーク（RNN）で従来から取り組まれています。ただし、RNNは消失・発散勾配に直面し、長いシーケンスに対して安定性を妨げます。LSTMやGRUなどのゲート付きのバリアントはこれらの問題を軽減しますが、より効率的である必要があります。Transformerはグローバルな依存関係のための注意メカニズムを導入し、再帰を排除しました。並列トレーニングとグローバルなペアワイズ依存性を可能にするものの、二次の計算量によって長いシーケンスでの利用が制限されます。線形再帰モデル（LRM）はGateLoopを通じてLRMを一般化する基本的なシーケンスモデルとしての代替手段を提供し、自己回帰言語モデリングで優れた性能を発揮し、多目的な操作モードを提供します。 GateLoopは効率的なO(l)再帰モード、最適化されたO(llog2l)並列モード、およびO(l2)の置換注意モードを提供し、注意にデータ制御された相対的位置情報を提供します。WikiText-103ベンチマークでの実験により、GateLoopの自己回帰自然言語モデリングの能力が示されています。合成課題により、データ制御された状態推移の経験的利点が確認されます。重要な側面には、接頭辞累積積の事前計算、非データ制御パラメータ化が含まれ、変数の増加を防ぐために行われます。 GateLoopは、データ制御された状態推移を取り入れたシーケンスモデルであり、WikiText-103ベンチマークでの実験によって自己回帰言語モデリングで優れた性能を発揮します。他のモデルよりも低いテストのパープレキシティを達成し、シーケンスモデリングにおけるデータ制御された状態推移の実用的な利点を強調しています。GateLoopのメモリを入力に応じて忘れる能力は、関連する情報にために効果的に隠れた状態を管理することができます。研究では、初期化戦略、振幅と位相の活性化、学習された状態推移の解釈可能性など、将来の研究可能性について概説しています。 GateLoopは、データ制御された入力、出力、状態推移のゲーティングを通じて既存の線形再帰モデルを拡張する、完全にデータ制御された線形RNNです。他のモデルを上回る自己回帰言語モデリングの性能を発揮します。GateLoopのメカニズムは相対的な位置情報を注意に提供し、O(l2)の計算量を持つ置換注意モードと同等の形式で再定式化できます。経験的結果は、完全にデータ制御された線形再帰の効果を自己回帰言語モデリングで検証しています。このモデルは入力に応じてメモリを忘れることができ、関連する情報のためにスペースを確保します。将来の研究の可能性には、異なる初期化戦略、振幅と位相の活性化、および習得された状態推移の解釈可能性の向上があります。

人事プロフェッショナル向けの10の最高のChatGPTプロンプト

「人材管理（HR）のダイナミックな世界では、革新的なツールと技術を前向きに取り入れることが成功に不可欠です人事の専門家は、プロセスを効率化し、従業員のエンゲージメントを高め、人材マネジメントを最適化する方法を常に模索していますChatGPTは、高度なAIの能力を備えた強力な味方として現れますこのブログでは、 […]」

「AIの力による消費者の支払い行動予測」

「AIが予測能力を活用して消費者の支払行動を理解し、予測する方法を発見し、事業に行動可能な洞察を提供する」

「LLaVAと一緒にあなたのビジョンチャットアシスタントを作りましょう」

大規模な言語モデルは、革命的な技術であることが証明されていますその能力を活用した数多くのアプリケーションがすでに開発されており、まもなくさらに多くのアプリケーションが期待されています...

中国の研究者がiTransformerを提案：時間系列予測のためのTransformerアーキテクチャの見直し

トランスフォーマーは、自然言語処理とコンピュータビジョンで大成功を収めた後、スケーリングのルールに従う基本モデルとなりました。タイムシリーズ予測では、他の広範な分野での巨大な成功によって、シーケンスからの多レベル表現の抽出とペアワイズ関係の表現が非常に可能なトランスフォーマーの出現が見られます。しかし、同じタイムスタンプの複数の変数を区別できないチャネルに埋め込み、これらの時間的トークンに重点を置いて時間的関係を捉えるために通常使用されるトランスフォーマーベースの予測の妥当性が、最近では学者たちからの批判の的となっています。彼らは、多変量時系列予測は、トランスフォーマーベースの予測の現在の構造によりよくフィットする可能性があると指摘しています。図2の左パネルでは、同じ時間ステップからのポイントが、相反する計測によって捉えられる根本的に異なる物理的意味を持ち、多変量の相関が消滅した単一のトークンに組み合わされていることが示されています。さらに、現実世界の高度に局所的な受容野と、複数の時間点の不整合したタイムスタンプにより、単一のタイムステップによって作成されたトークンは有用な情報を披露するのが困難かもしれません。また、時間の次元では、系列の変動に順序が重要な影響を与える可能性があるにもかかわらず、順列不変の注意機構が不適切に使用されています。その結果、トランスフォーマーは多変量の相関を記述し、重要な系列表現を捉える能力を失い、さまざまな時系列データへの適用と一般化能力を制限しています。彼らは、時系列の逆の観点を用い、各変数の全時系列を個別にトークンに埋め込む、多変量のポイントをトークンとして埋め込むというパッチングの極端な例を使用します。埋め込まれたトークンは、シリーズのグローバルな表現を逆に集約し、多変量の相関とさらに多様な視点に適したブーミングアテンションメカニズムにより、よりよく活用される可能性があります。図1: iTransformerの性能。平均結果（MSE）の報告にはTimesNetが使用されます。一方、フィードフォワードネットワークは、任意のルックバック系列からエンコードされ、次の系列の予測を行うためにデコードされる、異なる変数の十分に一般化された表現を獲得するためにトレーニングされるかもしれません。上記の理由から、彼らは、トランスフォーマーが時系列予測に無力ではなく、むしろ誤った方法で使用されていると考えています。彼らはこの研究でトランスフォーマーのアーキテクチャを再度検討し、iTransformerを時系列予測の基本的なフレームワークとして推進します。技術的な観点では、彼らは系列エンコーディングにフィードフォワードネットワークを使用し、多変量の相関に注意を払い、各時系列を変数のトークンとして埋め込みます。実験の観点では、提案されたiTransformerは、図1の実世界の予測ベンチマークでトランスフォーマーベースの予測の欠点を予想外に解消しながら、最先端のパフォーマンスを実現します。図2: 提案されたiTransformer (下段) と Vanilla Transformer (上段) の比較。Vanilla Transformer は各タイムステップを時間トークンに埋め込むのに対し、iTransformer は全体の系列を独立した変数トークンに埋め込みます。その結果、フィードフォワードネットワークは系列の表現をエンコードし、アテンションメカニズムは多変量の相関を示すことができます。彼らが貢献した3つの点は以下の通りです: • 清華大学の研究者が提案した iTransformer は、独立した時間系列をトークンとして扱い、自己アテンションによって多変量の相関を捉えることができます。層正規化とフィードフォワードネットワークモジュールを使用して、より良い系列全体の表現を学習し、時系列予測に利用することができます。 • 彼らはTransformerアーキテクチャを反省し、時間系列のネイティブTransformerコンポーネントの能力が未開拓であることを洗練させました。…

「バイオメディシンのための検索補完型生成（RAG）を行っていますか？ MedCPTを利用してゼロショットのバイオメディカル情報検索を行いましょう：対話的な事前学習済みトランスフォーマーモデル」

情報検索（IR）モデルは、ユーザークエリに基づいてドキュメントをソートおよびランク付けし、効率的かつ効果的な情報アクセスを容易にする能力を持っています。 IRの最もエキサイティングな応用の1つは、バイオ医学の分野での使用であり、関連する科学文献を検索し、医療従事者がエビデンスに基づいた意思決定を行うのに役立ちます。ただし、この分野の既存のIRシステムのほとんどはキーワードベースであるため、正確に同じキーワードを共有しない関連する記事を見落とす可能性があります。さらに、密なリトリーバベースのモデルは、ドメイン固有のタスクでうまく機能しない一般的なデータセットでトレーニングされています。さらに、そのようなドメイン固有のデータセットが不足しているため、汎用性のあるモデルの開発が制限されています。これらの問題に対処するため、この論文の著者は、255Mのクエリ-記事ペアを匿名化されたPubMed検索ログからトレーニングされたIRモデルであるMedCPTを導入しました。従来のIRモデルは、リトリーバモジュールと再ランカーモジュールとの間に不一致があり、パフォーマンスに影響を及ぼします。一方、MedCPTは、コントラスティブラーニングを使用してこれらの2つのコンポーネントを統合する最初のIRモデルです。これにより、再ランキングプロセスが検索された記事の特性とより密接に一致し、システム全体がより効果的になります。上記のように、MedCPTは第1ステージのリトリーバと第2ステージの再ランカから構成されています。このバイエンコーダアーキテクチャはスケーラブルであり、ドキュメントはオフラインでエンコードでき、推論時にはユーザークエリのみをエンコードする必要があります。その後、リトリーバモデルは最もエンコードされたクエリに似ているドキュメントの部分を特定するために最近傍探索を使用します。再ランカは、クロスエンコーダであり、リトリーバによって返されたトップの記事のランキングをさらに微調整し、最終的な記事のランキングを生成します。再ランカは計算コストがかかりますが、MedCPTのアーキテクチャ全体は効率的です。再ランキングプロセスの前にエンコードと最近傍探索のみが必要です。MedCPTは、さまざまなゼロショットバイオメディカルIRタスクで評価されました。以下はその結果です： MedCPTは、BEIRベンチマークの5つのバイオメディカルタスクのうち3つで最先端のドキュメント検索パフォーマンスを達成しました。GoogleのGTR-XXL（4.8B）やOpenAIのcpt-text-XL（175B）などのより大きなモデルを上回りました。 MedCPTの記事エンコーダは、SPECTERやSciNCLなどの他のモデルに比べてRELISH記事の類似度タスクで優れたパフォーマンスを発揮します。さらに、SciDocsのMeSH予測タスクでもSOTAのパフォーマンスを達成します。 MedCPTのクエリエンコーダは、バイオメディカルおよびクリニカルの文を効果的にエンコードすることができました。結論として、MedCPTはリトリーバと再ランカモジュールのペアを統合した最初の情報検索モデルです。このアーキテクチャは効率とパフォーマンスのバランスを提供し、MedCPTは多くのバイオメディカルタスクでSOTAのパフォーマンスを発揮し、多くの大きなモデルを上回ります。このモデルは、関連する記事の推奨、類似文の検索、関連文書の検索など、さまざまなバイオメディカルアプリケーションに適用する潜在能力があり、バイオメディカルの知識発見と臨床的意思決定のために不可欠な資産です。

このAI論文では、コンピュータビジョンの基盤について包括的な分析を紹介し、事前学習モデルの強みと弱点を明らかにします

コンピュータビジョンにおいて、バックボーンは多くのディープラーニングモデルの基本的なコンポーネントです。分類、検出、セグメンテーションなどの下流の処理は、バックボーンによって抽出された特徴に依存しています。ここ数年で、新しい事前トレーニング戦略とバックボーンのアーキテクチャが急激に増えています。その結果、実践者は自分の特定の活動およびデータセットに最適なバックボーンを選ぶことに課題を抱えています。バックボーンの戦い（BoB）は、多くの人気のある公開された事前トレーニングチェックポイントとランダムに初期化されたベースラインをさまざまな下流タスクで比較する大規模なベンチマークです。ニューヨーク大学、ジョンズホプキンス大学、メリーランド大学、ジョージア工科大学、Inria、Meta AI Researchの研究者が開発しました。BoBの調査結果は、さまざまなバックボーンのトポロジーと事前トレーニング戦略の相対的な利点を明らかにします。この調査では、以下のような興味深い結果が得られました：事前トレーニングされた教師あり畳み込みネットワークは、通常、トランスフォーマーよりも優れたパフォーマンスを示します。これは、教師あり畳み込みネットワークは容易にアクセス可能で、大規模なデータセットでトレーニングされるためです。一方、同じサイズのデータセット間で結果を比較すると、自己教師ありモデルのほうが教師ありの類似物よりも優れたパフォーマンスを示します。 CNNに比べて、ViTはパラメータ数や事前トレーニングデータの量に対してより敏感です。これは、ViTのトレーニングにはCNNのトレーニングよりも多くのデータと処理能力が必要になる可能性があることを示しています。バックボーンのアーキテクチャを決定する前に、精度、計算コスト、データの利用可能性に対するトレードオフを検討する必要があります。タスクパフォーマンス間の相関度は高いです。最良のBoBバックボーンはさまざまなシナリオで優れた機能を発揮します。エンドツーエンドの調整は、密な予測ジョブにおいてはCNNよりもトランスフォーマーに効果があります。これは、トランスフォーマーがCNNよりもタスクおよびデータセットに依存する可能性があることを示しています。 CLIPモデルと他の有望な先進的なアーキテクチャを使用したビジョン言語モデリング。CLIPの事前トレーニングは、ImageNet-21kでトレーニングされたバックボーンと比較しても優れています。このデータは、ビジョン言語の事前トレーニングがコンピュータビジョンのタスクの結果を改善することができることを示しています。著者は、CLIPを介して利用可能な事前トレーニング済みバックボーンを調査することを専門家に勧めています。 BoBにはコンピュータビジョンフレームワークの最先端がマッピングされています。ただし、この分野は新しいアーキテクチャと事前トレーニング技術の進歩が継続しているため、パフォーマンスを向上させるために新しいインフラストラクチャを常に評価・比較し、見つける方法を見つけることが重要だとチームは考えています。

Learn more about Search Results A - Page 93