Search Results -Crunchbase

スタンフォード大学の研究者が、大規模言語モデル（LLM）における相互補完的および貢献的帰属に対する統一的なAIフレームワークを紹介します

大規模言語モデル（LLMs）は、人工知能（AI）の指数関数的に進化する分野での最新の進歩です。これらのモデルは、テキスト生成、質問応答、テキスト要約などのタスクにおいて驚異的なパフォーマンスを発揮しますが、生成されるデータの正確性とセキュリティには課題があります。これらのモデルは、時には虚偽の情報を製造または生成し、信頼性のない出力を作り出すことがあります。モデルの出力が害を引き起こす場合、その源泉を追跡することは道徳的および法的な責任を割り当てるために必要ですが、帰属は創造的な技術的研究が必要な困難なタスクです。LLMの出力の帰属に関する研究は、主に2つの領域に焦点を当てています：トレーニングデータの帰属（TDA）および引用生成。最近の研究では、スタンフォード大学の研究チームが大規模言語モデルの帰属について統一フレームワークを導入しました。この研究は引用生成とTDAを組み合わせ、確証的および寄与的な帰属の下に統一的なフレームワークを提供します。寄与的帰属は作成されたコンテンツの源泉の検証に重点を置きますが、確証的帰属は外部の知識に基づいて出力が正確であることを検証しようとします。チームはさまざまな状況で望ましい属性を詳細に検討し、各形式の帰属について正確な定義を提供しました。この方法は、両方の種類の徹底的な帰属を提供できる帰属システムの創造と評価を促進するものであり、言語の帰属の明確で柔軟な概念に向けた第一歩です。このフレームワークは、その有用性を示すために実際のユースケースで利用されています。例は、一方または両方の種類の帰属が必要となる状況を示しています。法的文書の作成のプロセスでは、内部的な妥当性、つまりトレーニングデータの帰属によって情報の源泉と信頼性を確認し、外部的な妥当性、つまり引用の作成によって素材が法的要件に準拠していることを確認します。同様に、医療の質問応答の文脈では、応答の正確性の検証とモデルの知識に影響を与える源泉の理解のために両方の帰属が重要です。チームは次のように主な貢献をまとめました。共有要素を強調した帰属の共有フレームワークを示すインタラクションモデルが提示されました。両方の種類の帰属に関連する属性を見つけることによって、組み合わせたフレームワークが改善されました。現在の寄与的および確証的な帰属の実装の包括的な分析が行われ、現実世界での使用に関する洞察が提供されました。法的文書の作成などの帰属に重要なシナリオについて、効果的に必要な特性を記述しました。結論として、このフレームワークは素晴らしい導入であり、帰属システムの評価の標準化に役立ち、さまざまな分野でその効果の体系的かつ比較可能な評価を推進します。これにより、大規模言語モデルの使用を改善し促進し、出力の信頼性の重要な問題を解決することができます。

アマゾンの研究者は、深層学習を活用して複雑な表形式のデータ分析におけるニューラルネットワークを強化します

ニューラルネットワークは、異質なカラムを持つ表形式のデータに直面するときに、現代計算の驚異として、重要なハードルに直面します。この課題の本質は、ネットワークがこれらのテーブル内の多様なデータ構造を効果的に処理できないことにあります。この問題に対処するため、この論文では、複雑なデータ構造を扱う際にニューラルネットワークの性能を向上させる革新的な手法を探求します。行と列を持つ表形式のデータは、しばしば直感的に理解されます。しかし、これらのカラムがその性質や統計的特性で著しく異なる場合、複雑さが生じます。従来のニューラルネットワークは、一部の情報タイプに対する固有のバイアスがあり、これらの異質なデータセットを理解し処理するのに苦労します。このバイアスにより、ニューラルネットワークは表形式のデータの多様なカラム内に存在する微妙なニュアンスを識別し解読する能力が制約されます。さらに、ネットワークのスペクトルバイアスにより、高周波成分よりも低周波成分が優先されるため、この課題は複雑なネットワークのエンコードと処理にとって難しい課題となります。この論文では、Amazonの研究者が表形式の特徴を低周波の表現に変換することで、この課題を克服する革新的なアプローチを提案しています。この変換技術により、ニューラルネットワークのスペクトルバイアスを緩和し、異質な表形式のデータセットに埋め込まれた複雑な情報を理解するために重要な高周波成分をキャプチャすることが可能となります。実験では、表形式データセットと画像データセットのフーリエ成分の徹底した分析により、周波数スペクトルとネットワークの解読能力に関する洞察が提供されます。提案された解決策の重要な点は、周波数を低下させてネットワークの理解力を向上させると同時に、データ表現を変更することによる重要な情報の損失や最適化への逆効果に対する繊細なバランスです。論文では、周波数を低下させる変換がニューラルネットワークの表形式データ解釈能力に与える影響を包括的に分析しています。図と経験的な証拠は、これらの変換がネットワークの性能を著しく向上させることを示し、特に合成データ内の目標関数の解読において有効です。探求は一般的に使用されるデータ処理方法とその周波数スペクトルへの影響、および後続のネットワーク学習への影響の評価にまで広がります。この入念な検証は、異なるデータセット間でこれらの手法の異なる影響を明らかにし、提案された周波数低下の優れたパフォーマンスと計算効率性を強調しています。論文からの主なポイント：バイアスとスペクトルの制限による、ニューラルネットワークの異質な表形式データの理解の困難さ。周波数低下による変換を用いた提案手法により、ニューラルネットワークがこれらのデータセット内の微妙な情報を解読する能力が向上する。包括的な分析と実験により、提案された手法がネットワークのパフォーマンスと計算効率性を向上させる効果が検証される。

ヒストグラムとカーネル密度推定の理解

ヒストグラムは、数値データの頻度を視覚化するグラフですデータサイエンスや統計学でよく使用され、データセットの分布の大まかな推定を行うために使用されますカーネル密度...

マーク外：AI進捗競争におけるメトリクスゲーミングの落とし穴

「共産主義のネイル工場から資本主義のボット戦まで、この記事では、虚偽の基準や狭視的なハイプサイクルが意味のある進歩を阻害する永遠のリスクに焦点を当てています」

AIの物体認識をどのように進化させることができるのか？このAIの論文は、強化された画像と動画の分析のための普遍的な物体レベルの基礎モデルGLEEを紹介します

画像やビデオの物体認識は、機械に視覚世界を解読する力を与えます。仮想の探偵のように、コンピュータビジョンシステムはピクセルをスキャンし、デジタル体験のキャンバスに描かれた多くの物体を認識、追跡、理解します。このディープラーニングの力による技術的な能力は、自動運転車が都市の風景をナビゲートすることから、視覚的なエンカウンターにより多くの知能を追加する仮想アシスタントまで、変革的な応用の扉を開きます。中国科学技術大学、字節跳動、ジョンズ・ホプキンズ大学の研究者たちは、画像とビデオの物体認識のための多目的モデルGLEEを紹介しています。GLEEは、物体の位置特定と識別に優れており、タスクに固有の適応なしでさまざまなタスクに対して優れた汎化性能を示します。大規模言語モデルの統合も可能であり、多モーダル研究のための普遍的な物体レベルの情報を提供します。さまざまなデータソースからの知識の取得能力により、効率が向上し、異なる物体認識タスクの処理能力が向上します。 GLEEは、画像エンコーダ、テキストエンコーダ、ビジュアルプロンプタを統合し、多モーダル入力処理と一般化物体表現予測を行います。Objects365、COCO、Visual Genomeなどのさまざまなデータセットで訓練されたGLEEは、オープンワールドのシナリオで物体の検出、セグメンテーション、トラッキング、グラウンディング、識別を行うための統一されたフレームワークを使用します。動的なクラスヘッドを持つMaskDINOに基づいたオブジェクトデコーダは、予測のために類似性計算を使用します。物体検出とインスタンスセグメンテーションでプリトレーニングされた後、結合トレーニングにより、さまざまな下流の画像とビデオのタスクにおいて最先端のパフォーマンスを実現します。 GLEEは、特定のタスクに特化した適応なしで多様な下流のタスクに対応する傑出した汎化性能と拡張性を示しました。物体検出、インスタンスセグメンテーション、グラウンディング、マルチターゲットトラッキング、ビデオインスタンスセグメンテーション、ビデオオブジェクトセグメンテーション、インタラクティブセグメンテーションとトラッキングなど、さまざまな画像とビデオのタスクで優れたパフォーマンスを発揮します。GLEEは他のモデルに統合された場合でも最先端のパフォーマンスを維持し、その表現の多様性と効果的な性能を示します。ゼロショットの汎化性能は、自動的にラベル付けされた大量のデータを組み込むことでさらに向上します。また、GLEEは基盤モデルとしての役割も果たします。 https://arxiv.org/abs/2312.09158 GLEEは、現在のビジュアル基盤モデルの限界を克服し、正確かつ普遍的な物体レベルの情報を提供する画期的な一般物体基盤モデルです。GLEEは多様な物体中心のタスクに堪能であり、ゼロショットの転送シナリオでも特に優れた汎化性能を示します。さまざまなデータソースを使用して一般的な物体表現を組み込むことで、スケーラブルなデータセットの拡張とゼロショットの能力を向上させます。モデルは複数のデータソースをサポートしており、追加の注釈を容易に組み込むことで、さまざまな下流のタスクにおいて最先端のパフォーマンスを実現し、既存のモデルを凌駕します。これまで行われた研究の範囲と将来の研究の方向は、以下に焦点を当てることができます: 複雑なシナリオや長尾分布を持つチャレンジングなデータセットを扱うGLEEの能力を拡大するための継続的な研究です。特化したモデルを統合することで、GLEEの普遍的な物体レベル表現を活用し、マルチモーダルなタスクの性能を向上させることを目指しています。 DALL-Eなどのモデルと同様に、広範な画像キャプションのペアをトレーニングすることで、GLEEのテキスト指示に基づいた詳細な画像コンテンツの生成の可能性を探っています。オブジェクトレベルのタスクへの応用範囲を広げるために、GLEEの物理的な文脈を組み込んだオブジェクトレベルの情報を強化しています。インタラクティブなセグメンテーションとトラッキングの機能のさらなる開発は、さまざまなビジュアルプロンプトの探索やオブジェクトセグメンテーションのスキルの改善を含みます。

「EPFLとAppleの研究者が4Mをオープンソース化：数十のモダリティとタスクにわたるマルチモーダルな基盤モデルの訓練のための人工知能フレームワーク」

大量の自然言語処理（NLP）タスクを広範に扱える大型言語モデル（LLM）をトレーニングすることは、より人気があります。NLPでこれらのモデルが優れた成功を示しているにもかかわらず、ビジョンのために同様に柔軟でスケーラブルなモデルを作成する必要があります。ビジョンのスケーラビリティと多機能性には、多くの入力モダリティと出力タスクを管理する能力が不可欠です。ビジョンモデルは、写真、3D、テキストを含むさまざまな感覚入力を処理し、さまざまなタスクを実行する必要があります。ビジョンに関しては、単一の目的でRGB画像でのトレーニングは、生のテキストに対する言語モデリングと同じ結果を生みませんでした。その結果、トレーニングではさまざまなモダリティとタスクを活用する必要があります。データ、アーキテクチャ、トレーニングの目的は、望ましいビジョン基盤モデルの属性を持つモデルを構築する際に考慮すべき3つの重要なスケーラビリティ要素です。データのスケーラビリティは、性能を向上させるためにより多くのトレーニングサンプルを活用できる能力を指します。アーキテクチャの観点では、性能が増加するにつれてモデルサイズを大きくし、トレーニング時に安定性を保つことを意味します。最後に、スケーラブルなトレーニング目標は、計算コストが急増することなく、増加するモダリティの数に効率的に対応できる必要があります。スイス連邦工科大学ローザンヌ校（EPFL）とAppleの新しい研究は、これらの3つの領域すべてでスケーラビリティを目指し、さまざまな入力タイプと互換性のある方法を提案しています。これらの障壁を乗り越えるため、チームは、マルチモーダルなマスクされたモデリングのゴールを持つ単一の統合トランスフォーマーエンコーダーデコーダーをトレーニングする戦略を提案しています。4Mは「Massively Multimodal Masked Modeling」の略で、このアプローチの様々なモダリティに拡張可能な能力を強調しています。このアプローチは、マスクされたモデリングとマルチモーダル学習の最良の特徴を組み合わせています。強力なクロスモーダル予測コーディング能力と共有シーン表現反復サンプリングにより、モデルを生成タスクに使用できる事前トレーニングの目的は、効果的に豊かな表現を学ぶことです重要なのは、4Mがこれらの利点を保ちながら、多くのプロセスを通じて効率を保つことです。モダリティ固有のトークナイザーを使用することで、モダリティをさまざまな形式でセットや連続の離散トークンに変換し、テキスト、境界ボックス、画像、ニューラルネットワークの特徴など、さまざまなモダリティで単一のトランスフォーマーをトレーニングできます。これにより、表現領域が統一されます。タスク固有のエンコーダーやヘッドはもはや必要ないため、このトークナイゼーションアプローチにより、パラメータ共有が可能になり、互換性、スケーラビリティ、共有性が向上します。また、4Mは、多くのモダリティで作業するにもかかわらず、入力と目標のマスキングを活用して効率的にトレーニングすることができます。これには、トークンの小さなサブセットをランダムに選択してモデルの入力として使用し、別の小さなサブセットを目標として使用する必要があります。スケーラブルなトレーニング目標を達成するためには、入力トークンと目標トークンの数をモダリティの数から切り離す必要があります。これにより、モダリティの数が増えても計算コストが急速に増加することを防げます。CC12Mや他の利用可能な単一モーダルまたはテキスト-画像ペアデータセットを使用して、強力な擬似ラベリングネットワークを使用してモーダルに整合したバインディングデータを作成します。この擬似ラベリング手法により、異なる大規模データセットでのトレーニングが可能になります。4Mモデルは、出発点でさまざまな重要な視覚タスクで優れた結果を出すだけでなく、未知のダウンストリームタスクや入力モダリティでも注目すべき結果を達成するために微調整することができます。さらに、どのモダリティでも条件付きで操作可能な操作可能な生成モデルをトレーニングするために、マルチモーダルなマスクされたモデリングゴールを利用する必要があります。これにより、ユーザーの意図やさまざまなマルチモーダルな編集タスクの多様な表現が可能になります。その後、4Mのパフォーマンスに影響を与えるパラメータを徹底的に分析します。この包括的な分析と、この手法の容易さと汎用性により、4Mは多くのビジョンタスクと今後の開発に大いに期待されます。

Learn more about Search Results -Crunchbase - Page 7

スタンフォード大学の研究者が、大規模言語モデル（LLM）における相互補完的および貢献的帰属に対する統一的なAIフレームワークを紹介します

アマゾンの研究者は、深層学習を活用して複雑な表形式のデータ分析におけるニューラルネットワークを強化します

ヒストグラムとカーネル密度推定の理解

マーク外：AI進捗競争におけるメトリクスゲーミングの落とし穴

AIの物体認識をどのように進化させることができるのか？このAIの論文は、強化された画像と動画の分析のための普遍的な物体レベルの基礎モデルGLEEを紹介します

「EPFLとAppleの研究者が4Mをオープンソース化：数十のモダリティとタスクにわたるマルチモーダルな基盤モデルの訓練のための人工知能フレームワーク」

「機械学習アルゴリズムとGAN」

「LLMアプリケーション開発のための実践的なLangChain ドキュメントの読み込み」

「人類を800年進化させるAI、GNoMe」

システムデザインシリーズ：ゼロから高性能データストリーミングシステムを構築するための究極のガイド！

Find the right Blockchain Investment for you