Search Results r AI

Eleuther AI Research Groupが、Classifier-free Guidance（CFG）がLLMsとどのように組み合わされるかを実証しました

最近、巨大な言語モデルは印象的な生成能力を示し、様々な問題に対応することができるようになりました。通常、タスクの指示や文脈、または少数のサンプルを使用して、生成を条件付けるために「プロンプティング」が使用されます。しかし、小さなモデルでは特に、幻覚、劣化、迷走などの問題が言語生成において観察されています。この問題に対処するために、指示の微調整や強化学習などのいくつかの解決策が提案されています。しかし、高いコンピューティングとデータの要件のため、これらの方法を利用できるのはすべてのユーザーではありません。 EleutherAIの研究グループは、プロンプトの形でユーザーの宣言された意図により大きな重みを置く推論アプローチを提案しています。彼らの最近の研究では、推論時にプロンプトにより重みを加えることで、生成の一貫性を改善することを提案しています。テキストから画像への生成でも同じ問題が存在することが示されています。通常の推論手法では、珍しいまたは特殊な刺激に対して重要な詳細を見落とす場合があります。出力画像に所望の特性を促すために別個の分類器を使用することが提案され、拡散モデルの生成品質が向上するとされています。後に、分類器を完全に廃止し、代わりに生成モデルを暗黙の分類器として使用するClassifier-Free Guidance (CFG) が開発されました。テキストから画像生成の成功から着想を得て、研究者たちはCFGを単一モーダルのテキスト生成に使用するために改変し、モデルの入力に適合させることを示しています。研究では、テキスト生成ではCFGをそのまま使用できる一方、テキストから画像を生成するモデル（主に拡散モデルを使用する）はCFGを活用するために条件付きドロップアウトをトレーニングする必要があることを示しています。この研究は、シンプルな一回のプロンプトから複雑なチャットボットスタイルのプロンプトまで、さまざまなプロンプティング手法におけるアライメントの向上にCFGを使用する方法を示しています。研究者たちはCFGを言語モデリングに適用する方法論を開発し、業界標準のベンチマークで大幅な改善を実証しています。基本的なプロンプト、チェーンプロンプティング、長文プロンプティング、チャットボットスタイルのプロンプティングは、これらのベンチマークによって捉えられます。具体的には、LLaMA-7BはPaLM-540Bを上回り、LAMBADAでSOTAとなる方法を可能にします。 LMのロジット分布を変更しようとする推論手法のコレクションが増えていますが、この研究はそれらにうまく適合しています。結果は、CFGの倍増した推論FLOPが、モデルの性能をおおよそ2倍にすることを示しています。これにより、より複雑で実行コストの低いモデルを、よりパワフルではないハードウェア上で実行するための道が開かれます。ネガティブなプロンプトを使用することで、CFGのどの特徴を強調するかをより細かく制御することができます。結果は、75%の人がGPTを標準のサンプル方法よりも好むことを示しています。

Allen Institute for AI の研究者が、自然言語の指示に基づいて複雑で構成的な視覚的タスクを解決するための神経記号アプローチである VISPROG を紹介します

汎用AIシステムを探すことで、熟練したエンドツーエンドトレーニングモデルの開発が促進され、多くのモデルがユーザーがモデルと対話するためのシンプルな自然言語インターフェースを提供することを目的としています。大規模な自己教示学習に続く監視多目的学習がこれらのシステムを開発するための最も一般的な方法でした。彼らは最終的に、これらのシステムが困難なジョブの無限長尾にスケールするように望んでいます。しかしながら、この戦略は各タスクについて慎重に選択されたデータセットが必要です。自然言語で述べられた困難なアクティビティを、エンドツーエンドトレーニングされた特殊なモデルや他のプログラムが処理できるように、より単純なフェーズに分解することにより、この作業では大言語モデルを使用して複雑なタスクの長い尾を処理する方法について研究しています。「この画像からBig Bang Theoryの7人の主要キャラクターをタグ付けしてください」とコンピュータビジョンプログラムに伝えます。システムは、以下の手順を実行する前に、指示の目的を最初に理解する必要があります。顔を検出し、知識ベースからBig Bang Theoryの主要キャラクターのリストを取得し、キャラクターリストを使用して顔を分類し、認識されたキャラクターの名前と顔を画像にタグ付けします。いくつかのビジョンおよび言語システムが各タスクを実行できますが、自然言語タスクの実行はエンドツーエンドトレーニングシステムの範囲外です。図1：組成ビジュアル推論のためのモジュラーで解釈可能なニューロシンボリックシステム-VISPROG。 VISPROGは、自然言語の指示の少数のインスタンスと必要な高レベルのプログラムが与えられたGPT-3内の文脈学習を使用して、新しい指示ごとにプログラムを作成し、プログラムを入力画像に実行して予測を取得します。さらに、VISPROGは中間出力を理解可能な視覚的な正当化に縮小します。知識検索、算術、論理操作のさまざまなモジュールを組み合わせる呼び出しを行うジョブを実行するためにVISPROGを使用します。また、画像の分析と操作にも使用します。 AI研究所の研究者は、VISPROGと呼ばれるプログラムを提案しました。このプログラムは、視覚情報（単一の画像または画像のコレクション）と自然言語命令を入力とし、一連の命令、すなわちビジュアルプログラムを作成し、これらの命令を実行して必要な結果を生成します。ビジュアルプログラムの各行は、システムが現在サポートしている多くのモジュールの1つを呼び出します。モジュールは、事前に構築された言語モデル、OpenCV画像処理サブルーチン、算術および論理演算子であることができます。また、事前に構築されたコンピュータビジョンモデルにすることもできます。コードの前の行を実行して生成された入力は、モジュールによって消費され、後で使用できる中間出力を生成します。前述の例では、VISPROGが作成したビジュアルプログラムで、顔検出器、GPT-3を知識検索システムとして、CLIPをopen-vocabulary画像分類器として使用して必要な出力を提供します（図1を参照）。VISPROGによってビジョンアプリケーションのプログラムの生成と実行の両方が向上します。ニューラルモジュールネットワーク（NMN）は、専門の、微分可能なニューラルモジュールを組み合わせて、ビジュアル質問応答（VQA）問題のための質問固有のエンドツーエンドトレーニング可能なネットワークを作成します。これらの方法は、REINFORCEの弱い回答監視を使用してレイアウトジェネレータをトレーニングするか、脆弱な、事前に構築された意味解析器を使用してモジュールのレイアウトを決定的に生成します。対照的に、VISPROGは、強力な言語モデル（GPT-3）と文脈に限定された例を使用して、事前のトレーニングなしに複雑なプログラムを構築できるようにします。訓練された最先端のモデル、非ニューラルPythonサブルーチン、およびNMNよりも高い抽象レベルを呼び出すことにより、VISPROGプログラムはNMNよりも抽象的です。これらの利点により、VISPROGは迅速で効果的で柔軟なニューロシンボリックシステムです。さらに、VISPROGは非常に解釈可能です。まず、VISPROGは、ユーザーが確認できる論理的な正確さを持つ理解しやすいプログラムを作成します。第二に、予測を管理可能な部分に分解することにより、VISPROGはユーザーが中間段階の結果を調べて欠陥を見つけ、必要に応じてロジックを修正できるようにします。予測の視覚的な正当化として、テキスト、バウンディングボックス、セグメンテーションマスク、生成された画像などの中間ステップの出力が接続された完成したプログラムが、情報の流れを示すために役立ちます。彼らはVISPROGを4つの異なる活動に使用して、その汎用性を紹介しています。これらのタスクには、一般的なスキル（画像解析など）が必要ですが、専門的な思考力と視覚的な操作スキルも必要です。これらのタスクには以下が含まれます：構成的な視覚的質問に答えること。画像ペアに対するゼロショットNLVR。 NL指示からの事実知識オブジェクトラベリング。言語による画像操作。彼らは、モジュールまたは言語モデルのいずれもが変更されていないことを強調しています。自然言語のコマンドと適切なプログラムのいくつかの文脈の例があれば、VISPROGを任意のタスクに適応することができます。VISPROGは使いやすく、構成的なVQAテストで2.7ポイントの大幅な利益、NLVRのゼロショットの正確さが62.4％、そして知識タグ付けと画像編集のタスクでの質的・量的な結果が良好です。

MIT-Pillar AI Collectiveが初めてのシードグラント受賞者を発表

人工知能、データサイエンス、機械学習の研究を行う6つのチームが、商業的な応用の可能性を持つプロジェクトに対して資金援助を受けます

学校でのAI教育の台頭：現実と未来の可能性のバランス

多くの野心的なティーンエイジャーたちは、AIについて学ぶ機会をより充実させるよう学校に提唱しています

驚くべき発見：AIが未解決の数学問題を解決する方法

「生産の大部分を捨てる必要があったにもかかわらず、価値のある宝石が捨てられた不用品の中に見つかりました」

「バイデン政権によるAIヘルスケアアプリのラベリングシステム案」

バイデン政権が、健康ケアアプリに人工知能を活用した新しいラベリングシステムを導入し、安全性と信頼性を最優先にしていますこれにより、より良い健康ケアを提供することが可能になります

バイトダンスAI研究がStemGenを紹介：音楽の文脈を聞いて適切に反応するためにトレーニングされたエンドツーエンドの音楽生成ディープラーニングモデル

音楽生成は、既存の音楽に存在するパターンと構造を模倣するためにモデルを訓練することで行われるディープラーニングの一環です。RNN、LSTMネットワーク、トランスフォーマーモデルなど、ディープラーニングの技術が一般的に使用されます。この研究では、音楽のコンテキストに応じて反応する非自己回帰型のトランスフォーマーベースのモデルを使用して音楽音声を生成する革新的なアプローチを探求しています。従来のモデルが抽象的な調整に頼っているのに対し、この新しいパラダイムは聞くことと反応することを重視しています。この研究では、フィールドの最新の進歩を取り入れ、アーキテクチャの改良について議論しています。 SAMIと字節跳動社の研究者は、音楽コンテキストに反応する非自己回帰型のトランスフォーマーベースのモデルを紹介し、MusicGenモデルのための公開されたエンコードチェックポイントを活用しています。評価には、Frechet Audio Distance（FAD）やMusic Information Retrieval Descriptor Distance（MIRDD）などの標準的な指標や音楽情報検索ディスクリプタのアプローチが使用されています。その結果、このモデルは客観的な指標と主観的MOSテストを通じて、競争力のある音声品質と強固な音楽のコンテキストに対する整合性を示しています。この研究は、画像と言語処理からの技術を借用して、ディープラーニングを通じたエンドツーエンドの音楽音声生成の最新の進展を強調しています。音楽作曲におけるステムの整合性の課題を重視し、抽象的な調整に頼る従来のモデルに対する批判を行っています。音楽のコンテキストに対して反応するためのモデルに非自己回帰型のトランスフォーマーベースのアーキテクチャを使用するトレーニングパラダイムを提案しています。モデルの評価には、客観的な指標、音楽情報検索ディスクリプタ、および聴取テストが必要です。この手法では、音楽生成に非自己回帰型のトランスフォーマーベースのモデルを使用し、別個の音声エンコーディングモデルで残差ベクトル量子化を組み合わせています。複数の音声チャンネルを連結された埋め込みを介して単一のシーケンス要素に組み合わせます。トレーニングにはマスキング手法が使用され、強化された音声コンテキストの整合性を向上させるためにトークンサンプリング中にクラシファイアフリーガイダンスが使用されます。フレーシェ音声距離や音楽情報検索ディスクリプタ距離などの客観的な指標によってモデルのパフォーマンスが評価されます。生成されたサンプルを実際のステムと比較することで評価が行われます。この研究では、標準的な指標や音楽情報検索ディスクリプタアプローチ（FADやMIRDDなど）を使用して生成されたモデルを評価しています。実際のステムとの比較により、モデルは最先端のテキスト条件付きモデルと同等の音声品質を達成し、音楽のコンテキストに強い音楽的な整合性を示しています。音楽のトレーニングを受けた参加者を対象としたMean Opinion Scoreテストは、このモデルが現実的な音楽の結果を生成する能力を確認しています。生成されたステムと実際のステムの分布整合性を評価するMIRDDは、音楽の一貫性と整合性の尺度となります。まとめると、行われた研究は以下のように要約できます：この研究では、音楽のコンテキストに応答できる生成モデルの新しいトレーニングアプローチを提案しています。このアプローチは、トランスフォーマーバックボーンを持つ非自己回帰言語モデルと、未検証の2つの改良点（マルチソースのクラシファイアフリーガイダンスと反復デコーディング中の因果バイアス）を導入しています。これらのモデルは、オープンソースおよび独自のデータセットでトレーニングすることで最先端の音声品質を達成しています。標準的な指標や音楽情報検索ディスクリプタのアプローチによって最先端の音声品質が検証されています。 Mean Opinion Scoreテストは、モデルが現実的な音楽の結果を生成する能力を確認しています。

Google AIはPixelLLMを提案します：細かい粒度のローカリゼーションとビジョン・ランゲージのアラインメントが可能なビジョン・ランゲージモデル

大規模言語モデル（LLMs）は、自然言語処理（NLP）、自然言語生成（NLG）、コンピュータビジョンなど、人工知能（AI）のサブフィールドの力を活用しています。LLMsにより、画像について複雑な推論を行い、画像に関するクエリに応答し、自然言語で画像を説明することが可能になりました。しかし、LLMsが単語の位置特定や位置の参照などの位置情報タスクを実行できるかはまだ不確かです。この課題を解決するため、Google ResearchとUC San Diegoの研究チームが、PixelLLMという賢いモデルを導入し、細かい位置情報と画像-言語の整合性を実現することが可能になりました。このアプローチは、特に赤ちゃんがジェスチャーや指さし、命名などで自然に自分の視覚環境を説明する方法に着想を得ています。チームは、LLMsが視覚入力から空間的理解と推論をどのように派生できるかを見つけることを目標としていると共有しています。 PixelLLMは、言語モデルの各単語出力をピクセルの位置に密接に対応させます。これには、単語特徴の上に小さなマルチレイヤーパーセプトロン（MLP）が追加され、各単語のピクセル位置に回帰できるようになっています。低ランクのファインチューニング（LoRA）が使用され、言語モデルの重みを更新または凍結することができます。モデルはテキストまたは場所のプロンプトも受け取ることができ、プロンプトに合わせた出力を提供できます。モデルのアーキテクチャには、画像エンコーダ、プロンプトエンコーダ、およびプロンプト特徴抽出器が含まれています。大規模言語モデルは、プロンプトに基づいた画像特性とオプションのテキストプロンプトを入力とし、単語ごとの位置特定とキャプションという形で出力します。言語または位置の様々な組み合わせを入力または出力として受け取る能力により、アーキテクチャは幅広い視覚言語活動に適応できます。チームは、密なオブジェクトキャプショニングや位置条件付きキャプショニング、位置の参照など、よく知られたビジョンタスクを使用してモデルを評価しました。89.8 [email protected]のRefCOCOを参照した位置情報、Visual Genome条件付きキャプショニングの19.9 CIDEr、密なオブジェクトキャプショニングの17.0 mAPなど、優れたパフォーマンス指標を持つPixelLLMは、さまざまな課題において最先端の結果を示しています。ピクセルごとの密な位置特定の定式化が重要であることは、RefCOCOでの収縮研究によって示されており、他の位置特定の定式化に比べて3.7ポイントの利益を上げています。したがって、PixelLLMは正確なビジョン-言語の整列と位置情報を達成することに成功しています。チームは、主な貢献を以下のようにまとめています。「PixelLLM」という新しいビジョン-言語モデルを紹介し、単語の位置特定と画像キャプションを生成する。モデルは、画像入力に加えてテキストまたはオプションの場所の手がかりをサポートします。位置特定のトレーニングには、ローカル化されたナラティブデータセットが使用されました。セグメンテーション、位置条件付きキャプショニング、参照位置、密なキャプショニングなど、さまざまなビジョン-言語タスクに適応することができます。位置条件付きキャプショニング、密なキャプショニング、参照位置とセグメンテーションで優れた成果を示しました。

AIアドバイザーと計画ツール：金融、物流、それ以上を変革する

「AIアドバイザーやプランニングツールが金融、物流、医療、教育の根本的な変革を遂げる方法を探索してくださいこれらのAIシステムがどのようにデータ駆動の洞察を提供し、複雑なプロセスを最適化し、未来を形作っているのか学んでください」

Tech

スマートな意思決定：AIが従業員の転居計画を向上させる方法

「あなたがふかふかのアームチェアに落ち着いている想像をしてみてください空気中には新しく淹れたコーヒーの香りが漂っていますそれでは、従業員の移転計画について考えてみましょうまるで賑やかな都市の中を進むような感じですあちこちで考慮すべき事柄や物流の複雑さが溢れていますしかし、ここで順調になるのはAIが登場するときです... スマートな意思決定 AIが従業員の移転計画をどのように強化するのか詳細を読む」

Tech

Learn more about Search Results r AI - Page 2