Search Results 9

新たな人工知能の研究が、言語モデルの中でマルチモーダルな連鎖思考推論を提案し、ScienceQAにおいてGPT-3.5を16%上回る結果を示しました（75.17% → 91.68%）

最近の技術の進展により、大規模言語モデル（LLM）は複雑で洗練された推論タスクで非常に優れた成績を収めています。これは、デモンストレーションのプロンプトに対して中間の推論ステップを生成することによって実現されます。これはチェーン・オブ・ソート（CoT）プロンプティングとも呼ばれます。しかし、CoTに関する現在の研究のほとんどは言語モダリティに焦点を当てており、マルチモーダルなCoT推論を抽出するために、研究者はしばしばマルチモーダル-CoTパラダイムを使用します。マルチモーダル-CoTは、ビジョンや言語など、さまざまなモダリティの入力がある場合でも、多段階の問題を中間の推論プロセスに分割し、最終的な出力を生成します。マルチモーダル-CoTを実行する最も人気のある方法の1つは、LLMにCoTを実行する前に、複数のモダリティからの入力を単一のモダリティに組み合わせることです。しかし、この方法にはいくつかの欠点があります。1つは、データを1つのモダリティから別のモダリティに変換する際に生じる重要な情報の損失です。マルチモーダルなCoT推論を実現する別の方法は、ビジョンと言語のさまざまな特徴を組み合わせて、小さな言語モデルを微調整することです。ただし、このアプローチの主な問題は、これらの言語モデルが幻覚的な推論パターンを生成する傾向があることであり、これが回答推論に大きな影響を与えます。そのようなエラーの影響を軽減するために、Amazonの研究者はビジュアル特徴を分離されたトレーニングフレームワークで組み合わせるMultimodal-CoTを提案しました。このフレームワークは、推論プロセスを2つのフェーズに分割します：根拠生成と回答推論。モデルは、ビジョンの側面を両方のステージに取り入れることで、より説得力のある議論を生成し、より正確な回答推論を作成するのに役立ちます。この研究は、異なるモダリティでのCoT推論を研究した最初のものです。Amazonの研究者によって提供された技術は、ScienceQAベンチマークで最先端のパフォーマンスを発揮し、GPT-3.5の正確さを16%上回り、人間のパフォーマンスを上回りました。マルチモーダル回答CoTの推論と推論生成のステージは、同じモデルアーキテクチャを使用しており、入力と出力の種類が異なります。ビジョン-言語モデルの例を取ると、モデルは根拠生成の段階で視覚と言語の両ドメインのデータを受け取ります。根拠が生成されると、回答推論のステップで初期の言語入力に追加され、次のステージの言語入力のためのデータが作成されます。モデルは、更新されたデータを受け取り、所望の結果を生成するためにトレーニングされます。エンコーディング、インタラクション、デコーディングの3つの主要な機能を実行するトランスフォーマーベースのモデルが基盤となっています。要するに、言語テキストはTransformerエンコーダに供給され、テキスト表現が作成されます。このテキスト表現は、ビジョン表現と組み合わされ、Transformerデコーダに供給されます。彼らの手法の有効性を評価するために、研究者はScienceQAベンチマークで多くのテストを実施しました。ScienceQAベンチマークは、注釈付き回答が含まれる21,000以上のマルチモーダルな科学の質問からなる大規模なデータセットです。研究者は、その手法がベンチマークで従来の最先端のGPT-3.5モデルを16%上回ると結論付けました。要するに、Amazonの研究者は、マルチモーダル-CoTを実行するためにビジョンと言語の表現を組み合わせるために言語モデルを微調整するという2段階のフレームワークを提案し、情報的な根拠を生成して最終回答を推論するモデルを生成します。モデルのGitHubリポジトリは以下からアクセスできます。

「GPT-4はこの戦いで449対28で敗北した」

過去2〜3年間に、新興企業のOpenAIやCohereからGoogleやMetaといった巨大企業まで、さまざまな会社によって基盤モデルの開発が左右されてきましたこれらの...

「3/7 から 9/7 の間のトップコンピュータビジョン論文」

「コンピュータビジョンは、視覚的な世界を解釈し理解することを可能にする人工知能の分野であり、画期的な研究と技術の進歩によって急速に進化しています...」

「Adam Ross Nelsonによるデータサイエンティストになる方法からの9つの重要なポイント」

「5月のOpen Data Science EastでのHow to Become a Data Scientistの成功した本のサイン会の後、私はODSCの人々に戻って来て、本からの9つの重要なポイントの短いリストを紹介したいと思いましたデータサイエンスの分野への進入方法をナビゲートするために...」

fairseqのwmt19翻訳システムをtransformersに移植する

Stas Bekmanさんによるゲストブログ記事この記事は、fairseq wmt19翻訳システムがtransformersに移植された方法をドキュメント化する試みです。私は興味深いプロジェクトを探していて、Sam Shleiferさんが高品質の翻訳者の移植に取り組んでみることを提案してくれました。私はFacebook FAIRのWMT19ニュース翻訳タスクの提出に関する短い論文を読み、オリジナルのシステムを試してみることにしました。最初はこの複雑なプロジェクトにどう取り組むか分からず、Samさんがそれを小さなタスクに分解するのを手伝ってくれました。これが非常に助けになりました。私は、両方の言語を話すため、移植中に事前学習済みのen-ru / ru-enモデルを使用することを選びました。ドイツ語は話せないので、de-en / en-deのペアで作業するのははるかに難しくなります。移植プロセスの高度な段階で出力を読んで意味を理解することで翻訳の品質を評価できることは、多くの時間を節約することができました。また、最初の移植をen-ru / ru-enモデルで行ったため、de-en / en-deモデルが統合されたボキャブラリを使用していることに全く気づいていませんでした。したがって、2つの異なるサイズのボキャブラリをサポートするより複雑な作業を行った後、統合されたボキャブラリを動作させるのは簡単でした。手抜きしましょう最初のステップは、もちろん手抜きです。大きな努力をするよりも小さな努力をする方が良いです。したがって、fairseqへのプロキシとして機能し、transformersのAPIをエミュレートする数行のコードで短いノートブックを作成しました。もし基本的な翻訳以外のことが必要なければ、これで十分でした。しかし、もちろん、完全な移植を行いたかったので、この小さな勝利の後、より困難な作業に移りました。準備この記事では、~/portingの下で作業していると仮定し、したがってこのディレクトリを作成します:…

Covid-19への闘いを加速する：研究者がAIによって生成された抗ウイルス薬を検証し、将来の危機における迅速な薬剤開発の道を開拓

IBMとオックスフォード大学の研究者による最近の研究により、抗ウイルス薬の開発における画期的な成果が明らかになりました。研究者は生成型人工知能（AI）を利用して、Covid-19を引き起こすSARS-CoV-2ウイルスを阻止する可能性のある新しい分子を設計しました。この手法は成功し、従来の方法を使用する場合よりもずっと短い時間で、チームは4つの潜在的なCovid-19抗ウイルス薬を特定しました。この研究は、Science Advancesに掲載され、危機時に新しい治療法を探すために生成型AIの力を示しています。従来の薬剤開発プロセスは通常遅く、時間がかかり、10年以上かかることもあります。しかし、Covid-19パンデミックは新しい治療法の迅速な開発を必要とし、学界と産業界の間で前例のない協力が行われました。成功した多くの薬剤は既存の治療法を再利用したものです。しかし、ウイルスが変異するため、これらの薬剤の効果は時間とともに減少し、新しい抗ウイルスソリューションの必要性が浮き彫りになっています。生成型AIは、ウイルスタンパク質の異なる部位をターゲットにすることができる完全に新しい分子の作成を可能にすることで、潜在的な解決策を提供します。CogMolと呼ばれるAIモデルは、大量の分子とその結合特性のデータセットでトレーニングされました。重要なことは、SARS-CoV-2ウイルスの3D構造や既知の結合分子に関する情報は提供されていませんでした。これにより、モデルはターゲットタンパク質のアミノ酸配列に基づいて新しい分子を生成することができました。 CogMolは、875,000の候補分子のプールを成功裡に生成し、予測モデルと逆合成予測を使用して絞り込みました。最終的な選択により、8つの新しい化合物が合成され、ターゲットタンパク質の阻害効果とウイルスの中和能を評価するためにテストおよび分析されました。これらの化合物のうち2つは主プロテアーゼをターゲットにし、他の2つはスパイクタンパク質をターゲットにしながらも、すべての主要なCovid変異体を中和する能力を持っていました。これらの分子を薬剤に開発する前に、さらなる研究と臨床試験が必要ですが、この研究は生成型AIが薬剤開発の分野を革新する可能性を示しています。これは、将来のウイルスの変異とパンデミックに対応するために、潜在的な抗ウイルス薬を特定するためのより速くて柔軟なアプローチを提供します。結論として、この研究は生成型AIが抗ウイルス薬の発見と設計において持つ可能性を示しています。CogMolのようなAIモデルを活用することで、従来の方法と比較して、Covid-19治療のための有望な分子を特定するためにかかる時間を大幅に短縮することができました。この画期的な成果は、進化するウイルスと将来のパンデミックに直面して、新しい薬剤開発の可能性を広げるものです。

ウェブと組み込みシステムにおけるRustの実行のための9つのルール

ユーザーの要求に応じて、私は最近、range-set-blazeというクレートをWebページ内で動作するように変換しましたまた、マイクロコントローラー（組み込み）でも動作するようにしました（range-set-blazeクレートは効率的に操作を行います...

Contextual AIは、VQAv2においてFlamingoを9%上回る（56->65%）ビジョン補完言語モデルのためのAIフレームワークLENSを導入しました

大規模言語モデル（LLM）は、最近の数年間で自然言語理解を変革し、ゼロショットおよびフューショットの環境での特に意味理解、クエリ解決、およびテキスト生成の能力を示しています。図1（a）に示すように、ビジョンに関わるタスクでLLMを使用するためのいくつかの手法が提案されています。光学エンコーダを使用して各画像を連続埋め込みの系列として表現し、LLMが理解できるようにする方法もあります。別の手法では、コントラスト学習でトレーニングされた固定ビジョンエンコーダを使用し、凍結されたLLMに追加の層を追加してゼロから学習します。別の手法では、凍結された視覚エンコーダ（コントラスト学習で事前トレーニングされたもの）と凍結されたLLMを整列させるために、軽量トランスフォーマをトレーニングすることを推奨しています。上記の研究では進歩していますが、追加の事前トレーニング段階の計算コストを正当化するのは依然として困難です。また、既存のLLMと視覚および言語のモダリティを同期させるために、テキスト、写真、動画などの大規模なデータベースが必要です。Flamingoでは、視覚特徴を追加するために、事前トレーニングされたLLMに新しいクロスアテンション層を追加します。図1：視覚と言語のモダリティを調整するための手法の比較マルチモーダルプリトレーニングには2つのオプションがあります：（a）対応またはWebデータセットを利用する方法；および（b）LENSは、追加のマルチモーダルデータセットの要件がない、市販のLLMと組み合わせて使用できるプリトレーニングフリーの手法です。LENSと異なり、従来の手法では視覚タスクを達成するために大規模なマルチモーダルデータセットでの共同アライメントプリトレーニングが必要です。マルチモーダルプリトレーニング段階では、驚くべき20億の画像テキストペアと4300万のウェブサイトが必要であり、事前にトレーニングされた画像エンコーダと凍結されたLLMを使用しても最大15日かかることがあります。代わりに、さまざまな「ビジョンモジュール」を使用して、彼らはビジュアル入力から情報を抽出し、詳細なテキスト表現（タグ、属性、アクション、関係など）を生成し、それをLLMに直接フィードして追加のマルチモーダルプリトレーニングの必要性を回避することができます（図1（b）参照）。Contextual AIとスタンフォード大学の研究者は、LENS（Large Language Models ENnhanced to See）というモジュラーな戦略を紹介し、LLMを「推論モジュール」として使用し、個別の「ビジョンモジュール」で機能する方法を提案しています。彼らはまず、コントラストモデルや画像キャプションモデルなどの事前トレーニング済みビジョンモジュールを使用してLENS手法で豊富なテキスト情報を抽出します。そのテキストは次にLLMに送られ、オブジェクト認識、ビジョン、言語（V&L）を含むタスクを実行することができます。LENSは、追加のマルチモーダルプリトレーニングステージやデータの必要性をなくすことで、モダリティ間のギャップを無償で埋めることができます。また、この統合により、コンピュータビジョンと自然言語処理の最新の進歩を即座に活用することができ、両分野の利点を最大限に引き出すことができます。彼らは以下の貢献を提供しています： • LENSは、言語モデルのfew-shot、インコンテキスト学習能力を使用して、コンピュータビジョンの課題を処理するモジュラーな方法を提供します。 • LENSにより、追加のトレーニングやデータなしで、どの市販のLLMでも視覚情報を認識することができます。 • 凍結されたLLMを使用してオブジェクト認識およびビジュアル推論タスクを処理するために、ビジョンと言語のアライメントやマルチモーダルデータの追加は必要ありません。実験結果は、彼らの手法が、KosmosやFlamingoなどのエンドツーエンド共同プリトレーニングモデルと競合または優れたゼロショットパフォーマンスを達成することを示しています。彼らの論文の一部の実装はGitHubで利用できます。

3B、4B、9B のスケールで 5 つの新しいマルチモーダルモデルを備えた OpenFlamingo チームが、前モデルを上回る OpenFlamingo v2 をリリースしました

ワシントン大学、スタンフォード大学、AI2、UCSB、Googleの研究者グループは、最近OpenFlamingoプロジェクトを開発しました。このプロジェクトはDeepMindのFlamingoチームと同様のモデルを構築することを目指しています。OpenFlamingoモデルは、任意の混合テキストと画像のシーケンスを処理し、テキストを出力することができます。キャプショニング、ビジュアルクエスチョンアンサリング、画像分類などが、このモデルの能力とコンテキストでのサンプリングを活用することができる活動の一部です。現在、チームはv2のリリースを発表しました。このリリースには、3B、4B、9Bのレベルでトレーニングされた5つのOpenFlamingoモデルが含まれています。これらのモデルは、LLaMAよりも制約の緩いオープンソースモデルから派生しており、MosaicのMPT-1Bと7B、Together.XYZのRedPajama-3Bなどが含まれています。研究者たちは、すでにプリトレーニングされた静的言語モデルのレイヤーに視覚的な特徴を追加することで、Flamingoモデリングパラダイムを使用しました。ビジョンエンコーダーと言語モデルは静的なままですが、接続モジュールはFlamingoと同様にWebスクレイピングされた画像テキストのシーケンスを使用してトレーニングされます。チームは、キャプショニング、VQA、および分類モデルをビジョン言語データセットでテストしました。その結果、チームはv1リリースとOpenFlamingo-9B v2モデルの間で大きな進歩を遂げたことがわかりました。彼らは7つのデータセットと5つの異なるコンテキストからの結果を組み合わせて、モデルの有効性を評価しました。コンテキストのないショット、4つのショット、8つのショット、16のショット、32のショットの評価を行いました。OpenFlamingo (OF)のOF-3BおよびOF-4BレベルのモデルをFlamingo-3BおよびFlamingo-9Bレベルのモデルと比較し、平均してOpenFlamingo (OF)はFlamingoの性能の80%以上を達成していることがわかりました。研究者たちはまた、自身の結果をPapersWithCodeで公開された最適化されたSoTAと比較しました。オンラインデータのみで事前トレーニングされたOpenFlamingo-3BおよびOpenFlamingo-9Bモデルは、32のコンテキストインスタンスで微調整された性能の55%以上を達成しています。OpenFlamingoのモデルは、0ショットではDeepMindの平均10%、32ショットでは15%遅れています。チームは引き続きトレーニングと最先端のマルチモーダルモデルの提供に取り組んでいます。次に、事前トレーニングに使用するデータの品質を向上させることを目指しています。

トップ投稿6月19日〜25日：無料でGPT-4にアクセスする3つの方法

無料でGPT-4にアクセスする3つの方法 • データ分析を自動化するChatGPTプラグインの注目すべき点 • 無料でClaude AIにアクセスする3つの方法 • データサイエンティストのための探索的データ分析の必須ガイド • ベクトルデータベースとは何か、そしてLLMにとってなぜ重要なのか？

NEWS

Learn more about Search Results 9 - Page 8