Learn more about Search Results A - Page 225

「AIモデルと化学者の洞察を組み合わせて、一度のステップで逆合成を予測する」

有機合成では、有機的なプロセスを通じて分子が構築されるため、合成化学の重要な分野です。コンピュータ支援有機合成における最も重要な仕事の一つは、望ましい結果が与えられた場合に、反応の前駆体となる可能性のある物質を提案する逆合成分析1です。多くの可能性の中から最適な反応経路を見つけるためには、反応物の正確な予測が必要です。この記事の文脈では、マイクロソフトの研究者は、生成物分子に原子を提供する基質を「反応物」と呼んでいます。この論文では、反応を促進する溶媒や触媒は反応には寄与しないが、最終生成物には何らかの原子を提供するものとして反応物としてカウントされませんでした。最近、機械学習を基にした手法がこの問題に取り組む上で非常に有望な結果を示しています。これらの手法の多くは、出力のシーケンスをトークンごとに自己回帰的に生成することが特徴であり、エンコーダ・デコーダのフレームワークを使用しています。エンコーダコンポーネントは分子のシーケンスやグラフを高次元のベクトルとしてエンコードし、デコーダコンポーネントはエンコーダの出力をデコードします。逆合成分析のプロセスは、一つの言語から別の言語への翻訳として概念化されました。ベイジアンのような確率を使用して、分子トランスフォーマを使用して探索的な手法を用いて逆合成経路を予測しました。既存の自然言語処理の手法を応用することにより、逆合成分析を機械翻訳の問題として再定義することが可能になりました。トークンごとの自己回帰は、デコーディングの段階でSMILES出力文字列を構築するために使用されます。従来の方法では、SMILES文字列の基本的なトークンは通常、単一の原子や分子を指します。これは、合成設計や逆合成分析に従事する化学者にとって直感的かつ説明可能ではありません。現実のルート探索の課題に直面した場合、ほとんどの合成化学者は、既存の反応経路の知識と基本原理から得られた抽象的な理解を組み合わせて、反応経路を開発するために、長年の訓練と経験に頼ることが一般的です。一般的に、逆合成分析は、ターゲット分子と化学的に類似しているか保持されている分子断片または部分構造から始まります。これらの断片または部分構造は、正しい組み合わせが行われれば、一連の化学プロセスを通じて最終生成物に至ることができるパズルのピースです。研究者は、エキスパートシステムやテンプレートライブラリを使わずに有機合成で通常保持されるサブストラクチャを使用することを提案しています。これらのサブストラクチャは、広範な既知の反応の集合から取得され、反応物と生成物の間の微小な共通点を捉えています。この意味では、逆合成分析をサブストラクチャレベルでのシーケンス・トゥ・シーケンス学習の問題と捉えることができます。抽出されたサブストラクチャのモデリング有機化学では、ターゲット分子に化学的に類似したあるいは保持される分子断片や小さな構成要素を「サブストラクチャ」と呼びます。これらのサブストラクチャは、複雑な分子がどのように組み立てられるかを明らかにするのに重要です。このアイデアに触発され、フレームワークには次の3つの主要な部分があります: 製品分子を提供すると、このモジュールは類似の生成物を生成する他の反応を見つけます。クロスリンガルメモリリトリーバを使用して、適切に反応物と生成物を高次元のベクトル空間に配置することができます。研究者は、分子フィンガープリントを使用して、製品分子と最良のクロスアラインメントの可能性との間の共有サブストラクチャを分離します。これらのサブストラクチャは、反応レベルで反応物と生成物の間の断片間のマッピングを提供します。サブストラクチャのレベルでの相互シーケンスカップリング学習では、研究者は初期のトークンのシリーズを取り、それをサブストラクチャのシーケンスに変換します。サブストラクチャのSMILES文字列が新しい入力シーケンスの最初に位置し、仮想番号でラベル付けされた追加のフラグメントのSMILES文字列が続きます。仮想番号付きの断片が出力シーケンスです。結合形成やリンクする部位は、それに対応する仮想番号で示されます。他の試行評価された手法と比較して、この手法はほとんどの場所で同等またはより高いトップワンの精度を実現しています。サブストラクチャが正常に回収されたデータのサブセットでは、モデルのパフォーマンスが大幅に向上しています。米国特許商標庁のテストデータセットの商品の82％は、この手法を使用してサブストラクチャが正常に抽出されました。これは、その汎用性を証明しています。分子の文字列表現の長さと予測する必要のある原子の数を減らすために、サブストラクチャ内の仮想タグ付き粒子に関連する部分だけを生成する必要がありました。結論として、マイクロソフトの研究者は、逆合成予測において普遍的に保存されるサブストラクチャを導出する手段を考案しました。彼らは人間の助けなしで基礎となる構造を抽出することができます。現在の実装は、以前に公開されたモデルと比較して改善されています。また、基礎となるサブストラクチャの抽出手法を改善することで、モデルの逆合成予測の性能を向上させることが示されています。本研究は、逆合成予測および関連する研究における興味深く多様な領域について読者の好奇心を引くことを目指しています。

「トップのGPTとAIコンテンツ検出器」

GPTZero 教育者やAI生成文章の特定に興味のある他の人々は、GPTZeroというツールを使用することができます。 GPTZeroには、論文が機械生成されているかどうかを示す盗作スコアが含まれています。ツールはAI生成のテキストを個別に下線引きして表示するため、利用者の利便性に配慮しています。 GPTZeroのバッチアップロード機能により、ユーザーは複数のファイルを同時にアップロードすることができるため、教育者は一度に複数のクラスの作業を迅速に評価することができます。 APIにより、組織はGPTZero技術を既存のシステムに簡単に統合することができます。APIの実装は簡単であり、ビジネスはエンドポイントを個別の顧客に合わせるための統合支援を提供しています。 APIのドキュメントはオンラインで利用者が閲覧できます。 NYUやPurdueを含む多くの世界の大学で、GPTZeroはAI生成テキストの特定に効果的な手法であることがわかっています。 GPTZeroチームは教師向けの製品を向上させるために常に努力しており、K16 SolutionsやCanvasなどの企業と協力しています。 ZeroGPT.cc ZeroGPTは、高度なアルゴリズム、機械学習アルゴリズム、および自然言語処理手法を使用して、AI生成素材を正確に認識する無料のAIコンテンツ検出ツールです。 AI検出器は、人間とAIによって作成されたテキストを含む広範なデータセットでトレーニングされており、それぞれの執筆スタイルの特徴的なパターンと特徴を理解し認識することができます。ユーザーがテキストをボックスに入力すると、ZeroGPTは正確な分析を行い、人間が書いたテキストとAI / GPTが生成したテキストの割合を示す結果を返します。 ZeroGPTは迅速でほぼ瞬時の結果を提供し、信頼性のあるテキスト検出のためにさまざまな言語で動作します。この柔軟なソフトウェアは、GPT-4、GPT-3、GPT-2、LLaMA、Google Bardなど、これらのモデルに基づいて構築されたさまざまなAIサービスの結果を特定することができます。また、ZeroGPTはユーザーの情報を保持しません。したがって、個人情報は安全です。ライターや学生、教授、フリーランサー、コピーライターは、ZeroGPTを使用してAI生成素材を特定することで利益を得ることができます。 ZeroGPT Detector 無料のZeroGPT Detectorを使用すると、AIが作成した文章かどうかを判断することができます。機械学習と自然言語処理を使用して、コンテンツの一部が人間または人工知能によって作成されたかどうかを判断します。…

Google AIは、TPUを使用して流体の流れを計算するための新しいTensorFlowシミュレーションフレームワークを導入しました

流体力学では、数値技術とアルゴリズムを用いて流体の流れと熱伝達の挙動を調べ、解決する問題を計算流体力学（CFD）として知られています。これはさまざまな科学的および産業的な領域で使用されます。さまざまな学術的および産業的な領域で計算流体力学（CFD）が使用されています。エネルギーセクターでは、効率的な風力タービンや発電プラントの設計に、製造業では混合や化学プロセスに、環境科学では海洋学や天気予報に、土木工学では構造解析や洪水モデリングに、建築業界では省エネビルの設計に適用されます。また、航空宇宙および自動車工学においては、空力およびエンジン性能向上に応用されています。計算アルゴリズム、物理モデル構築、データ分析の卓越した進歩により、これらの機能が可能になりました。さらに、高性能コンピューティング（HPC）システムの利用可能性、速度、効率は、複雑な物理プロセスを考慮し、解像度を高めた高忠実度の流れシミュレーションを可能にしました。これらの現象をよりよく理解するために、乱流の研究は環境および工学の流体流れにおいて普遍的です。直接数値シミュレーション（DNS）は、近似や簡略化なしで不安定な三次元流れ場を正確に描写するために有用であり、これらの乱流流れを理解するのに役立ちます。魅力的ではありますが、このようなシミュレーションには、正確にさまざまな地理的スケールで流体流れのパターンを描写するための多くの処理能力が必要です。そこで、研究者たちはTPUで流体流れの計算を可能にするシミュレーション形式を開発しました。研究者たちは、TPUハードウェア設計とTensorFlowソフトウェアの最先端の進歩を活用して、このフレームワークを作り上げました。彼らは、このフレームワークが問題のサイズに適応する効率的なスケーラビリティを示し、ランタイムパフォーマンスを向上させることを強調しました。このフレームワークでは、グラフベースのTensorFlowをプログラミングパラダイムとして使用しています。このフレームワークの正確性とパフォーマンスは、TPUネイティブの単精度浮動小数点演算の影響に特に焦点を当てて、数値的および解析的に研究されています。アルゴリズムと実装は、典型的な2Dおよび3Dのテイラー・グリーン渦のシミュレーションで検証されています。 CFDソルバーの開発を通じて、理想化されたベンチマーク問題が頻繁に利用されてきましたが、その多くはこの研究に取り込まれています。乱流解析のための必要なベンチマークの1つは、均質等方性乱流です（統計的な性質、例えば運動エネルギーなどが座標軸の平行移動や回転に対して不変であるという特徴のある流れ）。研究者たちは、80億のポイントを持つ高解像度のグリッドを適用しました。研究者たちは、乱流流れのシミュレーション能力を調査しました。これを達成するために、2つの特定の構成についてシミュレーションを実施しました：減衰する均質等方性乱流および乱れた平面ジェット。研究者たちは、両方のシミュレーションがベンチマークの解答と強力な統計的合意を示すことを発見しました。研究者たちはまた、2Dおよび3Dのテイラー・グリーン渦流、減衰する均質等方性乱流、乱れた平面ジェットを含む4つの異なるテストシナリオを使用しました。シミュレーション結果は、丸め誤差が解に影響を与えないことを示し、2次精度のレベルであることを示しました。

このAI研究は、DISC-MedLLMという包括的な解決策を提案し、大規模言語モデル（LLM）を活用して正確な医療応答を提供します

テレメディシンの台頭により、医療の提供方法が変わり、プロフェッショナルネットワークを広げ、価格を下げ、遠隔医療相談を可能にしました。さらに、知的医療システムにより、医療情報抽出、薬物推奨、自動診断、健康問い合わせなどの機能が追加され、オンライン医療サービスが改善されました。知的医療システムの構築には進歩がありましたが、これまでの研究は特定の問題や疾患に焦点を当てたものであり、実験的な開発と実世界での使用との間にはギャップがあります。このギャップを埋めるためには、さまざまな医療シナリオに対する完全なソリューションと、消費者向けの最高水準のエンドツーエンドの会話型医療サービスが必要です。最近の大規模言語モデルは、人間と意味のある対話を行い、指示に従う驚異的な能力を示しています。これらの進展は、医療相談のシステム開発の新たな可能性を創出しました。ただし、医療相談に関わる状況は通常複雑であり、一般領域のLLMの範囲外です。図1は実世界の医療相談のイラストです。この図は2つの特性を示しています。まず、各段階で会話を理解し、適切に応答するために、詳細で信頼性のある医学知識が必要です。一般領域のLLMは、特定のケースに関連しない出力を提供し、重大な幻想の懸念が生じます。次に、医療相談には通常、患者の健康状態に関する詳細な知識を得るために何度かの対話が必要であり、各対話ラウンドには目標があります。しかし、広範な領域のLLMは、ユーザーの健康状態の詳細に関する限定的なマルチターンのクエリング能力を持ち、シングルターンのエージェントです。これらの2つの発見に基づいて、Fudan University、Northwestern Polytechnical University、University of Torontoの研究者らは、医療LLMが徹底的で信頼性のある医学知識をエンコードし、実世界の医療会話の分布に準拠するべきだと主張しています。彼らはInstruction Tuningの成功に触発され、医療LLMのトレーニングのための高品質な監督付きファインチューニングデータセットの作成方法を調査し、医学の知識と相談行動のパターンを含めることを検討しています。実際の実践では、彼らは3つの異なる方法を使用してサンプルを作成します：・医学知識グラフに基づくサンプルの開発。実世界の相談データセットから収集した患者のクエリ分布に従って、部門指向のアプローチを使用して医学知識ネットワークから知識トリプルを選択します。各トリプルに対してGPT-3.5を使用してQAのペアをfew-shot作成します。その結果、50,000のサンプルが得られます。・実世界の対話の再構築。LLMの改善のために、医療フォーラムから収集した相談記録は適切な情報源です。これらの文書で使用される言語はカジュアルであり、専門用語は一貫して提示されず、さまざまな医療従事者によって異なる表現スタイルが使われます。そのため、実際のケースを使用してGPT-3.5を使用してディスカッションを再作成します。その結果、420,000のサンプルが得られます。・サンプルの収集後、人間の嗜好。さまざまな相談セッティングを網羅する実世界の医療対話記録から、限られたエントリのグループを手動で選択し、特定の例を人間の意図に合わせて書き直します。また、人間によるガイド付き再構築後の各ディスカッションの全体的な品質を保証します。その結果、2,000のサンプルが得られます。DISC-MedLLMは、13Bのパラメータを持つ一般領域の中国語LLMの上に新たに作成されたSFTデータセットを使用して、2段階のトレーニングプロセスでトレーニングされます。モデルのパフォーマンスを2つの観点から評価し、マルチターンのディスカッションでの体系的な相談能力とシングルターンの対話での正確な応答能力を確認します。図1: 患者と実際の医師との会話の一例。医師の応答で言及される医療エンティティは青色でハイライトされています。各ラウンドでは、医師のアクションには特定の意図が示されます：（1）ラウンド1では、潜在的なシナリオを特定するのに役立つデータを収集するためにさらなる調査が行われます。（2）ラウンド2では、予備的な診断が行われ、適切なアドバイスが提供されます。（3）ラウンド3では、医療状態に応じて特定の治療選択肢が提示されます。彼らは、3つの公開医療データセットから収集された複数選択問題のベンチマークを作成し、このベンチマークを使用してモデルの正確性を単一ターンの評価について評価します。マルチターンのレビューのために、まずGPT-3.5を使用して優れたコンサルテーションケースの小さなコレクションを作成し、患者をシミュレートしてモデルと対話します。GPT-4を使用して、モデルの積極性、正確性、助けになる度、および言語的品質を評価します。実験結果は、DISCMedLLMがGPT-3.5に劣るものの、同じパラメータを持つ医療大規模HuatuoGPTよりも平均10％以上優れていることを示しています。さらに、DISC-MedLLMは、GPT-3.5、HuatuoGPT、BianQueなどのベースラインモデルよりも、シミュレートされた医療相談設定全体で優れたパフォーマンスを発揮します。特に医療部門と患者の意図が関わるケースでは、DISC-MedLLMは他の中国の医療LLMに比べて優れた結果を出します。

「ロボットがより良い判断をするにはどうすればよいのか？MITとStanfordの研究者が、高度なロボットの推論と計画のためのDiffusion-CCSPを紹介」

複雑な幾何学的および物理的制約（安定性や衝突の不足など）を満たすグラスプやオブジェクトの配置などの連続値を選択する能力は、ロボットの操作計画において重要です。従来の手法では、各種制約のサンプラーはそれぞれ個別に学習または最適化されてきましたが、複雑な問題に対しては、同時にさまざまな制約を満たす値を生成するための汎用ソルバーが必要です。データの希少性により、すべての潜在的な要件を満たすために単一のモデルを構築またはトレーニングすることは困難です。そのため、汎用のロボットプランナーは、より大規模なジョブに対してソルバーを再利用して構築できる必要があります。最近のMITおよびスタンフォード大学の研究では、制約グラフを使用して制約充足問題を学習された制約タイプの新しい組み合わせとして表現する統一フレームワークが提案されています。そして、拡散モデルに基づく制約ソルバーを使用して、制約を共同で満たす解を特定することができます。決定変数の例としては、掴む姿勢がありますが、配置ポーズやロボットの軌道も制約グラフのノードの例です。新しい問題を解決するために、組成的拡散制約ソルバー（Diffusion-CCSP）は、異なる制約に対して拡散モデルのセットを学習します。次に、拡散プロセスを介して実行可能領域からさまざまなサンプルを生成することで、満足のいく割り当てを見つけるためにチューターを組み合わせます。具体的には、すべての拡散モデルは、個々の制約（たとえば、衝突を回避する位置）のための有効なソリューションを生成するようにトレーニングされます。推論時には、研究者は変数の任意の部分集合に依存して残りを解決することができます。拡散モデルは解のセットの生成モデルであるためです。各拡散モデルは、暗黙のエネルギー関数を最小化するようにトレーニングされており、グローバル制約の満足は、解のエネルギーの合計（個々の解のエネルギー関数の合計）の最小化と同等です。これらの2つの追加機能は、トレーニングおよび推論のカスタマイズに大きな余地を与えます。別々または共同で、組成的な問題と解のペアは、成分拡散モデルのトレーニングに使用することができます。制約グラフにはトレーニング中に見られたより多くの変数が含まれていても、Diffusion-CCSPはパフォーマンス時間に既知の制約の新しい組み合わせに一般化することができます。研究者は、Diffusion-CCSPを2次元の三角形の密なパッキング、定性的制約に従う2次元の形状配置、安定性制約に従う3次元の形状スタッキング、およびロボットを使用した3次元のアイテムパッキングなど、4つの困難なドメインでテストしました。その結果、この手法は推論速度と新しい制約の組み合わせへの一般化においてベースラインを上回ることが示されました。チームは、この研究で調査したすべての制約が固定のアリティを持っていることを強調しています。制約と変数のアリティを考慮することは興味深いアプローチです。また、モデルが自然言語の指示を受け取ることができると有益であると考えています。さらに、タスクのラベルとソリューションを作成する現在の方法は制約があるため、特に「ダイニングテーブルを設定する」といった定性的な制限を扱う場合に制約があります。彼らは将来の発展で、より複雑な形状エンコーダと、オンラインの写真などの現実世界のデータから派生した制約を学習することで、現在と将来のアプリケーションの範囲を拡大することを提案しています。

アデプトAIラボは、Persimmon-8Bという強力なフルパーミッシブライセンスの言語モデルをオープンソース化しました

近年、人工知能の分野では、特に言語モデルの開発において著しい進歩が見られています。Marktechpost Mediaでは、様々なパラメータやSOTAの性能に基づく多くの言語モデルを取り上げてきました。このトレンドに続いて、今回はAdept AI LabsからPersimmon-8Bがリリースされました。Persimmon-8Bは8Bクラスのオープンソースで、完全に許容されるライセンスモデルです。このモデルは、さまざまなコンピュータ関連のタスクでユーザーをサポートすることを目的としており、広範なアプリケーションにおいて非常に大きな潜在能力を秘めています。ただし、生の形で使用すると、モデルが潜在的な有害性を持つ出力を生成する可能性があることに注意する必要があります。これは、より洗練された評価技術の必要性について重要な懸念を提起します。より小さな言語モデルが印象的な能力を示してきましたが、Persimmon-8Bは大きな飛躍を遂げています。LLaMA2のコンテキストサイズの4倍、GPT-3などのモデルの8倍のコンテキストサイズを誇り、より洗練されたコンテキストに関連するタスクに対処できるようになっています。さらに、その性能は、データ量がはるかに少ないにも関わらず、同じサイズ範囲内の他のモデルと同等、もしくはそれ以上のパフォーマンスを発揮します。これは、モデルのトレーニングプロセスの効率性と効果を示しています。 Persimmon-8Bの能力を評価するために、Adeptチームは独自のアプローチを採用しています。暗黙の確率だけに頼るのではなく、モデルに回答を生成させるというより直接的なインタラクションによって評価を行っています。この方法論は、ユーザーが質問を投げかけて回答を予測する現実の言語モデルとの相互作用を反映しています。Adeptはプロンプトを公開することで、コミュニティによる再現と検証を招待しています。その結果、Persimmon-8Bの能力は明白です。LLama 2やMPT 7B Instructなどの同じサイズ範囲の他のモデルと比較して、Persimmon-8B-FTはさまざまな指標において最も優れたパフォーマンスを発揮します。ベースモデルであるPersimmon-8B-Baseですら、データの一部しか使用していないにも関わらず、LLama 2と比較してほぼ同等のパフォーマンスを示します。これは、モデルが多様なタスクを処理する際の効率性と効果を強調しています。技術的な詳細については、Persimmon-8Bはデコーダーのみのトランスフォーマーであり、いくつかのアーキテクチャの改良を備えています。通常の代替手段を上回る、二乗ReLU活性化と回転位置符号化を活用しています。モデルのチェックポイントは約93億のパラメータを含み、効率的なトレーニングが最適化されています。特に、入力と出力の埋め込みの分離は、トレーニングプロセスを効率化するシステムレベルの改良となっています。推論速度に関しては、Persimmon-8Bは印象的なパフォーマンスを発揮します。最適化されたコードを使用することで、単一の80GB A100 GPU上で約56トークン/秒の生成が可能です。これにより、リアルタイムアプリケーションにおいて非常に効率的なツールとなります。まとめると、Persimmon-8Bのリリースは言語モデルの分野における重要なマイルストーンです。その能力とAdeptが採用した革新的な評価手法は、対話型AIアプリケーションの新たな時代を切り開いています。このモデルをオープンソース化することで、Adeptはコミュニティに対してその基盤を築き、このダイナミックな分野におけるさらなるイノベーションを推進することを招待しています。モデルの採用が広がるにつれて、人々がコンピュータシステムとの対話を革新するさまざまなドメインで応用される可能性が高まるでしょう。

「Falcon 180Bをご紹介します：1800億のパラメータを持つ、公開されている最大の言語モデル」

強力かつ多目的な言語モデルへの需要は、自然言語処理と人工知能においてますます迫り来るものとなっています。これらのモデルは、チャットボットや仮想アシスタントから機械翻訳や感情分析まで、多数のアプリケーションの基盤となっています。しかし、さまざまな言語のタスクで優れたパフォーマンスを発揮できる言語モデルを構築することは、依然として複雑な課題です。最近のブレークスルーは、この中心的な問題に対処することを目指しています。先進的な言語モデルの開発を追求するなかで、研究者はしばしばモデルのサイズ、トレーニングデータ、多目的性に関連する制約に直面してきました。これらの制約により、異なるモデルが特定のタスクで優れている一方で、真にワンサイズフィットオールの解決策と言えるのは一部のモデルに限られています。テクノロジーイノベーション研究所（TII）の研究者は、画期的な言語モデル「Falcon 180B」を紹介しました。Falcon 180Bは、1800億のパラメータを誇る言語モデルの飛躍的な進化を体現しています。しかし、これまでのモデルや競合他社との差別化要因は、そのサイズと多目的性、そして利用のしやすさにあります。Falcon 180Bは最初の大規模な言語モデルではありませんが、オープンアクセスの性質が特徴です。多くのクローズドソースモデルがプロプライエタリなままであるのに対し、Falcon 180Bは研究や商業利用のために利用可能に設計されています。このオープンアクセスへのシフトは、透明性と協力がますます重要視されるAIコミュニティ全体のトレンドと一致しています。 Falcon 180Bの素晴らしい機能は、驚異的な3.5兆のトークンを含む多様なデータセットでのトレーニングによってもたらされています。この膨大なテキストコーパスにより、モデルは言語と文脈の理解において他に類を見ない能力を持ち、幅広い自然言語処理タスクで優れたパフォーマンスを発揮することができます。このモデルの主な強みの一つは、推論、コーディング、熟練度評価、知識テストなど、多様な言語タスクを処理できる能力です。この多目的性は、ウェブデータ、会話、技術論文、さらにはコードの一部まで含まれる豊富で多様なデータセットに対するトレーニングによるものです。Falcon 180Bは、MetaのLLaMA 2などのクローズドソースの競合モデルに引けを取らないパフォーマンスを発揮します。 Falcon 180Bの重要性を示すものとして、Hugging Face Leaderboardでのランキングが挙げられます。現在、Falcon 180Bは競争力のあるスコア68.74を保持しており、このリーダーボードのランキングは、多くの言語関連の課題に対応できるトップクラスの言語モデルであることを確固たるものにしています。まとめると、TIIのFalcon 180Bは自然言語処理の分野において大きな進歩を表しています。そのサイズ、トレーニングデータ、オープンアクセスの可用性により、研究者や開発者にとって強力かつ多目的なツールとなっています。Falcon 180Bをオープンアクセスに提供するという決定は、透明性と協力の重要性が増しているAIコミュニティとの一致点として特筆されます。 Falcon 180Bの導入による影響は広範囲に及びます。1800億のパラメータを持つオープンアクセスモデルを提供することで、TIIは研究者や開発者が自然言語処理の新たな領域を探求する力を与えます。クローズドソースの対抗モデルと比較して、このモデルの競争力のあるパフォーマンスは、医療、金融、教育などさまざまな分野でのイノベーションの可能性を広げるものです。さらに、Falcon 180Bの成功は、AIにおけるオープンソースイニシアチブの価値を示しています。研究者が協力とアクセス可能性を優先すると、AIのブレークスルーはより広範な観衆にとってアクセス可能になります。AIコミュニティが透明性、協力、AIの能力の向上に取り組む原則をますます受け入れていく中で、Falcon…

ニューラル輝度場の不確実性をどのように測定できますか？BayesRaysを紹介します：NeRFの革命的な事後フレームワーク

3Dモデルの作成は、2D画像よりも没入感とリアルな表現を提供します。これにより、視点を変えてシーンを探索し、対話することができ、空間のレイアウトや情報の奥行きをより良く理解することができます。これらは仮想現実（VR）および拡張現実（AR）アプリケーションにとって基本です。これらは、デジタル情報を現実世界にオーバーレイする（AR）または完全に仮想環境を作成する（VR）ことができ、ゲーム、教育、トレーニング、さまざまな産業でユーザーエクスペリエンスを向上させます。 Neural Radiance Fields（NeRFs）は、3Dシーンの再構築とレンダリングのためのコンピュータビジョン技術です。NeRFはシーンを3Dボリュームとして扱い、ボリューム内の各点に対応する色（放射）と密度があります。ニューラルネットワークは、異なる視点から取られた2D画像に基づいて、各点の色と密度を予測することを学習します。 NeRFsには、視点合成や深度推定など、複数の応用がありますが、マルチビュー画像からの学習には不確実性があります。これらを定量化するための現行の方法は、ヒューリスティックまたは計算コストが高いものです。Google DeepMind、Adobe Research、およびトロント大学の研究者は、BayesRaysという新しい技術を紹介しました。これは、トレーニングプロセスを変更せずに、事前学習された任意のNeRFの不確実性を評価するためのフレームワークです。空間的な摂動とベイジアン・ラプラス近似を使用して体積的な不確実性フィールドを追加することで、NeRFsの制約を克服することができました。ベイジアン・ラプラス近似は、複雑な確率分布をより単純な多変量ガウス分布で近似するための数学的な手法です。彼らが計算した不確実性は統計的に有意であり、追加のカラーチャンネルとしてレンダリングすることができます。彼らの方法はまた、再構築された深度エラーとの相関などの主要な指標で以前の研究を上回っています。彼らは、アーキテクチャに関係なく、事前に学習されたNeRFの不確実性を定量化するためのプラグアンドプレイの確率的なアプローチを使用しています。彼らの研究は、リアルタイムで事前に学習されたNeRFからアーティファクトを除去するための閾値を提供します。彼らは、3Dシーンのモデリングに体積フィールドを使用するという彼らの方法についての直感があると述べています。体積変形フィールドは、暗黙的に表現されたオブジェクトを操作するためによく使用されます。彼らの研究はまた、フォトグラメトリーに似ており、再構築の不確実性はしばしば空間位置にガウス分布を配置することによってモデル化されます。最後に、彼らは彼らのアルゴリズムがNeRFの不確実性を定量化することに限定され、他のフレームワークに簡単に翻訳することはできないと述べています。ただし、彼らの将来の研究では、3Dガウススプラッティングなどの新しい空間表現に対しても形状変形ベースのラプラス近似を用いることが予定されています。

医療における臨床家と言語モデルのギャップを埋めるために：電子医療記録の指示に従うための臨床家によって作成されたデータセット、MedAlignに会いましょう

Large Language Models（LLMs）は自然言語処理の能力を大いに活用しています。言語生成や推論から読解まで、LLMsは何でもこなすことができます。これらのモデルが医師の仕事を助ける可能性は、医療を含むさまざまな分野で注目されています。最近のMed-PaLMやGPT-4を含むLLMsは、特に医療データベースや試験に関連する医学の質問応答を含むタスクでその能力を証明しています。常に制御されたベンチマークでのLLMsの優れたパフォーマンスが実際の臨床状況にどのように反映されるかを判断することは困難でした。医療従事者は、医療業界でさまざまな情報関連の業務を行い、これらの仕事では電子健康記録（EHR）からの複雑な非構造化データが頻繁に必要です。医療従事者が取り組む複雑さと細密さは、現在利用可能なEHRデータの質問応答データセットでは十分に表現されていません。医師がLLMsを頼りにする際、そのようなモデルが正確で文脈を理解した回答を提供できるかどうかを評価するために必要なニュアンスが欠けています。これらの制限を克服するために、研究者チームはMedAlignというベンチマークデータセットを開発しました。これは7つの異なる医学専門分野に特化した15人の臨床医が提出した合計983の質問と指示からなります。MedAlignは、単に質問と回答のペアではなく、EHRを基にした指示と回答のペアに焦点を当てており、他のデータセットとは異なる特徴を持っています。チームはこれらの指示のうち303について臨床医が作成した参照回答を含め、それらをEHRデータと関連付けて提示のための文脈と基盤を提供しました。各臨床医は、これらの303の指示に対して6つの異なるLLMsが生成した回答を評価し、ランク付けしてデータセットの信頼性と品質を確認しました。臨床医自身によるゴールドスタンダードのソリューションも提供されています。臨床医の提供した指示、LLMが生成した回答の専門家による評価、および関連するEHRの文脈を含むデータセットを編成することで、MedAlignは先駆的な取り組みを達成しました。このデータセットは、LLMsが臨床状況でどれだけうまく機能するかを評価するための有用なツールを提供します。 2つ目の貢献では、関連する患者の電子健康記録を臨床指示と一致させるための自動化された検索ベースの手法の実現可能性を検討しています。これを実現するために、チームはより効果的かつスケーラブルな臨床指示の収集方法を作成しました。この指示を求める方法を分離することで、より多様な臨床医からの提出を求めることができます。彼らはまた、自動化された方法がどのようにして指示を関連するEHRと一致させるかを評価しました。その結果、この自動マッチング手法は、ランダムな指示とEHRのペアリングと比較して、74%の状況で関連性のあるペアリングを提供することが成功したことが明らかになりました。この結果は、自動化によって臨床データの関連性と正確性を高める機会を示しています。最後の貢献では、自動化された自然言語生成（NLG）パラメータと医師によるLLM生成回答の評価との関係を調査しています。この調査は、専門医の評価に代わってスケーラブルな自動化された指標を使用してLLMの回答をランク付けできるかどうかを判断することを目的としています。人間の専門家のランクと自動化された基準の一致度を測定することで、将来の研究において医師がLLMの回答を手動で識別し評価する必要性を軽減することを目指しています。この取り組みにより、医療応用のためのLLMの作成と改善が効率化され、人的リソースに依存しないレビュープロセスが実現する可能性が高まるでしょう。

マイクロソフトの研究者たちは、人間のフィードバックを用いた強化学習のためのメモリ効率の高い解決策であるHydra-RLHFを紹介しました

知名度が高まった以来、ChatGPT、GPT-4、Llama-2ファミリーモデルは、さまざまな仕事の有用な助手としての汎用性により、ユーザーを魅了してきました。RLHFを使用したモデルの整列と、他の多くの基盤モデルは、その効果の一因です。巨大な言語モデルをトレーニングすると、多くの知識を持つネットワークが作成されます。ただし、ネットワークがその情報を区別するように教えられていないため、望ましくない行動を示す場合があり、社会的な害を引き起こすことさえあります。モデルの振る舞いを変えることにより、整列はこの問題に対処し、安全で管理可能な基盤モデルの開発において重要な要素となっています。 RLHFはモデルの整列を向上させますが、PPO中に多数のモデルを読み込みおよびトレーニングする際の高い複雑さと大きなメモリ要件により、使用は制限されています。この適用はまだ初期段階であるため、RLHFの速度とパフォーマンスの変動を評価することが重要です。彼らはこの目標を達成するために、一般的なRLHFPPOのトレーニング手順とモデルアーキテクチャを調査しました。彼らの調査では、参照/報酬モデルとアクター/クリティックモデル間でのモデル共有によるメモリ/計算コストの削減の可能性が明らかになりました。 Microsoftの研究者は、これらの結果に基づいて、PPO中に学習されたモデルと静的モデルの保存量を最小化するHydra-PPOを提案しています。これにより、これらのメモリの節約は、ランタイムとパフォーマンスの比較によれば、PPOのパーサンプルのレイテンシを最大で65％減少させるために使用できます。彼らはHydra-RLHFと呼ばれる一連のRLHFの改良を提案しています。彼らは、2つの線形ヘッドを持つデコーダベースのモデルであるHydraを作成します： 1）シーケンスの後に来るトークンを予測する因果関係ヘッド 2）同じ入力に関連する即時報酬を提供する報酬モデルヘッドマルチヘッドモデルは、一般的に研究が進められ、強化学習においても詳細に研究されています。彼らは、GPT-4によって測定されるいくつかのモデル整列手法の効果を評価する比較研究を実施しました。彼らは、LoRA-PPOがFFTよりも優れた整列を持つが、より高価であることを発見しました。彼らは、メモリ使用量を削減しながら速度を維持するための方法として、参照モデルと報酬モデルを組み合わせ、PPO中に現在のLoRAモジュールを動的に切り替えるHydra-RLHFを紹介しています。Hydra-RLHFにより、追加のRAMを使用してより大きなバッチサイズでトレーニングすることで、パーサンプルのレイテンシを最大で65％高速化することができます。Hydra-RLHFのおかげで、コミュニティはより広範なモデルとアプリケーションにRLHFを使用することができるようになりました。

Find the right Blockchain Investment for you

Web 3.0 is coming, whether buy Coins, NFTs or just Coding, everyone can participate.

Advertising with us