Search Results ML

ETHチューリッヒとマイクロソフトの研究者が、大規模な言語モデルの推論を強化するための人工知能フレームワーク「SCREWS」を紹介しました

大型言語モデル（LLM）は、さまざまな推論タスクで成功しています。意図した目的が達成されることを保証するために、LLMの結果を反復的に調整する必要がある場合があります。なぜなら、出力は最初の試行でのみ正確な場合があるからです。これらの改善技術は、連続する結果（同一のモデル、外部モデル、またはツールからの結果）がパフォーマンスを向上させることを前提としています。しかし、後のバージョンが常に改善される保証はありません。図1に示すように、改善は誤った結果を引き起こす場合もあります。これにより、モデルは選択の技術を使用して以前の結果を選択するように促されます。さらに、以前のイテレーションの改良に関する先行研究では、単一の固定推論技術が頻繁に使用されています。しかし、人間はより適応性があります。図1: 条件付き再サンプリング（または「改善」）が初期応答の適切な変更をもたらす場合があることを示す事例研究の例。変更に代わり、この場合は正しいものである初期応答が選択モジュールによって選ばれるかもしれません。製品マネージャーは、優先順位付けテクニックに切り替える前に、優先順位付けテクニックでアイデアを複数生成するためのブレインストーミング技術を使用することがあります。同様に、試験の準備をする学生は、誘導的な推論を使用して結果を確認するために、帰納的な推論を使用することがあります。したがって、私たちは様々な戦術を試すために改善に対するモジュラーな戦略を提案しています。この論文では、ETH ZurichとMicrosoft Semantic Machinesの研究者が、変更に関する推論のためのモジュラーフレームワークであるSCREWSを紹介しています。サンプリング、条件付き再サンプリング、および選択は、フィギュア2で詳細に紹介されるアーキテクチャの3つのコアコンポーネントです。彼らはそれぞれのモジュールのサブモジュールを固定してSCREWSを実行します（例えば、サンプリングモジュールに「考えの連鎖」を選ぶことができます）。これは特定のタスクと入力シーケンスに対して行われます。図2は、変更に関する推論のためのモジュラースクリューフレームワークの上位レベルの概要を示しています。3つの大きなボックス（または「モジュール」）は、いくつかの選択肢（または「サブモジュール」）を含んでいます。セルフリファイン、リーストトゥモスト、LLMsノウ（主に）、セルフコンシステンシー、セルフインプルーブ、PHP CoT、セルフコレクト、Socratic CoT、プログラムオブ思考など、多くの以前の試みがフレームワークの例として見られます。(…)は、各モジュールに追加される可能性のある追加のサブコンポーネントを示しており、これには、サンプリングモジュールのキャッシュされたメモリやオンライン検索、条件付き再サンプリングに対する微調整モデルや外部検証者、選択モジュールに対する人間またはオラクルに基づく選択などが含まれます。サンプリングの最初の出力は、条件付き再サンプリングに渡され、元のサンプルに基づいて変更を作成するかどうかを判断し、必要に応じて変更を作成します。選択モジュールは、すべてのサンプルと変更から最良のものを選択します。彼らのフレームワークのモジュラーデザインを考慮すると、追加のフレームワーク要素を使用することで、いくつかの新しく提案された自己改良手法を強化することができます。彼らのモデルベースの選択技術と自己改良手法を組み合わせることで、全体的なパフォーマンスを向上させることができます。彼らはChatGPTまたはGPT-4を使用して、マルチホップ質問応答、算術的推論、コードデバッグなどのさまざまな推論タスクでSCREWSを評価しています。標準のサンプルと再サンプリング手順と比較して、彼らの提案された解決策は大幅な改善（10-15%）をもたらします。彼らは異種の再サンプリングの価値を示し、それがモデルの論理にどのように影響を与え、非常に低い総コストでベースラインを大幅に改善することができることを示しています。彼らはまた、モデルベースの選択アプローチの重要性を説明し、それは現代のLLMにおいてモデルが以前のより確かな出力に戻ることを可能にする重要な要素です。

「ウェブパブリッシャーコントロールの最新情報」

「私たちはGoogle-Extendedを発表しますこれは、ウェブパブリッシャーが自分たちのサイトがBardとVertex AIの生成APIを改善するのを管理するために使用できる新しい制御ですこれには、これらの製品を機能させるモデルの将来の世代も含まれます」

AI

「頻度をより頻繁に使用する」

周波数領域解析、音声処理、振動解析、音声フィルタリング、ユーザーの感情分析、時系列データ拡張を、すべて Python で高速フーリエ変換を使用して行います主に機械学習やAIモデルに取り組むエンジニアやデータサイエンティスト向けです時間系列、健康、コンピュータビジョン、自然言語処理向けです

多次元の探索が可能です！

多次元の世界を探求することは、SF小説や映画でよく見られるテーマですこのような世界を旅することはまだファンタジーですが、数学は私たちがさえこのような非現実的なアイデアにアプローチするのに役立つのです

投影ヘッドを使用した自己監督学習

この投稿では、自己教師あり学習について学び、それがモデルの性能向上にどのように活用されるか、および射影ヘッドが自己教師あり学習プロセスにおける役割を果たす方法について説明します以下をカバーします...

埋め込みの類似検索：データ分析の画期的な変革

オラクルは、意味に基づいて文書を取り込み、保存し、取り出すための生成的AI機能を、クラウドデータ分析サービスに追加しました

アクセンチュアは、AWS上でジェネレーティブAIサービスを使用して、ナレッジアシストソリューションを作成しました

この投稿はアクセンチュアのイラン・ゲラーとシュウユ・ヤンと共同で執筆されました現在、企業は内部および外部のビジネス活動において情報と知識ベースを使用する際に重大な課題に直面しています絶えず進化する運用、プロセス、ポリシー、およびコンプライアンス要件により、従業員や顧客が最新情報に追いつくことは非常に困難になることがあります

「DEHBを使用したXGBoostとPythonを使った機械学習モデルの最適化：包括的なガイド」

この記事では、分散進化ハイパーパラメータ調整（DEHB）とそのPythonを用いた人気のあるXGBoost機械学習アルゴリズムへの適用について探求します

「プラネットデータとAmazon SageMakerの地理空間能力を活用して、クロップセグメンテーションの機械学習モデルを構築する」

この分析では、K最近傍法（KNN）モデルを使用して、作物セグメンテーションを実施し、農業地域における地上の真相画像とこれらの結果を比較します私たちの結果は、KNNモデルによる分類が、2015年の地上の真相分類データよりも2017年の現在の作物畑の状態をより正確に表していることを示していますこれらの結果は、Planetの高頻度の地球規模の画像の力を示しています農業畑は頻繁に変化し、シーズンによっては複数回変化することがありますが、この土地を観察し分析するために高頻度の衛星画像が利用可能であることは、農業地や急速に変化する環境の理解にとって非常に価値のあるものとなります

「メタのCode Llamaコード生成モデルは、Amazon SageMaker JumpStartを介して利用可能になりました」

今日は、Metaが開発したCode Llama foundationモデルが、Amazon SageMaker JumpStartを通じて顧客に提供され、クリックひとつで推論を実行するためにデプロイできることをお知らせすることを喜んでいますCode Llamaは、コードと自然言語のプロンプトの両方からコードとコードに関する自然言語を生成することができる最新の大規模言語モデル（LLM）ですCode[…]

Learn more about Search Results ML - Page 236