Search Results Hydra

マイクロソフトの研究者たちは、人間のフィードバックを用いた強化学習のためのメモリ効率の高い解決策であるHydra-RLHFを紹介しました

知名度が高まった以来、ChatGPT、GPT-4、Llama-2ファミリーモデルは、さまざまな仕事の有用な助手としての汎用性により、ユーザーを魅了してきました。RLHFを使用したモデルの整列と、他の多くの基盤モデルは、その効果の一因です。巨大な言語モデルをトレーニングすると、多くの知識を持つネットワークが作成されます。ただし、ネットワークがその情報を区別するように教えられていないため、望ましくない行動を示す場合があり、社会的な害を引き起こすことさえあります。モデルの振る舞いを変えることにより、整列はこの問題に対処し、安全で管理可能な基盤モデルの開発において重要な要素となっています。 RLHFはモデルの整列を向上させますが、PPO中に多数のモデルを読み込みおよびトレーニングする際の高い複雑さと大きなメモリ要件により、使用は制限されています。この適用はまだ初期段階であるため、RLHFの速度とパフォーマンスの変動を評価することが重要です。彼らはこの目標を達成するために、一般的なRLHFPPOのトレーニング手順とモデルアーキテクチャを調査しました。彼らの調査では、参照/報酬モデルとアクター/クリティックモデル間でのモデル共有によるメモリ/計算コストの削減の可能性が明らかになりました。 Microsoftの研究者は、これらの結果に基づいて、PPO中に学習されたモデルと静的モデルの保存量を最小化するHydra-PPOを提案しています。これにより、これらのメモリの節約は、ランタイムとパフォーマンスの比較によれば、PPOのパーサンプルのレイテンシを最大で65％減少させるために使用できます。彼らはHydra-RLHFと呼ばれる一連のRLHFの改良を提案しています。彼らは、2つの線形ヘッドを持つデコーダベースのモデルであるHydraを作成します： 1）シーケンスの後に来るトークンを予測する因果関係ヘッド 2）同じ入力に関連する即時報酬を提供する報酬モデルヘッドマルチヘッドモデルは、一般的に研究が進められ、強化学習においても詳細に研究されています。彼らは、GPT-4によって測定されるいくつかのモデル整列手法の効果を評価する比較研究を実施しました。彼らは、LoRA-PPOがFFTよりも優れた整列を持つが、より高価であることを発見しました。彼らは、メモリ使用量を削減しながら速度を維持するための方法として、参照モデルと報酬モデルを組み合わせ、PPO中に現在のLoRAモジュールを動的に切り替えるHydra-RLHFを紹介しています。Hydra-RLHFにより、追加のRAMを使用してより大きなバッチサイズでトレーニングすることで、パーサンプルのレイテンシを最大で65％高速化することができます。Hydra-RLHFのおかげで、コミュニティはより広範なモデルとアプリケーションにRLHFを使用することができるようになりました。

「偉大なる遺伝子データの漏洩：知っておくべきこと」

A class action lawsuit has been launched against a genetic testing company for the protection of personal genetic data that was unfortunately stolen.

「23andMeにおける複数の個人情報漏洩」

「盗まれた遺伝子データがテスト会社に対する集団訴訟につながる」

「二つの頭を持つ分類器の使用例」

実際のコンピュータビジョンタスクの実例について話しましょう初めて見ると、分類問題は非常に単純ですが、それは一部当てはまると言えますしかし、現実世界ではしばしば何かしらの…

Amazon SageMakerのマルチモデルエンドポイントを使用して、TorchServeを使ってGPU上で複数の生成AIモデルを実行し、推論コストを最大75%節約できます

最近、生成AIアプリケーションは広範な注目と想像力を引きつけています顧客はGPU上で生成AIモデルを展開したいと思っていますが、同時にコストにも気を使っていますSageMaker MMEはGPUインスタンスをサポートしており、このようなタイプのアプリケーションには最適なオプションです本日は、TorchServeがSageMaker MMEをサポートすることをお知らせしますこの新しいモデルサーバーサポートにより、TorchServeの顧客が最も馴染みのあるサービングスタックを使用しながら、MMEのすべての利点を活用することができますこの記事では、Stable DiffusionやSegment Anything Modelなどの生成AIモデルをTorchServeを使用してSageMaker MME上でホストし、アーティストやコンテンツクリエーターが作品をより速く開発し、イテレーションするための言語による編集ソリューションの構築方法を示します