Search Results OPT

「NVIDIA Grace Hopperスーパーチップは、グローバルの研究施設、システムメーカー、クラウドプロバイダーで40以上のAIスーパーコンピュータを駆動しています」

数十台の新しいスーパーコンピュータが、NVIDIAの画期的なGH200 Grace Hopper Superchipによって、巨大なスケールのAIとハイパフォーマンスコンピューティングを実現するために、まもなくオンラインに入る予定です。 NVIDIA GH200は、テラバイト単位のデータを実行する複雑なAIおよびHPCアプリケーションの高速化により、科学者や研究者が世界でもっとも困難な問題に取り組めるようにします。 NVIDIAは、SC23スーパーコンピュータショーで、Dell Technologies、Eviden、Hewlett Packard Enterprise（HPE）、Lenovo、QCT、Supermicroなど、さまざまなシステムへの導入を発表しました。 ArmベースのNVIDIA Grace CPUとHopper GPUアーキテクチャを組み合わせ、NVIDIA NVLink-C2Cインターコネクト技術を使用するGH200は、世界中の科学スーパーコンピューティングセンターのエンジンとしても機能します。これらのGH200を搭載したセンターは、合わせて約200 エクサフロップのAI性能を持ち、科学的なイノベーションを推進します。 HPE CrayスーパーコンピュータはNVIDIA Grace Hopperを統合 HPEは、デンバーのショーでHPE Cray EX2500スーパーコンピュータを提供し、NVIDIA…

「シリコンバレーの大胆なSFの賭け：スマートフォンの次に来るデバイス」

『サンフランシスコを拠点にするスタートアップ企業、ヒュメインは、初めての人工知能デバイスとして売り出されていることに期待をかけています』

「Pythonによるロジスティック回帰のエラーのデバッグのベストプラクティス」

「ロジスティック回帰（LR）の基本についてはたくさんのことが書かれてきましたその多機能性や実績のあるパフォーマンス、基礎となる数学についてもしかし、LRを成功裏に実装し、デバッグする方法を知ることが重要です...」

「グラフ彩色問題：正確な解とヒューリスティックな解」

グラフ着色理論は離散数学において中心的な位置を占めています色付けとは関連性がないかわずかな状況でも多くの場所で現れますこれは基本的な問題に取り組むものであります...

クラスタリングアルゴリズムへの導入

クラスタリングアルゴリズムの完全な入門ガイド階層型、分割型、密度ベースのクラスタリングをカバーする10種類のクラスタリングアルゴリズムを扱います

「ベイズ推論を用いてデータセットとチャットしましょう」

「chatGPTのようなモデルの台頭により、より広い層の人々が自分自身のデータセットを分析し、“質問する”ことが可能になりましたこれは素晴らしいことですが、このようなアプローチには…」

このAI論文は、柔軟なタスクシステムと手順的生成による強化学習を革新するNeural MMO 2.0を紹介しています

MIT、CarperAI、Parametrix.AIの研究者らは、Neural MMO 2.0を導入しました。これは、多様な目的と報酬信号を定義できる柔軟なタスクシステムを強調した、強化学習研究用の大規模マルチエージェント環境です。主な改善点は、未知のタスク、マップ、対戦相手に対応できるエージェントのトレーニングを研究者に課すことです。バージョン2.0は完全なリライトを行い、CleanRLとの互換性を確保し、適応性のあるエージェントのトレーニングに向けた強化機能を提供しています。 2017年から2021年の間に、Neural MMOの開発により、Griddly、NetHack、MineRLなどの影響力のある環境が生まれました。これらは以前の出版物で詳細に比較されました。2021年以降、Melting PotやXLandなどの新しい環境が存在し、マルチエージェント学習と知能評価シナリオの範囲が拡大しました。Neural MMO 2.0は、性能が向上し、多様な目的の定義が可能な柔軟なタスクシステムを搭載しています。 Neural MMO 2.0は、柔軟なタスクシステムを通じて、幅広い目標と報酬信号をユーザーが定義できる高度なマルチエージェント環境です。このプラットフォームは完全なリライトが行われ、複雑なマルチエージェントの相互作用と強化学習のダイナミクスの研究のための動的な空間を提供します。タスクシステムには、GameState、Predicates、Tasksの3つのコアモジュールがあり、構造化されたゲーム状態のアクセスを提供します。Neural MMO 2.0は、マルチエージェントの相互作用と強化学習のダイナミクスを探求するための強力なツールです。 Neural MMO 2.0はPettingZoo ParallelEnv APIを実装し、CleanRLのProximal Policy Optimizationを活用しています。このプラットフォームには、GameState、Predicates、Tasksの3つの相互接続されたタスクシステムモジュールがあります。GameStateモジュールは、ゲーム状態全体をフラットテンソル形式でホストすることでシミュレーション速度を高速化します。25個の組み込み述語を備えることで、研究者は複雑で高レベルな目標を明確に説明でき、イベントデータがタスクシステムの機能を効率的に拡張するための補助データストアも提供します。前バージョンと比べて3倍のパフォーマンス向上を達成したこのプラットフォームは、複雑なマルチエージェントの相互作用、リソース管理、強化学習における競争力の動的な研究空間です。 Neural MMO 2.0は、性能が向上し、CleanRLを含む人気のある強化学習フレームワークとの互換性があることで、重要な進歩を示しています。柔軟なタスクシステムにより、複雑なマルチエージェントの相互作用、リソース管理、競争力のダイナミクスを研究する貴重なツールとなります。Neural MMO…

「貪欲アルゴリズムについてのすべて | 初心者ガイド」

「新しい目的地への旅に出かけると想像してくださいおそらくGPSナビゲーションを使用して最短経路を見つけるでしょうまるで見知らぬ道で時間効率の良い経路を探すかのように、貪欲アルゴリズム...」

「月ごとにより多くの品質の高い洞察を生み出す」

「E-Myth再訪：なぜほとんどの小規模企業がうまくいかず、どうすれば解決できるのか」という本で、マイケル・E・ガーバーは小規模企業のオーナーに、仕事の中で働くのを止めて、代わりに仕事の改善に取り組むことを提案しています

このAI論文は、オープンエンドのシナリオでの大規模言語モデルのスケーラブルな評価のための新しいアプローチ、JudgeLMを紹介しています

最近、大規模な言語モデル（LLM）は、優れた命令の従順さと幅広いオープンエンドシナリオの処理能力により、注目を浴びています。研究者は命令の微調整を通じて、FlanT5、OPT、LLaMA、およびPythiaなどのオープンソースのLLMに基づいてこれらのモデルを人間の好みと調整するための多くの技術を提供しています。調整されたLLMは、人間の命令の理解力が向上し、より論理的な応答を生成します。しかし、オープンエンドのシナリオでのLLMの能力は、現在のベンチマークと従来の測定によって十分に評価される必要があります。したがって、オープンエンドの活動でのLLMの評価を徹底的に評価する新しいベンチマーク手法が必要です。同時の研究では、LLMのパフォーマンスを決定するための異なる手法を調査しています。アリーナ形式の手法は、クラウドソーシングプラットフォームを利用して匿名化されたLLMの競争結果を取得します。人間の評価は信頼性がありますが、コストがかかり、多くの努力が必要です。一部の手法ではGPT-4を仲裁者として使用しますが、これらの手法には可変APIモデルのシフトと可能なデータの開示への支援が必要であり、裁判官の繰り返し可能性が危険にさらされる可能性があります。PandaLMは、回答評価に使用されるオープンソースのLLMを改善することを目指しています。図1（a）：JudgeLMのデータ生成パイプライン。105Kのシードタスクが最初に質問として収集されます。その後、11つのLLMから回答を取得し、回答セットから2つをランダムに選択します。最後に、タスク、サンプル回答ペア、および必要に応じてGPT-4への応答を入力します。これにより、裁判官インストラクターのスコアと綿密な理由が生成されます。ただし、精緻なモデルの有用性は、モデルのサイズ、トレーニングデータの品質、および固有のLLMバイアスから生じる制約により弱体化します。北京人工知能研究院と華中科技大学の研究者は、本研究で最適化されたオープンソースのLLMを使用してLLMを評価することを提案しており、スケーラブルな裁判官（JudgeLM）として十分な合意に達する裁判官としての機能を持つLLMを組み合わせます。彼らの手法では、裁判官モデルのトレーニングと評価に役立つ高品質のデータセットを組み合わせ、スケーラブルな裁判官を使用してオープンエンドの割り当てで評価します。彼らは、オープンソースのLLMを彼らのフレームワーク内で裁判官として使用するために改変し、モデルのサイズ（7Bから33B）とトレーニングデータのボリューム（3.5Kから100K）の観点でどれだけスケールするかを調査します。図1（b）：JudgeLMの異なる特徴と微調整の例。スケーラブルな裁判官としてのLLMのパフォーマンスを向上させるために、裁判官のサンプルを使用します。また、形式バイアス、知識バイアス、および位置バイアスを克服するために、LLMをウェイトジャッジとして微調整するために参照ドロップ、参照サポート、およびスワップ増強も提案されます。図1aに示すように、彼らのデータセットは105Kのシード質問、LLM回答ペア、および教師裁判官で構成されています。各シードチャレンジについて、生徒は参考回答で1つと参考回答なしで1つの意思決定を行いました。このデータセットの分割では、トレーニング用に100Kのシード質問を確保し（PandaLMよりも大きい×2倍）、残りの質問を検証用に確保し（PandaLMよりも29倍大きい）、LLMを裁判官として使用する際には、位置バイアス（特定の状況での応答を好む）、知識バイアス（事前トレーニングされた情報に対する過度の依存）、および形式バイアス（特定のプロンプト形式の下でのみ最適なパフォーマンス）などのバイアスが必ず導入されます。彼らはそれらに対処する方法を提供しています。さらに、図1bに示されるように、彼らのJudgeLMシステムには、マルチターンの会話、単一の応答の評価、およびマルチモーダルモデルに加えて複数の回答の判断など、拡張された機能があります。アリーナ形式のアプローチと比較して、彼らのものは迅速かつコストパフォーマンスの高い解決策です。例えば、JudgeLM-7Bは3分で5000の応答ペアを評価することができ、たった8つのA100 GPUだけが必要です。JudgeLMは、クローズドソースのLLMジャッジよりもプライバシー保護と繰り返し可能性を提供します。彼らの方法では、同時にオープンソースのLLMジャッジと比較して、LLMの微調整のスケーリング能力とバイアスを調査しています。さらに、彼らが提示するデータセットは最も包括的で優れており、将来のモデル分析の研究に大いに役立ちます。以下に彼らの主要な貢献を簡単に説明します： • 彼らはJudgeLMを提案しており、オープンエンドのシナリオでLLMを評価するために設計されたスケーラブルな言語モデルジャッジです。 • 彼らは、多様なシードタスク、LLMが生成した回答、およびGPT-4からの詳細な判断を組み込んだ高品質で大規模なデータセットを導入し、LLMの評価に関する将来の研究のための基盤を築きました。これには人間との合意を超える90％以上の合意があります。さらに、JudgeLMは長時間のジョブを処理するための幅広い機能を備えています。 • 彼らはLLMの中に存在するバイアス、ジャッジの微調整を調査し、いくつかの解決策を提示しています。彼らの技術は、様々なシナリオでのモデルの一貫性を大幅に向上させ、JudgeLMの信頼性と適応性を高めます。

Learn more about Search Results OPT - Page 32