Learn more about Search Results 大規模な言語モデル - Page 7
- You may be interested
- Google Researchがジェネレーティブな無限...
- 「人道的な災害状況報告チャットボットの...
- 「マルチタスクアーキテクチャ:包括的な...
- 「AIの求人市場の黙示録を避けるために:...
- イーロン・マスク氏とXAiチームがGrokを発...
- 「マッキンゼー・レポートからの5つの重要...
- 「糖尿病網膜症の段階を予測して眼の盲目...
- 「非構造化データファンネル」
- ChatDev ソフトウェア開発のためのコミュ...
- 「3D-GPT(3D-指示駆動型モデリングのため...
- 2024年にSQLの概念をマスターするためのト...
- 「ジャムのマッピング:グラフ理論を用い...
- 「データとテクノロジーのリーダーシップ...
- 「日本政府、行政業務にChatGPT技術を採用...
- 「物理的な制約が脳のようなAIの進化を促す」
大規模な言語モデルを税理士として活用する:このAI論文は、税法の適用におけるLLMの能力を探求します
AIの進歩が進んでいます。大規模言語モデル(LLM)は急速に進化しています。現代のLLMは、ツールを使用し、計画を立て、標準化された評価を通過することができます。しかし、LLMはその作成者にとっても単なる神秘的な箱です。内部の思考方法についてはあまり知られておらず、LLMが新しい状況でどのように行動するかを予測することはできません。研究の範囲外でモデルを使用する前に、LLMのパフォーマンスを長いベンチマークリストで評価するのがベストプラクティスです。しかし、これらのベンチマークは、しばしばLLMのトレーニング中に記憶されたかもしれない私たちにとって重要な実世界の活動を反映する必要があります。パフォーマンス評価に必要なデータは、LLMのトレーニングに使用されるデータセットに一般的に含まれており、これらのデータセットは頻繁にインターネットからダウンロードされます。 重複はモデルのパフォーマンスを過大評価し、単純な認識だけであるように理解される印象を作り出す可能性があります。彼らは特に、三つの理由からLLMの法的な分析スキルに評価の努力を集中させています。まず、LLMが法律をどれだけ理解しているかを判断することは、LLMや自動化システムのより一般的な規制に役立ちます。政策に関連する戦略の一つは、「法律に基づいたAI」において、民主的な手続きと立法によって確立された社会的な理念に沿った「法律に基づいたAI」をLLMに利用することです。この「法律がコードに影響を与える」戦略は、反復的な審議と訴訟を通じて信託義務などの柔軟な法的規範を生成する民主的なプロセスの実証された能力に基づいています。法の精神を教えることで、AIシステムが未知の状況で弁護可能な決定を下すのに役立つという考え方です。LLMを搭載したシステムが人間の原則を支持する場合、信託責任が違反されたときに検出するこの初期の能力は、より安全なAIの展開を可能にするかもしれません。第二に、自己サービスまたは資格のある弁護士を通じて、LLMは人々がより迅速かつ効果的に法的サービスを提供するためのツールとして利用されるかもしれません。法律をよりよく理解できる場合、モデルはより信頼性が高く価値があるかもしれません。LLMは、ケース予測から契約分析までさまざまな活動に役立つことがあり、法的援助へのアクセスを民主化し、法制度を理解するのが困難な個人にとっての費用と複雑さを低下させるかもしれません。 法的業務の繊細さを考慮すると、これらのモデルが実装される際には特定の保護措置が必要です。これには、データプライバシーの向上、偏見の減少、これらのモデルの選択に対する責任の維持、および特定のユースケースに対するLLMの適用可能性の評価が含まれます。したがって、体系的な評価が必要です。第三に、LLMが十分な法的知識を持っている場合、政府、人々、学者によって法的な矛盾点を見つけるために使用されるかもしれません。LLMは政府の全体的な効果と透明性を向上させることができます。たとえば、LLMは複雑な規則や規制をわかりやすく説明することができることがよくあります。 将来的には、LLMは新しい法律や政策の予想される影響を予測することができるかもしれません。LLMは、膨大な量の法的言語と関連する実施方法をスキャンすることで、立法府や規制当局がガイドラインを与える他の類似のケースで、法が沈黙している可能性のある「時代遅れの」法律を特定することができるかもしれません。この研究では、スタンフォード大学、ミシガン大学、ワシントン大学、南カリフォルニア大学、ノースウェスタン・プリッツカー法科大学院、およびSimPPLの研究者が、米国法典(連邦法のコレクション)および米国連邦規則(CFR)のテキストを使用したリトリーバル増強型LLMの作成を調査しています。彼らは税法の理解を進化させるために、一群のLLMの税法の理解を評価しました。彼らは税法を選んだ理由が4つあります。 税法の法的権限は、主にCFRの下の財務省規則と米国法典第26編(一般に内国歳入法として知られています)に含まれています。これは、教義が複数の先例から抽出される多くの法的領域とは対照的です。これにより、事前に定義された関連文書の事前定義された宇宙を使用してLLMのリトリーバルを補完することができます。第二に、多くの税法は問いに確定的な回答を許可します。これにより、一貫した自動的な検証ワークフローを設定することができます。第三に、特定のケースに対する税法の質問には、通常、関連する法的権限を単に読む以上のことが必要です。そのため、LLMの能力を実際の実務に適用する方法で評価することができます。第四に、税法はほとんどの市民や企業の日常的な経済活動に大きな影響を与えています。LLMのみを使用したり、基になる法的テキストとLLMを統合したり、さまざまなリトリーバル手法(異なるリトリーバル方法間での比較を行ったり)を含むいくつかの実験的なセットアップを使用して、LLMが税法の数千の問い合わせに対して生成する回答の正確さを評価します。私たちは、最も小さく最も弱いモデルから最も大きな現代のモデルであるOpenAIのGPT-4まで、さまざまなLLMの範囲でこれらのテストを行いました。私たちが調査した各LLMは、最初に提供されたときに最新のものでした。 彼らは、LLMsの法的理解能力の開発の証拠を発見し、徐々に大きなモデルを分析することで、各モデルのリリースごとに向上させています。もし技術が急速に成長し続けるならば、彼らはまもなく超人的なAIの法的能力の発展を目撃するかもしれません。
「Advanced Reasoning Benchmark(ARB)に会いましょう:大規模な言語モデルを評価するための新しいベンチマーク」
自然言語処理は近年、特に洗練された言語モデルの作成によって大きく進化しています。翻訳や推論を含むほとんどの自然言語タスクで、GPT 3.5、GPT 4、BERT、PaLMなどの有名なモデルの性能が著しく向上しています。これらのAIの分野での進展を評価するために、いくつかのベンチマークが使用されています。ベンチマークは、言語モデルの能力をテストするために作成された標準化されたタスクの集合です。 最初のいくつかの言語理解ベンチマークであるGLUEとSuperGLUEベンチマークを考慮すると、BERTやGPT-2などのモデルはより難解でした。これらのベンチマークを超えるように言語モデルが進化しているため、モデルの開発とベンチマークの難易度の間で競争が発生しています。モデルを大きくし、大規模なデータセットでトレーニングすることが性能向上のカギです。LLM(言語モデル)は、知識と数量的推論の能力を測定するさまざまなベンチマークで優れたパフォーマンスを示していますが、これらのモデルが現在の基準で高得点を取ると、これらのベンチマークはモデルの能力を評価するためにはもはや有用ではないことが明らかです。 これらの制限に対処するため、研究者チームはARB(Advanced Reasoning Benchmark)という新しいユニークなベンチマークを提案しました。ARBは数学、物理学、生物学、化学、法律など、さまざまな主題領域でより難解な問題を伝えるために作成されています。ARBは、以前のベンチマークとは異なり、複雑な推論問題に焦点を当ててLLMのパフォーマンスを向上させることを目指しています。チームはまた、ARBの一部として、洗練された象徴的思考と深い専門知識を要する数学と物理学の問題のセットを導入しました。これらの問題は非常に困難であり、現在のLLMの範囲外です。 チームは、GPT-4やClaudeなどの新しいモデルをARBベンチマークで評価しました。これらのモデルは、ARBに含まれるより困難なタスクにおいて50%未満のスコアで対応することが困難であることを示す結果が示されています。チームはまた、評価プロセスを改善するための評価基準に基づいた評価アプローチを示しました。この戦略を使用することで、GPT-4はARBの問題を解決しようとする際に自身の中間推論プロセスを評価することができます。これにより、レビュープロセスの範囲が広がり、モデルの問題解決戦略が明らかになります。 ARBの象徴的なサブセットは人間のレビューも受けています。人間の注釈者は問題を解決し、独自の評価を提供するように求められました。人間の評価者とGPT-4の評価基準に基づいた評価スコアとの間には有望な一致があり、モデルの自己評価が人間の判断と合理的に一致していることを示しています。数百の専門的な推論を必要とする問題があり、これまでにLLMが通常苦労してきた量的分野で、新しいデータセットは以前のベンチマークを大幅に上回っています。 過去のベンチマークの多肢選択問題とは異なり、多くの問題は短答えや自由回答の形式で構成されており、LLMの評価がより困難になります。専門レベルの推論タスクと現実的な問題形式の組み合わせにより、モデルが複雑な現実世界の問題を処理する能力をより正確に評価することが可能になります。
スタンフォード大学とDeepMindの研究者が、大規模な言語モデル(LLMs)をプロキシ報酬関数として使用するアイデアを提案しました
コンピューティングとデータの発展に伴い、自律エージェントは力を増しています。エージェントが学習するポリシーに対して人間が何らかの意見を持ち、それが自分の目標と一致しているかを確認する必要性は、これを踏まえるとますます明白になっています。 現在、ユーザーは1)目的のアクションに対する報酬関数を作成するか、2)詳細なラベル付きデータを提供するかのいずれかを行っています。どちらの戦略も困難を伴い、実際には実装されることはないでしょう。報酬のハッキングに脆弱なエージェントは、競合するゴールの間にバランスを取る報酬関数の設計が難しい状況にあります。しかし、報酬関数は注釈付きの例から学習することができます。ただし、個々のユーザーの嗜好や目標の微妙さを捉えるためには膨大な量のラベル付きデータが必要であり、高コストがかかります。さらに、報酬関数は再設計するか、異なる目標を持つ新しいユーザーポピュレーションのためにデータセットを再収集する必要があります。 スタンフォード大学とDeepMindによる最新の研究では、ユーザーが好みを共有するのがより自然な方法で報酬関数を作成し、わずかなインスタンスのみを使用してそれらの好みを定義するための費用対効果の高いアプローチを設計することを目指しています。彼らの研究では、インターネットからの大量のテキストデータでトレーニングされ、極めて少数のトレーニング例でも文脈で学習することが得意な大規模言語モデル(LLM)を使用しています。研究者によれば、LLMは人間の行動に関する重要な常識的な事前知識を大規模なデータセットから取り込むため、文脈的な学習に優れています。 研究者たちは、ユーザーが提供するデータを使用してRLエージェントのトレーニングにプロンプト付きLLMを利用する方法を調査しています。提案された方法では、会話形式のインターフェースを使用してユーザーが目標を定義します。目標を定義する際には、「汎用性」といった数個のインスタンスや、共通の知識であれば1つの文を使用することがあります。プロンプトとLLMを使用して報酬関数を定義し、RLエージェントをトレーニングします。RLエピソードの軌跡とユーザーのプロンプトをLLMに入力し、軌跡がユーザーの目的を満たしているかどうかのスコア(例えば、「Yes」または「0」)をRLエージェントの整数報酬として出力します。LLMをプロキシ報酬関数として使用する利点の1つは、ユーザーが望ましい動作の数十の例を提供する必要がなく、言語を通じて直感的に好みを指定できることです。 ユーザーは、提案されたエージェントが異なる目標でトレーニングされたエージェントよりも目標に合致していると報告しています。共通の目標に関する事前知識を利用することで、LLMはゼロショットのプロンプトに対して生成される目標に合致した報酬信号の割合を、通常の順序の行列ゲームの場合には平均48%、シャッフルされた順序の場合には36%増加させます。最終的なゲーム、ディールまたはノーディールの交渉課題、およびマトリックスゲームでは、チームはいくつかのプロンプトのみを使用してプレーヤーをガイドします。パイロットスタディでは10人の実際の人物が使用されました。 LLMは、ワンショットの状況でも共通の目標を認識し、それらの目標と一致する強化信号を送信することができます。したがって、目的に合致したRLエージェントをトレーニングするためには、1つの正しい結果のみを検出するLLMを使用することができます。その結果、ラベルを使用してトレーニングされるエージェントよりも正確なものになる可能性が高くなります。
ReLoRa GPU上で大規模な言語モデルを事前学習する
ReLoRaは、各イテレーションごとにわずかな訓練可能なパラメータのみを活性化させながら、LoRaをリセットして事前学習を可能にする方法です
大規模な言語モデルの理解:(チャット)GPTとBERTの物理学
「物理学者の洞察によると、粒子と力がLLMの理解に役立つことが分かります」
「大規模な言語モデルを使用した生成型AI:実践トレーニング」
この2時間のトレーニングでは、LLM(Language Model)の概要、その機能、およびそれらを開発・展開する方法について説明しますHugging FaceとPyTorch Lightningを使用した実践的なコードデモを行います
『AI論文によると、大規模な言語モデルの一般的なパターンマシンとしての異なるレベルの専門知識を説明します』
LLM(Large Language Models)は、言語の構造に織り込まれている多くのパターンを取り入れるように教えられます。これらはロボット工学で使用され、高レベルの計画者として命令に従うタスク、ロボットポリシーを表すプログラムの合成、報酬関数の設計、およびユーザーの好みの一般化を行うことができます。また、論理的な推論の連鎖を生成したり、ロジックパズルを解いたり、数学の問題を解いたりするなど、さまざまなアウトオブザボックスの能力も示します。これらの設定は、入出力の形式を確立するテキストプロンプトのインコンテキスト例に依存しており、入出力は意味論的なままです。 彼らの研究の重要な発見の1つは、LLMがより抽象的で非言語的なパターンを表現、変更、および推測する能力により、より単純なタイプの一般パターンマシンとして機能する可能性があることです。この発見は、従来の知恵に反するかもしれません。このトピックを説明するために、抽象的な推論コーパスを考えてみましょう。この広範なAIベンチマークには、インフィリング、カウント、オブジェクトの回転などの抽象的な概念を示唆するパターンを持つ2Dグリッドのコレクションが含まれています。各タスクは、関連する結果を予測するためのいくつかの入出力の関係のインスタンスから始まり、テスト入力に移行します。多くのプログラム合成ベースのアプローチは、ドメイン固有の言語を使用して手動で構築されるか、ベンチマークの簡略化バリエーションまたはサブセットに対して評価されます。 彼らの実験によれば、ASCIIアートのスタイルでインコンテキストのプロンプトを行うLLMは、800問の問題のうち最大85問の解を正しく予測し、これまでの最も優れた手法を凌駕し、追加のモデルトレーニングやファインチューニングの必要はありません。一方、エンドツーエンドの機械学習手法は、ごく少数のテスト問題しか解決できません。驚くべきことに、このことはASCII数字についてだけでなく、LLMがトークンの代わりにレキシコンからランダムに選択されたトークンへのマッピングである場合でも、良い回答を生成する可能性があることが分かります。これらの発見は、特定のトークンに依存しないより広範な表現能力と推測能力をLLMが持つ可能性を提起しています。 図1は、任意のトークンで表される複雑なARCパターンを(ハイライト表示で)自動的に完了するLLMの能力を示しています。 これは、インコンテキストの分類に使用された場合、正解ラベルがランダムなまたは抽象的なラベルマッピングよりも優れたパフォーマンスを発揮することを前の研究が示していることと一致し、支持しています。ロボット工学や順序決定問題では、言葉で正確に推論するのが難しいパターンを含む幅広い問題が存在するため、彼らはARCでのパターン推論を支える能力が異なる抽象レベルで一般的なパターン操作を可能にすると仮定しています。たとえば、テーブルトップ上で物を空間的に再配置するための手法は、ランダムなトークンを使用して表現することができます(図2を参照)。別の例は、報酬関数に基づいた軌道の最適化のために、状態とアクションのトークンのシーケンスを増やすことです。 スタンフォード大学、Google DeepMind、TU Berlinの研究者は、この研究に対して2つの主な目標を持っています。1つ目は、LLMがすでに一定レベルの一般的なパターン操作を実行するために含んでいるゼロショットの能力を評価すること、2つ目は、これらの能力がロボット工学でどのように使用されるかを調査することです。これらの取り組みは、大量のロボットデータで事前トレーニングを行うことや、ダウンストリームタスクにファインチューニングできるロボットファウンデーションモデルを開発することとは直交しており、補完的なものです。これらのスキルは、特化したアルゴリズムを完全に置き換えるには十分ではありませんが、一般的なロボットモデルをトレーニングする際に重点を置くべき最も重要な領域を特定するのに役立つことができます。彼らの評価によれば、LLMはシーケンス変換、シーケンス完全性、またはシーケンス拡張の3つのカテゴリに分類されます(図2を参照)。 図2:事前トレーニングされたLLMは、抽象的なロボット工学および順序決定問題を反映した数値またはランダム(記号)トークンのシーケンスを認識し、完了することにより、最も基本的なタイプのユニバーサルパターンマシンとして振る舞うことができます。実験の結果は、LLMがある程度の範囲でシーケンス変換(たとえば、ダウンサンプルされた画像上の動力学モデリングと次状態予測のための空間的なシンボルの再配置に関する推論)、単純な関数の完了(たとえば、運動学的デモの推測)、またはリターン条件付きポリシーの改善のためのメタパターン(たとえば、CartPoleの安定化のための振動行動の発見)を学習できることを示しています。 まず、彼らはLLMがいくつかのトークンの不変性を持つ増加的な複雑さのシーケンス変換を一般化できることを実証し、これが空間思考を必要とするロボットアプリケーションで使用される可能性があることを示唆しています。次に、彼らはLLMのパターン補完能力を評価し、単純な関数(例えば正弦波)からのパターンの拡張に使用される可能性を示しています。これは、触覚デモンストレーションから拭き取り動作を延長したり、ホワイトボード上にパターンを作成したりするロボットの活動に使用される可能性があります。LLMは、外挿と文脈におけるシーケンス変換の組み合わせにより、基本的な種類のシーケンス改善を行うことができます。彼らは、報酬付きの軌道文脈とオンラインインタラクションを使用することで、LLMベースのエージェントが小さなグリッド内を移動し、安定化したCartPoleコントローラを見つけ、人間との相互作用に基づく「クリッカー」インセンティブトレーニングを使用して基本的な軌道を最適化する方法を示しています。彼らは、コード、ベンチマーク、および動画を公開しています。
「このように考えて私に答えてください:このAIアプローチは、大規模な言語モデルをガイドするためにアクティブなプロンプティングを使用します」
最近の数ヶ月で、ChatGPTの導入により私たちは大規模な言語モデル (LLM) によく馴染みました。それは私たちの日常生活で欠かせないツールとなりました。LLMは情報検索、チャットサポート、執筆補助などに有用です。 一般的に、LLMは強力な推論能力を持っており、与えられた情報に基づいて論理的な推論や演繹を行い、解決策にたどり着くことができます。彼らは推論を行い、結論を導き出し、情報の断片を論理的に結びつけることができます。例えば、「数列があるとします: 2, 4, 6, 8, 10, … 次の数は何ですか?」という質問に答えることができます。 推論タスクは、より単純な言語理解タスクよりも難しいとされており、より高いレベルの理解力と推論能力を必要とします。LLMはそれに長けていますが、複雑な推論タスクで優れたパフォーマンスを発揮するように求めると、事態は変わってきます。 LLMを導く一つの方法は、文脈に即した学習です。これは、メインの要求を送る前に、LLMに実際に尋ねたい内容を教えるために、一連の質問と回答の例を与えるものです。例えば、「数列があるとします: 2, 4, 6, 8, 10, … 次の数は何ですか?」というプロンプトを「Q: 数列があるとします: 2, 4, 6,…
「FlexGenに会おう:GPUメモリが限られている場合に大規模な言語モデル(LLM)を実行するための高スループットな生成エンジン」
大規模言語モデル(LLM)は最近、さまざまなタスクで印象的なパフォーマンスを発揮しています。生成型LLMの推論は以前にないほどの力を持っていますが、特定の困難にも直面しています。これらのモデルは数十億または数兆のパラメータを含むことがあり、それらを実行するには膨大なメモリと計算能力が必要です。例えば、GPT-175Bは、モデルの重みを読み込むために325GBのGPU RAMだけが必要です。このモデルをGPUに適合させるには、少なくとも5つのA100(80GB)のGPUと高度な並列処理技術が必要です。そのため、LLM推論に必要なリソースの削減は最近、多くの関心を集めています。 LLMは、ベンチマーキング、情報抽出、データ整形、フォーム処理、チャットボットなどのさまざまな「裏方」の操作に使用されます。この研究では、スループット志向の生成型推論という状況に焦点を当てています。企業のコーパスの全ペーパーなど、大量のトークンにわたってバッチでLLM推論を実行する必要があるため、トークン生成の遅延への感受性が低いというのがこれらのジョブの重要な特徴です。そのため、一部のワークロードでは、遅延を犠牲にしてスループットを向上させることで、リソースの必要性を低減する可能性があります。 LLM推論に必要なリソースを削減するためには、次の3つのアプローチが使用されています: 全体のメモリフットプリントを減らすためのモデル圧縮、推論のコストを分散させるための共同推論、メモリとディスク上のメモリの効果的な利用のためのオフロード。明確な制約は存在しますが、これらの戦略により、LLMの利用に必要なリソースが大幅に削減されています。最初の2つの方法の研究では、モデルがGPUメモリに収まることを前提としているため、単一の商用GPU上で175Bスケールのモデルを実行するための支援が必要です。一方、第3のカテゴリに属する最先端のオフローディングベースのシステムは、効果的なI/Oスケジューリングとテンソル配置ができないため、単一のGPU上で受け入れ可能なスループットに到達することはできません。 単一の商用GPUを使用して、彼らの主な目標は高スループットの生成型推論のための効果的なオフロードメカニズムを構築することです。彼らはLLMを部分的にロードし、制約のあるGPUメモリでのLLMの演算を逐次的にオフロードして実行することができます。典型的なシステムでは、メモリの階層は3つの層に分かれています。下位レベルは遅いですが豊富で、上位レベルは速いですが希少です。小さなバッチサイズはこれらのシステムでボトルネックを引き起こす可能性があります。高バッチサイズを使用し、高価なI/O操作を複数のメモリ階層に分散させて処理と重なり合わせることで、スループット志向のシナリオでは遅延を犠牲にすることができます。 ただし、遅延を犠牲にしても、制約のあるGPUメモリで高スループットの生成型推論を達成することは困難です。最初の困難は、成功するオフローディング計画を立てることです。計画では、どのテンソルをオフロードするか、3レベルのメモリ構造のどこにオフロードするか、推論中にいつオフロードするかを明確にする必要があります。生成型推論では、重み、アクティベーション、キー値(KV)キャッシュの3種類のテンソルが使用されます。 アルゴリズムのバッチごと、トークンごと、レイヤごとの構造のため、計算方法はいくつかあります。これらのオプションが組み合わさって複雑な設計空間が作成されます。現在使用されているオフローディングベースの推論システムは、過度のI/Oを実行し、理論的なハードウェアの制約に比べてスループットが大幅に低下しているため、推論においては劣悪な領域となっています。効率的な圧縮アルゴリズムの作成は、2番目の問題を提起します。以前の出版物では、LLMの重みとアクティベーションは、有望な圧縮結果を示しています。ただし、高スループットの生成型推論のために圧縮とオフロードを組み合わせる場合、重みとKVキャッシュのI/Oコストとメモリ削減によって追加の圧縮戦略が推進されます。 UCB、Stanford、CMU、Meta、Yandex、ETH、HSEの研究者たちは、これらの問題を克服するために、高スループットのLLM推論のためのオフロードフレームワークであるFlexGenを共同で紹介しています。FlexGenは、GPU、CPU、ディスクからのメモリを組み合わせて、効果的なI/Oアクティビティ、潜在的な圧縮技術、および分散パイプライン並列処理を効果的にスケジュールします。彼らの貢献は以下の通りです: 計算スケジュール、テンソル配置、計算委任を考慮した潜在的なオフロードオプションの検索空間を明示的に説明します。彼らは、その検索空間がI/Oの複雑さを最適性の2つ以内に捉える計算順序を表していることを示します。次に、彼らは検索空間内でスループットを最大化するための線形計画に基づく検索アルゴリズムを作成します。 再トレーニングやキャリブレーションなしに、OPT-175BのようなLLMの重みとKVキャッシュを4ビットに減らすことが可能で、ほとんどまたは全く精度の低下がありません。I/Oコストとオフロード時のメモリ使用量を低減するために適した細かいグループごとの量子化がこれを実現しています。 彼らは、NVIDIA T4(16GB)GPU上でOPT-175Bを実行することで、FlexGenの効率を示します。FlexGenは、DeepSpeed Zero-InferenceやHugging Face Accelerateといった2つの最先端のオフローディングベースの推論アルゴリズムよりも大きなバッチサイズを許容することが多く、その結果、大幅に高いスループットを実現できます。 以下に、PaperとGithubをご覧ください。この研究に関するすべてのクレジットは、このプロジェクトの研究者に帰属します。また、最新のAI研究ニュースや素敵なAIプロジェクトなどを共有している16k+ ML SubReddit、Discordチャンネル、およびメールニュースレターにもぜひ参加してください。 Tensorleapの解釈性プラットフォームで深層学習の秘密を解き放つ この投稿は、MarkTechPostに掲載されています。
「OpenAI APIを使用して、大規模な言語モデルを用いた表データ予測の改善」
最近では、大規模な言語モデルやそのアプリケーションやツールがニュースやソーシャルメディアで話題になっていますGitHubのトレンディングページには、広範なリポジトリが大量に掲載されています...
Find the right Blockchain Investment for you
Web 3.0 is coming, whether buy Coins, NFTs or just Coding, everyone can participate.