Search Results 大規模な言語モデル

なぜGPUはAIに適しているのか

GPUは人工知能の希少な地球の金属、さらには金そのものとも呼ばれています。それは、今日の生成的AI時代において基盤となる存在であるためです。それは3つの技術的理由と数多くのストーリーによって説明され、それぞれの理由には多くの側面がありますが、大まかに言えば次のようなものです。 GPUは並列処理を使用します。 GPUシステムはスーパーコンピュータの高さにまでスケールアップします。 AIのためのGPUソフトウェアスタックは幅広く深いです。その結果、GPUはCPUよりも高速かつエネルギー効率が優れており、AIのトレーニングおよび推論においても優れたパフォーマンスを提供し、高速計算を使用するさまざまなアプリケーションにおいても利益をもたらします。スタンフォード大学のヒューマンセンタードAIグループの最近のレポートによれば、GPUのパフォーマンスは「2003年以来約7000倍」向上し、価格性能比は「5600倍」増加していると報告されています。 2023年のレポートは、GPUのパフォーマンスと価格性能の急激な上昇を捉えています。レポートはまた、AIの進展を測定し予測する独立系の研究グループであるエポックの分析も引用しています。「GPUは、機械学習ワークロードを高速化するための主要なコンピューティングプラットフォームであり、過去5年間のほとんど（もしくはすべて）の最大のモデルがGPU上でトレーニングされています… それにより、AIの最近の進歩に重要な貢献をしています」とエポックはサイトで述べています。また、米国政府のためにAI技術を評価した2020年の研究も同様の結論を導いています。「製造および運用コストを含めた場合、最先端のAIチップは生産性と運用コストをリーディングノードCPUよりも1〜3桁高いと予想されます」と述べています。「NVIDIAのGPUは、過去10年間にAI推論のパフォーマンスを1000倍向上させました」と同社の首席科学者であるビル・デーリー氏は、半導体およびシステムエンジニアの年次集会であるHot Chipsの基調講演で述べています。 ChatGPTがニュースを広める ChatGPTは、GPUがAIにとって優れたものであることを強力に示した例です。数千のNVIDIA GPUでトレーニングされ、実行される大規模な言語モデル（LLM）は、1億人以上の人々が利用する生成的AIサービスを提供しています。その2018年のリリース以来、AIの業界標準ベンチマークであるMLPerfは、NVIDIA GPUのトレーニングおよび推論のリーディングパフォーマンスを詳細に示しています。例えば、NVIDIA Grace Hopper Superchipsは最新の推論テストで圧倒的な成績を収めました。そのテスト以降にリリースされたNVIDIA TensorRT-LLM推論ソフトウェアは、パフォーマンスを最大8倍向上させ、エネルギー使用量と総所有コストを5倍以上削減します。実際、NVIDIA…

「パーソナリティをピクセルにもたらす、Inworldは自己再生AIを使用してゲームキャラクターをレベルアップさせます」

ゲーム体験を一層向上させるために、スタジオと開発者は非常な努力を払い、写実的で没入感のあるゲーム内環境を作り上げています。しかし、非プレイヤーキャラクター（NPC）はしばしば取り残されています。多くのNPCは深さやリアリズムに欠けた方法で行動し、その相互作用は繰り返しがちで忘れられやすいものとなっています。 Inworld AI は、生成AI を使用して、プレイヤーの行動に動的かつ応答性のあるNPCの振る舞いを実現することで、ゲームのルールを変えています。このカリフォルニア州マウンテンビューを拠点とするスタートアップのCharacter Engine は、どんなキャラクターデザインにも使用でき、スタジオと開発者がゲームプレイを向上させ、プレイヤーのエンゲージメントを高めるお手伝いをしています。ゲーミング体験を高める：アチーブメント解除 Inworldのチームは、AIを搭載したNPCを開発することを目指しており、高品質のパフォーマンスを提供しながら、ゲーム内の没入感を保ちながらプレイヤーとの関係を築き上げることができるようにしています。開発者がAIベースのNPCをゲームに統合しやすくするために、InworldはCharacter Engineを構築しました。このエンジンは、NVIDIAの技術上で動作する生成AIを使用して、没入感のあるインタラクティブなキャラクターを作り出すことができます。これは、プロダクションに対応したスケーラブルなソリューションであり、リアルタイムな体験に最適化されています。 Character Engine は、Character Brain、Contextual Mesh、Real-Time AI の3つのレイヤーから成り立っています。 Character Brain は、テキスト読み上げや自動音声認識、感情、ジェスチャー、アニメーションなどの複数のパーソナリティ機械学習モデルに同期することで、キャラクターのパフォーマンスを制御します。…

「ゼロ-ETL、ChatGPT、およびデータエンジニアリングの未来」

変化が苦手な方には、データエンジニアリングは適していませんこの領域では、ほとんどのことが再構築されました最も顕著な最近の例は、SnowflakeとDatabricksがデータベースの概念を変革し、モダンデータスタックの時代を開いていますこの動きの一環として、Fivetranとdbtは基本的に...

ディープシークは、ディープシーク-67Bモデルをオープンソース化しました：中国からの最新のChatGPTのライバル

中国のAIスタートアップ、DeepSeek AIは、DeepSeek LLMファミリーのデビューによって、大規模な言語モデル（LLM）の新時代を切り拓いています。 DeepSeek LLM 7B/67B BaseとDeepSeek LLM 7B/67B Chat からなるこれらのオープンソースモデルは、言語理解と多目的応用において大きな進歩を表しています。 DeepSeekのLLMの特色の一つは、67B BaseバージョンがLlama2 70B Baseに比べて優れた性能を発揮していることです。理論推論、コーディング、数学、中国語の理解などの分野で優れた能力を示します。 DeepSeek LLMのこの質的な飛躍は、幅広いアプリケーションでのその能力を示しています。特に注目すべきは、DeepSeek Chatが、類似のサイズのモデルをしのぐ、人間の評価基準の73.78%の合格率を達成したことです。また、調整なしでGSM8K数学データセットで84.1%をスコアリングするという卓越した力を示しました。 DeepSeek AIは、モデルの7億パラメータバージョンと67億パラメータバージョンを含む、ベースおよび専門用途のChatバリアントをオープンソース化することで、広範なAI研究と商業アプリケーションの促進を目指しています。バイアスのない綿密なパフォーマンス評価を保証するために、DeepSeek AIは、ハンガリー国立高校試験やGoogleの指示に従った評価データセットなどの新しい問題集を設計しました。これらの評価は、モデルが以前に見たことのない試験やタスクを効果的に処理する能力を効果的に示しました。スタートアップは、知的財産権を尊重しながら、多様性と独自性を高めることに焦点を当てた緻密なデータ収集とトレーニングプロセスについての洞察を提供しました。マルチステップのパイプラインでは、品質の高いテキスト、数学の式、コード、文学作品、さまざまなデータ型を選別し、有害な内容や重複したコンテンツを除外するためのフィルタを実装しました。 DeepSeekの言語モデルは、LLaMAに類似したアーキテクチャで設計され、厳格な事前トレーニングを受けました。7BモデルではMulti-Head…

『究極の没入型視覚化とモデリング体験を実現するために、4つのAIモデルを組み合わせる』

この新しいブログ記事では、私たちがHandMolというウェブベースのツールを作成した方法について説明しますこのツールはさまざまなAIベースのツールと技術を統合し、1人以上のユーザーが分子を表示し操作できるようにするものです...

フリーMITコース：TinyMLと効率的なディープラーニングコンピューティング

日常のデバイスを最適化するAIに興味がありますか？MITのTinyMLとEfficient Deep Learning Computingコースの完全な概要に潜り込んでみてください小さなデバイスでより賢いAIを実現するための戦略を探求してください詳細な記事を読んで、徹底的に理解してください！

Machine learning

あなたの言語モデルやAPIを活用するためのヒント

「あなたは自分自身に疑問を持たれることはありますか？ゼロからのトレーニング、微調整、迅速なエンジニアリング、または拡張生成（RAG）の検索を行うべきかどうかをここに、あなたが向上するために知っておく必要があるすべてがあります...」

自分のドキュメントで春のAIとOpenAI GPTが有用になるようにRAGを作成する

「RAGを使用して、Spring AIとOpenAI GPTを活用してドキュメント検索のエクスペリエンスを向上させる方法を発見しましょう自分自身のドキュメントをより役立つものにする方法を学びましょう」

「DRESS」とは、自然言語フィードバックを通じて人々と調和し、対話する大規模なビジョン言語モデル（LVLM）です

ビッグビジョン言語モデル、またはLVLMは、ビジュアルな手がかりを解釈し、ユーザーが簡単に対話するための簡単な返答を提供することができます。これは、大規模な言語モデル（LLM）を大規模なビジュアル指示の微調整と巧みに融合させることによって実現されています。しかし、LVLMは教師付き微調整（SFT）によって手作りまたはLLM生成のデータセットのみが必要です。これにより、キャプションジェネレータから指示に従うモデルに変更できるようになりますが、LVLMは依然として傷つける、悪意を持った、または役に立たない返答を生成することがあります。これは、LVLMが人間の好みとより一致する必要があることを示しています。さらに、以前の研究では、ビジュアル指示調整サンプルをマルチターン形式で組織することが推奨されていますが、異なるターン間の弱い関連性と相互依存性により、LVLMの相互作用能力が制限されています。ここで、相互作用能力は、LVLMがマルチターンインタラクションにおいて前の文脈を使用して返答を調整できるかどうかを評価します。これらの2つの欠点は、LVLMが視覚のヘルパーとしての実用性を制限します。国際SRI研究所とイリノイ大学アーバナ・シャンペーン校の研究チームが、本研究でLLMによって生成される自然言語フィードバック（NLF）を使用してユニークに教授されるLVLM「DRESS」を提案しています（図1を参照）。研究チームは、LLMに対し、具体的なルールと詳細な写真注釈を提供することで、LVLMの返答について詳細なフィードバックを提供するよう指示します。人間と一致するLLMの作成プロセスに則って、このフィードバック注釈では3つのH基準（有用性、正直さ、無害性）を考慮しています。フィードバックは、3つのH基準に沿った返答の総合的な品質を評価し、数値スコアとNLFを提供します。研究チームの手法では、NLFを批評と改善に分けています。改善NLFは、返答がゴールド基準リファレンスに合うように改善するための正確な推奨事項をLVLMに提供しますが、批評NLFは、返答の強みと欠点を評価します。この分類は、LVLMをより人間に受け入れられるものにし、相互作用能力を高めるための2種類のNLFの自然な適用を提供します。図1: 研究者はDRESSに自然言語入力を使用するよう指示し、これを批評と改善の2つのカテゴリに分けて、人間の好みと相互作用能力の両方を高めます。研究チームは、NLFの微分不可能な性質に合わせて条件付き強化学習技術を一般化し、そのようなフィードバックでLVLMをトレーニングします。具体的には、研究チームは返答に対する言語モデリング（LM）損失を使用して、DRESSをトレーニングし、2つのNLFに基づいて条件付けられた同等の返答を生成するようにします。研究チームは、数値結果の分析と解釈を通じてDRESSを改善し、ユーザーの好みとより一致するようにします。推論中のマルチターンインタラクションを通じて、研究チームは改善NLFを利用したオリジナルの返答の調整メタスキルを学習するようにDRESSをトレーニングします。研究チームは、マルチターンインタラクションでのDRESSの評価、無害性評価のための敵対的なプロンプティング、正直性評価のための画像キャプショニング、助けになるかどうかの評価のためのオープンエンドの視覚的な質問への応答を行います。実験の結果、以前のLVLMと比較して、DRESSは人間の価値と一致する返答を提供でき、フィードバックから学習し、必要に応じて返答を修正するための優れた相互作用能力を持っています。研究チームの知る限り、この取り組みはLVLMの相互作用能力と3つの3H基準を取り扱う最初の試みです。研究チームの貢献は以下の通りです: • 研究チームは、自然言語フィードバック（NLF）を使用してLVLMの相互作用能力と人間の好みに一致する能力を高めるために、批評と改善NLFに分けることを提案します。 • モデルをトレーニングして、非微分性NLFに依存したマッチング応答を提供するようにすることによって、研究チームは条件付き強化学習手法を一般化し、成功裏に非微分性NLFに対応します。従来のSOTAに比べて、研究チームの提案モデルであるDRESSは、利用価値、誠実さ、無害性の一貫性を系統的に評価した結果、9.76％、11.52％、および21.03％の相対的な改善を示しています。 • 研究グループは、63Kの注釈付き言語NLFの例を公開し、3Hの特徴を含めて一般の利用に提供しています。さらに、研究チームは無害性の一貫性とLVLM評価のための4.7Kのサンプルを含む、公開可能なデータセットを作成しました。

「サティスファイラボのCEO兼共同創設者、ドニー・ホワイト- インタビューシリーズ」

2016年に設立されたSatisfi Labsは、会話型AI企業のリーディングカンパニーです早期の成功は、ニューヨーク・メッツ、メイシーズ、全米オープンとの協力により、ウェブサイトでは得られなかった情報への簡単なアクセスを可能にしましたドニーはブルームバーグで15年間働いた後、スタートアップの世界に足を踏み入れ、コーネル大学でMBAを取得しました[...]

Learn more about Search Results 大規模な言語モデル - Page 14