Search Results Meg

「ゼロからLLMを構築する方法」

「これは、大規模言語モデル（LLM）を実践的に使用するシリーズの6番目の記事です以前の記事では、プロンプトエンジニアリングとファインチューニングを通じて事前学習済みのLLMを活用する方法について詳しく調査しましたこれらに対して…」

「AI for All 新しい民主化された知能の時代を航海する」

「メガモデル、OpenAI、HuggingFaceなどと共にAI革命を探求しましょう最先端のAIツールがすべての人に利用可能な世界に飛び込んでみましょうこの運動に参加しましょう！」

時系列のための生成AI

タイムシリーズデータ — 交通データ、株価、天気やエネルギーの測定値、医療信号 — は基本的には時間の経過とともに連続的に生成されるデータですこの時間の依存性は新たな要素をもたらします...

「悪魔に叫べカプコンの『デビルメイクライ 5』がGeForce NOWに参加」

GFN Thursdayは、Devil May Cry 5がGeForce NOWに登場するため、まさに悪魔的です。 Capcomのアクション満載のサードパーソンバトルゲームは、今週GeForce NOWのライブラリに15タイトルが追加されます。その中には、Gears TacticsやThe Crew Motorfestも含まれています。また、Ultimate KovaaK’s Challengeに挑戦する最後の週です。今日リーダーボードに参加して、240HzのゲーミングモニターやゲーミングChromebook、GeForce NOWのメンバーシップなどの賞品を獲得するチャンスを手に入れましょう。挑戦は9月21日木曜日に終了します。悪魔が帰ってくるジャックポット！ Devil May Cry 5は、CapcomのカタログからGeForce NOWに登場する次のタイトルです。メンバーは、GeForce RTXの品質で高速でスタイリッシュなアクションをほぼすべてのデバイスでストリーミングできます。これは、GeForce NOWのクラウドゲーミングサーバーのパワーによるものです。…

JavaScriptの配列を繰り返す方法

forループは反復文であり、特定の条件をチェックし、それらの条件が満たされている限り、コードブロックを繰り返し実行しますfor...inループは、配列を繰り返し処理するためのより簡単な方法です...

Amazon SageMakerのマルチモデルエンドポイントを使用して、TorchServeを使ってGPU上で複数の生成AIモデルを実行し、推論コストを最大75%節約できます

最近、生成AIアプリケーションは広範な注目と想像力を引きつけています顧客はGPU上で生成AIモデルを展開したいと思っていますが、同時にコストにも気を使っていますSageMaker MMEはGPUインスタンスをサポートしており、このようなタイプのアプリケーションには最適なオプションです本日は、TorchServeがSageMaker MMEをサポートすることをお知らせしますこの新しいモデルサーバーサポートにより、TorchServeの顧客が最も馴染みのあるサービングスタックを使用しながら、MMEのすべての利点を活用することができますこの記事では、Stable DiffusionやSegment Anything Modelなどの生成AIモデルをTorchServeを使用してSageMaker MME上でホストし、アーティストやコンテンツクリエーターが作品をより速く開発し、イテレーションするための言語による編集ソリューションの構築方法を示します

コードのための大規模な言語モデルの構築とトレーニング：StarCoderへの深い探求

イントロダクションこんにちは、テック愛好家の皆さん！今日は、大規模な言語モデル（LLM）を構築してトレーニングする魅力的な世界について、皆さんをご案内します。この記事は、AIとコード開発の交差点に位置するオープンイニシアチブであるBigCodeプロジェクトの一部である、驚異的なモデルであるStarCoderについて、詳しく掘り下げていきます。始める前に、Hugging Faceの機械学習エンジニアであるLoubna Ben Allalさんに、この記事の基になった「コードのための大規模な言語モデルの構築」に関するデータアワーセッションに感謝を申し上げます。さあ、準備をして、この最先端のテクノロジーの魔法を探求しましょう！学習目標： BigCodeコラボレーションを通じたAIのコーディングにおけるオープンで責任あるプラクティスを理解し、透明性と倫理的な開発を重視します。 Megatron-LMなどのフレームワークを活用した、データの選択、アーキテクチャの選択、効率的な並列処理を通じたLLMトレーニングの基本を理解します。 BigCode評価ハーネスによって促進されるHumanEvalなどのベンチマークを使用したLLMの評価を探求し、効果的なモデル比較を実現します。 VS Codeの拡張機能などのツールを使用して、LLMを開発環境に実践的に統合し、倫理的なAI利用に合致させます。大規模言語モデルの力を解き放つでは、これらの大規模言語モデルについての話題は何でしょうか？それは、自然言語の説明に基づいてコードの断片を完成させたり、完全な関数を生成したり、バグ修正の洞察を提供したりする、仮想のコーディングの魔術師のような存在です。私たちのスターであるStarCoderは、155億のパラメータを誇り、優れたコード補完能力と責任あるAIの実践を示しています。データの選別と準備：成功の基盤では、秘密のソースであるデータの選別について話しましょう。私たちの旅は、GitHubのコードの大規模なコンパイルであるThe Stackデータセットから始まります。このデータセットは300以上のプログラミング言語にわたるものです。しかし、量が常に品質を上回るわけではありません。私たちは、人気と包括性を重視しながら、86の関連する言語を選び抜きました。ただし、ここで注意が必要です。詳細なクリーニングを経て、約80のプログラミング言語で約800ギガバイトのコードのみを残しました。この過程で、自動生成されたファイルや重複したコードを削除することで、モデルが繰り返しパターンを記憶しないようにしました。これにより、量よりも質を重視し、効果的なトレーニングが可能になりました。トークン化とトレーニング用のメタデータ：コードの解読次に、トークン化です！クリーンなテキストデータをモデルが理解できる数値入力に変換しました。リポジトリやファイル名などのメタデータを保持するために、各コード断片の先頭に特別なトークンを追加しました。このメタデータは、異なるプログラミング言語でコード断片を生成する方法をモデルに示す、道案内のようなものです。また、GitHubの課題、gitのコミット、Jupyterノートブックなども工夫しました。これらの要素は、特別なトークンで構造化され、モデルにコンテキストを提供します。このメタデータと書式設定は、後のモデルのパフォーマンスと微調整に重要な役割を果たします。 StarCoderのアーキテクチャの選択：新たな高みへのスケーリング StarCoderのアーキテクチャは、設計の選択肢の傑作です。私たちは、スピードとコスト効率を目指し、1550億のパラメータを選択しました。これは、パワーと実用性のバランスです。また、より大きなデータのバッチを効率的に処理し、品質を損なうことなく推論時間を高速化する技術であるマルチクエリアテンション（MQA）も取り入れました。しかし、イノベーションはそこで終わりませんでした。フラッシュアテンションによる大規模なコンテキスト長を導入しました。これにより、8000トークンまでスケーリングし、効率とスピードを保ちました。そして、双方向のコンテキストについて疑問がある場合は、StarCoderが左から右、右から左の両方のコード断片を理解する方法を見つけました。これにより、その柔軟性が向上しました。…

「GeForce NOWが大いに盛り上がり、9月には24本の新作ゲームが登場しますその中でも『Party Animals』が一番注目されています」

そうして、夏は9月になり、今年最も期待されているゲームのいくつか、Cyberpunk 2077：Phantom Libertyの拡張版、PAYDAY 3、そしてParty Animalsが、今月のローンチと共にGeForce NOWライブラリに追加されます。これらは9月にクラウドゲーミングサービスに追加される24の新しいゲームの一部です。そして、次のGame PassタイトルであるSea of Starsが、今週の13の新しいゲームの一部としてローンチ時にクラウドに参加します。 GFN Thursdayでは、今月クラウドに参加する次のMicrosoftタイトル（Quake II、Gears Tactics、Halo Infiniteなど）を見るために目を光らせてください。さらに、NVIDIAはGoogleと連携して、Chromebookの所有者にGeForce NOW Priorityメンバーシップの3か月無料オファーを提供します。GeForce NOWクラウドゲーミングは、最大1,600pの解像度と120Hz以上のディスプレイを提供するChromebookと完全に組み合わせることができます。クラウドでパーティーハードクラウドが大騒ぎになります。 Recreate GamesとSource Technologyによる、笑えるほどおかしい物理ベースのパーティーバトラー、Party…

「大規模な言語モデルは、多肢選択問題の選択の順序に敏感なのか」という新しいAI研究に答える

大規模言語モデル（LLM）は、様々なタスクで優れたパフォーマンスを発揮するため、非常に注目を集めています。これらのモデルは、監督モデルや一部の状況では人間さえも凌駕することが頻繁にあります。しかし、これらのモデルの機能的な制約は、実世界での有用性に影響を与える可能性があるという以前の研究結果が示しています。これらのモデルは、プロンプト言語の微妙なニュアンス、フューショットデモンストレーション、およびこれらのデモンストレーションの組織に対する感度が大きなパフォーマンスの問題となっています。この感度は、LLMの能力の客観的評価を妨げます。 Megagon Labsの最近の研究では、研究者グループが複数選択問題の取り扱いにおけるLLMの堅牢性を研究しました。複数選択問題は、推論能力や事実の取得能力をテストするための人気のある課題です。調査の主な焦点は、複数選択テストの選択肢の並び替えに対するLLMの反応です。回答選択肢が変更されると、詳細な研究の結果、複数のベンチマークで約13%から75%までのパフォーマンスの差が明らかになります。徹底的な分析の結果、観察された感度は、LLMが予測のトップ2またはトップ3のオプション間で確信が持てない場合に発生するという仮説が提案されました。質問の文言によって引き起こされる位置バイアスにより、一部のオプションの順序はこれらのトップ選択肢の中でいくつかの予測を好む傾向があります。トップ2のオプションには、モデルの傾向を強調または軽減する興味深いパターンが見られることがあります。バイアスを強調するためにチームが使用した最適戦略は、トップ2リストの最初と最後の選択肢を順番に配置することです。一方、バイアスを緩和するためにこれらの選択肢を周囲のオプションに散らばらせることが提案されています。仮説化された感度を検証するためにさまざまな研究が行われました。さらに、2つの異なるキャリブレーション技術を使用して、LLMの予測を改善しました。数多くのモデルとベンチマークで最大8パーセントポイントのパフォーマンス向上が見られ、顕著な改善がもたらされました。この研究は、LLMのプロンプトの側面とその配置に対する感度に直面する必要性を強調しています。複数選択問題の並び替えられた選択肢への回答の微妙なニュアンスを調査することにより、LLMの意思決定手続きに光を当てることができました。これにより、LLMの実世界での利用可能性と信頼性が向上する可能性があります。

「PythonとMatplotlibを使用して極座標ヒストグラムを作成する方法」

こんにちは、そしてこのPython + Matplotlibチュートリアルへようこそここでは、上記で見た美しい極座標ヒストグラムの作り方を紹介します極座標ヒストグラムは、値が多すぎる場合に便利です...

Learn more about Search Results Meg - Page 5