Search Results 384

『たった10行のコードで任意のGPUに適合するLLMを作成します』

「24ギガバイト以上のVRAMを搭載したGPUに十分なお金を持っている人って、誰ですか？特に、それを試してみたり、使ってみたり、ローカルで実行して遊びたいだけなのに！私たちは…」

費用効率の高いGPT NeoXおよびPythiaモデルの訓練における節約と正確性：AWS Trainiumの活用

大規模言語モデル（またはLLMs）は、日々の会話のトピックとなっていますその迅速な採用は、1億人のユーザーに到達するまでに必要な時間の量で明らかですこれが「Facebookでの4.5年」からわずかな「2ヶ月でのChatGPT」の史上最低になったことが証拠です生成型事前学習トランスフォーマー（GPT）は因果自己回帰の更新を使用します[...]

内部の仕組みを明らかにする：BERTのアテンションメカニズムの深い探求

イントロダクション BERT（Bidirectional Encoder Representations from Transformers）は、トランスフォーマーモデルと教師なし事前学習を活用した自然言語処理のためのシステムです。事前学習を行うことで、BERTはマスクされた言語モデリングと文予測の2つの教師なしタスクを通じて学習を行います。これにより、BERTはゼロからではなく、特定のタスクに適応することが可能になります。基本的に、BERTは言語を理解するためのユニークなモデルを使用した事前学習されたシステムであり、多様なタスクへの適用を容易にします。この記事では、BERTのアテンションメカニズムとその動作について理解しましょう。さらに読む：BERTとは？ここをクリック！学習目標 BERTのアテンションメカニズムを理解する BERTにおけるトークン化の方法 BERTにおけるアテンションの重みの計算方法 BERTモデルのPython実装この記事はデータサイエンスブログマラソンの一環として公開されました。 BERTのアテンションメカニズムまず、アテンションとは、モデルが文の重要な入力特徴により大きな重みを置く方法の一つです。以下の例を考えて、アテンションがどのように基本的に機能するかを理解しましょう。例1 一部の単語に対して他の単語よりも高い注意が払われる上記の文では、BERTモデルは次の単語「fell」の予測にとって、「cat」と動詞「jumped」により重みを置くことが重要であると判断するかもしれません。「cat」がどこからジャンプしたかを知るよりも、「cat」と「jumped」を知ることが重要です。例2 次の文を考えてみましょう。一部の単語に対して他の単語よりも高い注意が払われる「spaghetti」という単語を予測するために、アテンションメカニズムはスパゲッティの品質「bland」よりも動詞「eating」により重みを大きくすることを可能にします。例3…

「松ぼっくりベクトルデータベースとAmazon SageMaker JumpStartのLlama-2を使用したリトリーバル増強生成によって幻覚を軽減する」

産業全体でのLLMの採用は止まることのないように見えますが、それらは新しいAIの波を支えるより広範な技術エコシステムの一部です多くの対話AIのユースケースでは、Llama 2、Flan T5、BloomのようなLLMがユーザーのクエリに応答するために必要ですこれらのモデルは質問に答えるためにパラメトリックな知識に依存していますモデルは[…]

「GoとMetalシェーディング言語を通じてAppleのGPUをプログラミングする」

以下では、GoとネイティブCの間でcgoを使用してインターフェースを作成するプロセス、これを使用してAppleのMetal Performance ShadersフレームワークのObjective-Cバインディングとインターフェースを作成する方法について説明します

AIが統合セールスチームにより高速かつ高生産性で契約を締結することを可能にしています

過去10年間で、製品開発と市場参入戦略の風景は、根本的な変革を遂げました10年前、製品と市場参入モデルは単純さと直線性を特徴としていました製品ロードマップは、ターゲットオーディエンスの変化するニーズに対応するために定期的な更新アプローチを採用していました一方、マーケティング...

「AWSとNVIDIAは新たな戦略的なパートナーシップを発表」

AWS reInventでの注目の発表で、Amazon Web Services（AWS）とNVIDIAは戦略的な協力関係の大規模な拡大を発表し、生成型AIの領域で新たな基準を確立しましたこのパートナーシップは、AWSの堅牢なクラウドインフラストラクチャーとNVIDIAの最先端のAI技術を結びつける、分野における画期的な瞬間を象徴していますAWSは初めてとなりました...

意図しない漏洩から敏感なデータを保護するための8つのツール

今日のデジタルな広大でつながった世界では、私たちが作成、保存、共有するデータの量は膨大ですデータの保護においては、長い道のりを歩んできましたが、しばしば見落とされるプライベートデータがソースコードに漏洩するという、ひっそりとしたが深刻な問題がありますこの地味だけど深刻な問題は、、、

「変革を受け入れる：AWSとNVIDIAが創発的なAIとクラウドイノベーションを進める」

Amazon Web ServicesとNVIDIAは、最新の生成AI技術を世界中の企業にもたらします。 AIとクラウドコンピューティングを結び付けることで、NVIDIAの創設者兼CEOであるジェンセン・ファングとAWSのCEOであるアダム・セリプスキーが火曜日にラスベガスのヴェネチアンエキスポセンターで開催されたAWS re:Invent 2023のステージで合流しました。セリプスキーは、「AWSとNVIDIAのパートナーシップの拡大を発表できることに「興奮している」と述べ、高度なグラフィックス、機械学習、生成AIインフラストラクチャを提供する新しい製品を提供する予定です。 2社は、AWSが最新のNVIDIA GH200 NVL32 Grace Hopper Superchipと新しいマルチノードNVLinkテクノロジーを採用する最初のクラウドプロバイダであること、AWSがNVIDIA DGX CloudをAWSに導入していること、また、AWSがNVIDIAの人気のあるソフトウェアライブラリを一部統合していることを発表しました。ファングは、NVIDIAの主要なライブラリがAWSと統合されていることを強調し、データ処理、量子コンピューティング、デジタルバイオロジーなどの領域に対応するNVIDIA AI EnterpriseからcuQuantum、BioNeMoまでの範囲が補完されていることを説明しました。このパートナーシップにより、AWSは数百万人の開発者とこれらのライブラリを使用している約40,000社の企業にアクセスが開放されるとファングは述べ、AWSがNVIDIAの新しいL4、L40S、そしてまもなくH200 GPUも含めたクラウドインスタンスの提供を拡大していることを喜んでいると付け加えました。その後、セリプスキーは、AWSデビューとなるNVIDIA GH200 Grace Hopper…

「Elasticsearchのマスター：パワフルな検索と正確性のための初心者ガイドーPart 1」

· 前回から始める、Elasticsearch ⊛ サンプルデータセット ⊛ ElasticSearchクエリの理解 ⊛ 応答の理解 ⊛ 基本的な検索クエリ · 語彙的検索 · 問題...

Learn more about Search Results 384