Search Results モード

「RunPodを使用した生成的LLMsの実行 | サーバーレスプラットフォーム」

イントロダクションサーバーレスは、クラウドコンピューティングにおける画期的な戦略として浮上しています。開発者がアプリケーションの作成に完全に集中できる一方、基盤となるインフラストラクチャはクラウドプロバイダーが管理します。Generative AI Large Language Modelsは、これらの言語モデルが使用する高いGPU VRAMのため、ほとんどの開発者がローカルで実行できないため、Serverless GPUsの成長を後押ししています。RunPodは、リモートGPUサービスで人気が高まっているプラットフォームの1つです。RunPodは、GPUインスタンス、Serverless GPUs、APIエンドポイントなどのさまざまなコンピューティングサービスを提供することで、大規模な言語モデルを使用したアプリケーションの構築およびテストに強力なGPUへのアクセスを提供します。手頃な価格とさまざまなGPUの可能性があるため、リソース集約型の大規模言語モデルの実行には、RunPodでLLMsを学習してください。学習目標サーバーレスの概念と、LLMsで作業する開発者にとってなぜ役立つのかを学ぶ大規模言語モデルを実行するための高いGPU VRAMの必要性を理解するクラウドでGPUインスタンスを作成して言語モデルを実行する方法を学ぶ LLMのサイズに基づいてGPU VRAMを割り当てる方法を学ぶこの記事は、Data Science Blogathonの一環として公開されました。サーバーレスとは何ですか？サーバーレスは、クラウドプラットフォームのサービス/メソッドであり、開発とアプリケーションの展開に必要なインフラストラクチャをオンデマンドで提供します。サーバーレスでは、アプリケーションの開発に集中し、クラウドプロバイダーに基盤の管理を任せることができます。AWS、Azure、GCPなどの多くのクラウドプラットフォームがこれらのサービスを提供しています。近年、サーバーレスGPUが人気を集めています。サーバーレスGPUは、メモリが不足している場合にクラウド上でGPUの計算能力を借りることです。大規模な言語モデルの導入以来、これらのサーバーレスプラットフォームは次々と台頭し、他のプラットフォームよりも優れたGPUサービスを提供しています。RunPodはそのようなサービスの1つです。 RunPodについて RunPodは、GPUインスタンス、Serverless…

「モデルガバナンスを向上させるために、Amazon SageMaker Model Cardsの共有を利用してください」

MLガバナンスの一環として利用可能なツールの1つは、Amazon SageMaker Model Cardsですこのツールは、モデルのライフサイクル全体での文書化を中央集権化して標準化することにより、モデル情報の真実の一元化を可能にします SageMakerモデルカードにより、モデルの設計、構築、トレーニング、評価など、モデルのライフサイクルを可視化するための標準化が可能になりますモデルカードは、監査や文書化の目的で信頼性のあるビジネスおよび技術メタデータの真実の一元化を意図していますモデルの重要な情報を提供するファクトシートとなります

「Amazon Kendraを使用して、Adobe Experience Managerのコンテンツを賢く検索する」

この投稿では、Amazon Kendra AEMコネクタを設定してコンテンツをインデックス化し、AEMのアセットとページを検索する方法を紹介しますコネクタはまた、各ドキュメントのアクセス制御リスト（ACL）情報も取り込みますACL情報は、ユーザーがアクセス権を持っているものに絞り込まれた検索結果を表示するために使用されます

自然言語処理のための高度なガイド

イントロダクション自然言語処理（NLP）の変革的な世界へようこそ。ここでは、人間の言語の優雅さが機械の知能の正確さと出会います。NLPの見えない力は、私たちが頼りにしているデジタルのインタラクションの多くを支えています。このナチュラルランゲージプロセッシングガイドは、あなたの質問に応答するチャットボット、意味に基づいて結果を調整する検索エンジン、声のアシスタントがリマインダーを設定するなど、さまざまなアプリケーションで使用されます。この包括的なガイドでは、ビジネスを革新しユーザーエクスペリエンスを向上させる、最先端のNLPの応用について掘り下げていきます。文脈埋め込みの理解: 単語は単なる分離された単位ではありません。文脈によってその意味が変わります。Word2Vecのような静的な埋め込みから文脈を必要とする対話型な埋め込みまで、埋め込みの進化について見ていきます。トランスフォーマーとテキスト要約の技術: 要約は単なるテキストの切り詰めを超える難しい仕事です。トランスフォーマーアーキテクチャとT5などのモデルについて学び、成功する要約の基準がどのように変わっているかを理解しましょう。深層学習の時代には、層や複雑さのために感情を分析することは困難です。特にトランスフォーマーアーキテクチャに基づく深層学習モデルは、これらの複雑な層を解釈することに長けており、より詳細な感情分析を提供します。有用な洞察を得るために、Kaggleのデータセット ‘Airline_Reviews’ を使用します。このデータセットには実世界のテキストデータが含まれています。学習目標ルールベースのシステムから深層学習アーキテクチャへの移行を認識し、特に転換の重要な瞬間に重点を置きます。 Word2Vecなどの静的単語表現から動的な文脈埋め込みへのシフトについて学び、言語理解における文脈の重要性を強調します。トランスフォーマーアーキテクチャの内部構造と、T5などのモデルがテキスト要約を革新している方法について詳しく学びます。特にトランスフォーマーベースのモデルなどの深層学習を活用して、テキストの感情に具体的な洞察を提供できるかを発見します。この記事はデータサイエンスブログマラソンの一部として公開されました。 NLPの深い探求自然言語処理（NLP）は、機械に人間の言語を理解し、解釈し、応答することを教える人工知能の分野です。この技術は、人間とコンピュータをつなげ、より自然なインタラクションを可能にします。スペルチェックやキーワード検索などの簡単なタスクから、機械翻訳、感情分析、チャットボットの機能などのより複雑な操作まで、さまざまなアプリケーションでNLPを使用できます。これにより、音声アクティベーションされた仮想アシスタント、リアルタイム翻訳サービス、さらにはコンテンツ推奨アルゴリズムなどが機能することが可能になります。自然言語処理（NLP）は、言語学、コンピュータサイエンス、機械学習の知識を結集し、テキストデータを理解できるアルゴリズムを作成することで、現代のAIアプリケーションの基盤となっています。 NLPの技術の進化 NLPはこれまでに大きく進化し、ルールベースのシステムから統計モデル、そして最近では深層学習へと進化してきました。言語の特異性を捉えるための旅は、従来の袋状モデルからWord2Vec、そして文脈埋め込みへの変化によって見ることができます。計算能力とデータの利用可能性が向上するにつれて、NLPは言語の微妙なニュアンスを理解するために洗練されたニューラルネットワークを使用するようになりました。現代の転移学習の進歩により、モデルは特定のタスクを改善し、実世界のアプリケーションでの効率と正確性を確保することができます。トランスフォーマーの台頭トランスフォーマーは、多くの最先端NLPモデルの基盤となる一種のニューラルネットワークアーキテクチャです。トランスフォーマーは、再帰的または畳み込み層に重点を置いた従来のモデルと比較して、入力と出力の間のグローバルな依存関係を引き出すための “アテンション”…

「ExcelでのPython 高度なデータ分析への扉を開く」

イントロダクションマイクロソフトは、Pythonプログラミング言語をExcelに統合することを発表し、その分野での重要な進歩を遂げました。基礎的なデータ管理、分析、可視化ツールであるMicrosoft Excelは、Pythonの機能を組み込むことで、分析能力を大幅に向上させました。この統合は、データ分析、機械学習、予測分析、データクリーニングの重要なマイルストーンであり、馴染みのあるExcel環境からシームレスにアクセスできます。このイノベーションは、Pythonプログラミング言語の高度な機能と認識性の高いExcelインターフェースを組み合わせ、2つの間のギャップを効果的に埋めるものです。マイクロソフトは、公開プレビューとしてExcel内のPythonの正式なローンチを行いました。この機能により、Pythonスクリプトの強力な機能とExcelの柔軟で馴染みのある数式を1つのワークブック内でシームレスに統合することができます。 Excelのユーザーは、Pythonのデータを使用して数式やチャートを作成することができます。また、MatplotlibやSeabornなどのチャートライブラリを統合して、ヒートマップ、バイオリンプロット、スワームプロットなどの可視化を設計することもできます。このイノベーションへの独占的な早期アクセスは、Excel for Windowsのベータチャネルリリースを通じてMicrosoft 365 Insidersに提供されます。この記事は、データサイエンスブログマラソンの一環として公開されました。 = PY ()で簡略化 PythonをExcelで利用するには、セルを選択し、リボンの「数式」タブにアクセスし、「Pythonの挿入」をクリックします。これにより、Excelは指定したセル内でPythonの数式を作成する意図を認識します。または、=PYという関数を使用します。コードのような編集動作を行うために、数式バーを使用することもできます。コードの編集には数式バーを使用し、プログラミングのように行を追加するためにEnterキーを押します。複数のコード行を一度に表示するためには、数式バーの下向き矢印アイコンをクリックして数式バーを拡大します。 Excel内では、Pythonライブラリの強力な機能を利用して、可視化の作成、機械学習モデルの作成、高度な分析を行うことができます。PythonコードをExcelセルに直接入力できるようにするために、新しいPY関数が導入されました。PythonをExcelで使用するためには、追加のツールをインストールする必要はありません。Excelリボンの「数式」セクションで「Pythonの挿入」ボタンをクリックした後、Pythonコードの記述を開始することができます。組み込みのXL() Python関数組み込みのxl() Python関数は、ワークブックからデータを送信することができ、=PY()の結果としてPythonコードの出力を返すことができます。デフォルトでは、Pythonセルは出力形式をExcelの値に設定し、セルのコードによって生成されたPythonオブジェクトの値をExcelの出力に似た形式に変換します。 Excelは、組み込みのコネクタを提供し、外部データのインポートを容易にするためにPower QueryというMicrosoftのデータ操作ツールを利用しています。外部ソースからデータをインポートする場合は、Excelの「取得と変換」機能を利用してください。この機能は、インポートプロセスを容易にするためにPower Queryを使用します。PythonをExcelで使用して作業する場合、データはワークシートから取得するか、Power Queryを介して取得する必要があります。…

このAIニュースレターは、あなたが必要なすべてです＃63

「AIの今週のハイライトでは、Large Language Models（LLM）の採用による西洋市場での収益成長のさらなる証拠と、新しいAIモデルの導入を紹介しています...」

「大規模な言語モデルの探索-パート3」

「この記事は主に自己学習のために書かれていますしたがって、広く深く展開されています興味のあるセクションをスキップしたり、自分が興味を持っている分野を探求するために、自由に進めてください以下にはいくつかの...」

ローカルマシン上でGenAI LLMsのパワーを解放しましょう！

はじめに GenAI LLMsのリリース以来、私たちはそれらをある方法または別の方法で使用しています。最も一般的な方法は、OpenAIのウェブサイトなどのウェブサイトを介して、OpenAIのGPT3.5 API、GoogleのPaLM API、またはHugging Face、Perplexity.aiなどの他のウェブサイトを介してChatGPTやLarge Language Modelsを使用することです。これらのアプローチのいずれにおいても、私たちのデータはコンピュータの外部に送信されます。これらのウェブサイトは最高のセキュリティを保証しているとはいえ、何が起こるかわかりませんので、サイバー攻撃のリスクがあるかもしれません。時には、これらのLarge Language Modelsをローカルで実行し、可能であればローカルでチューニングしたい場合もあります。この記事では、Oobaboogaを使用して、つまりLLMsをローカルで設定する方法について説明します。学習目標ローカルシステムに大規模な言語モデルを展開することの意義と課題を理解する。大規模な言語モデルを実行するためのローカル環境を作成する方法を学ぶ。与えられたCPU、RAM、およびGPU Vramの仕様で実行できるモデルを調べる。 Hugging Faceから任意の大規模な言語モデルをローカルで使用するためのダウンロード方法を学ぶ。大規模な言語モデルを実行するためにGPUメモリを割り当てる方法を確認する。この記事はData Science Blogathonの一環として公開されました。 Oobaboogaとは何ですか？ OobaboogaはLarge…

「Seaborn KDE プロット上のデータポイントを自動的に抽出してラベル付けする方法」

カーネル密度推定プロットは、データポイントの分布を可視化するための方法であり、ヒストグラムと似ていますヒストグラムは観測値をビンに分けて数えますが、KDEプロットはデータを滑らかに表現します...

自然言語処理：BERTやGPTを超えて

技術の世界は常に進化しており、その中でも特に進歩が見られる分野の一つが自然言語処理（NLP）です数年前には、BERTとGPTという画期的なモデルが登場しました...

Learn more about Search Results モード - Page 33