Search Results Introduction to Python

新しい技術の詳細なコース：AWS上の生成AIの基礎

「AWS上の生成AIの基礎」は、AWSやその他のプラットフォーム上で最新の基礎モデルを事前トレーニング、微調整、展開するための概念的な基礎、実践的なアドバイス、ハンズオンガイダンスを提供する新しい技術的な詳細なコースですAWS生成AIの世界的な基礎リーダーであるエミリー・ウェバーが開発し、この無料のハンズオンコースとサポートするGitHubのソースコード[...]

イントロダクション大規模な事前学習に基づく言語モデル（LLMs）は、自然言語処理の分野を革新しました。これにより、機械は人間らしいテキストを驚くほど高い精度で理解し生成することが可能になりました。LLMsの能力を真に理解するには、その内部構造に深く入り込み、アーキテクチャの複雑さを理解することが不可欠です。LLMsの言語モデルアーキテクチャの謎を解き明かすことで、これらのモデルが言語を処理し生成する方法について貴重な洞察を得ることができ、言語理解、テキスト生成、情報抽出の進歩の道を開くことができます。このブログでは、LLMsの内部構造に深く入り込み、人間との相互作用の可能性を永遠に変えた言語の理解と生成を可能にする魔法を明らかにします。学習目標トランスフォーマーとセルフアテンションメカニズムを含むLLMsの基本要素を理解する。エンコーダとデコーダからなるLLMsのレイヤーアーキテクチャを探求する。 LLMsの事前学習と微調整の段階に関する洞察を得る。 GPT-3、T5、BERTなどのLLMアーキテクチャの最新の進展を発見する。 LLMsにおける注意機構とその重要性について包括的な理解を得る。この記事はデータサイエンスブログマラソンの一環として公開されました。もっと学ぶ：大規模言語モデル（LLMs）とは何ですか？ LLMsの基礎：トランスフォーマーとセルフアテンションメカニズム LLMsの基礎に踏み入ると、トランスフォーマーとセルフアテンションメカニズムがこのモデルが言語を理解し生成するための基本的な要素となります。トランスフォーマートランスフォーマーは、Vaswaniらによる2017年の「Attention is All You Need」の論文で初めて紹介され、自然言語処理の分野を革新しました。これらの堅牢なアーキテクチャは、再帰ニューラルネットワーク（RNN）の必要性を排除し、セルフアテンションメカニズムを利用して入力シーケンス内の単語間の関係を捉えます。トランスフォーマーは、LLMsがテキストを並列処理することを可能にし、効率的かつ効果的な言語理解を実現します。トランスフォーマーは、入力シーケンスのすべての単語に同時にアテンションを向けることで、長距離の依存関係や文脈の関係を伝えることができます。この並列処理により、LLMsはテキストから複雑なパターンや依存関係を抽出し、言語の意味の豊かな理解を実現します。セルフアテンションさらに深く掘り下げると、トランスフォーマーベースのアーキテクチャの中心にあるのはセルフアテンションの概念です。セルフアテンションにより、LLMsは各単語を処理する際に入力シーケンスの異なる部分に焦点を当てることができます。セルフアテンションでは、LLMsは現在処理している単語に関連する重要な情報に基づいて、異なる単語にアテンションの重みを割り当てます。この動的なアテンションメカニズムにより、LLMsは重要な文脈情報にアテンションを向け、関連性のないノイズのある入力部分を無視することができます。関連する単語に選択的にアテンションを向けることで、LLMsは効果的に依存関係を捉え、意味のある情報を抽出することができ、言語理解能力を向上させます。…

「Chroma DBガイド | 生成AI LLMのためのベクトルストア」

イントロダクション GPTやPaLMなどの生成型の大規模言語モデルは、大量のデータで訓練されます。これらのモデルはデータセットからそのままのテキストを取得するのではなく、コンピュータはテキストを理解することができないため、数値のみを理解できます。埋め込みは、テキストを数値形式で表現したものです。大規模言語モデルへの情報の出入りは、すべてこれらの埋め込みを介して行われます。これらの埋め込みに直接アクセスすることは時間がかかります。そのため、効率的なストレージと埋め込みの取得のために特別に設計されたベクトルデータベースと呼ばれるものが存在します。このガイドでは、広く使用されているオープンソースのベクトルストア/データベースであるChroma DBに焦点を当てます。学習目標 ChromaDBと埋め込みモデルを使用した埋め込みの生成 Chromaベクトルストア内でのコレクションの作成ドキュメント、画像、および埋め込みのコレクションへの保存データの削除と更新、コレクションの名前変更などのコレクション操作の実行最後に、関連情報を抽出するためのクエリの実行この記事はData Science Blogathonの一部として公開されました。埋め込みの短い紹介埋め込みまたはベクトル埋め込みは、データ（テキスト、画像、音声、ビデオなど）を数値形式で表現する方法です。正確には、n次元空間（数値ベクトル）内の数値の形式でデータを表現する方法です。この方法により、埋め込みを使用して似たデータをクラスタ化することができます。これらの入力を受け取り、ベクトルに変換するモデルが存在します。その一つの例はWord2Vecです。Googleが開発した人気のある埋め込みモデルで、単語をベクトルに変換します（ベクトルはn次元の点です）。すべての大規模言語モデルは、それぞれの埋め込みモデルを持ち、それらのLLMのための埋め込みを作成します。これらの埋め込みは何に使用されるのですか？単語をベクトルに変換することの利点は、それらを比較できることです。コンピュータは単語をそのまま比較することはできませんが、数値の形式で与えれば、つまりベクトル埋め込みとして与えれば比較できます。似たような埋め込みを持つ単語のクラスタを作成することができます。たとえば、”King”、”Queen”、”Prince”、”Princess”という単語は他の単語と関連しているため、同じクラスタに表示されます。このように、埋め込みを使用することで、与えられた単語に類似した単語を取得することができます。これを文に組み込むこともできます。文を入力し、提供されたデータから関連する文を取得します。これはセマンティックサーチ、文の類似性、異常検出、チャットボットなど、さまざまなユースケースの基盤です。PDFやドキュメントからの質問応答を実行するために構築したチャットボットでは、この埋め込みの概念を利用しています。すべての生成型の大規模言語モデルは、与えられたクエリに類似した内容を取得するためにこのアプローチを使用します。ベクトルストアとその必要性先述のように、埋め込みは数値形式で表現されたデータの表現です。通常、非構造化データをn次元空間で表現します。では、これらをどこに保存するのでしょうか？伝統的なRDMS（リレーショナルデータベース管理システム）では、これらのベクトル埋め込みを保存することはできません。ここでベクトルストア/ベクトルデータベースが登場します。ベクトルデータベースは、ベクトル埋め込みを効率的に保存および取得するために設計されています。さまざまなベクトルストアが存在し、それらはサポートする埋め込みモデルや類似ベクトルを取得するために使用する検索アルゴリズムの種類によって異なります。なぜそれが必要なのでしょうか？それは、必要なデータへの高速なアクセスを提供するためです。PDFに基づいたチャットボットを考えてみましょう。ユーザーがクエリを入力すると、まずはPDFから関連コンテンツを取得し、この情報をチャットボットにフィードする必要があります。そして、チャットボットはこのクエリに関連する情報を取得し、ユーザーに適切な回答を提供するためにこの情報を使用します。では、ユーザーのクエリに関連するPDFから関連コンテンツをどのように取得するのでしょうか？答えは簡単な類似度検索です。データがベクトル埋め込みで表現されると、データの異なる部分間で類似性を見つけ、特定の埋め込みに類似したデータを抽出することができます。クエリはまず埋め込みモデルによって埋め込みに変換され、その後ベクトルストアはこのベクトル埋め込みを受け取り、データベース内に保存されている他の埋め込みとの類似性検索（検索アルゴリズムを介して）を実行し、関連するデータをすべて取得します。これらの関連するベクトル埋め込みは、最終的な回答を生成するチャットボットで使用される大規模言語モデルに渡されます。 Chroma DBとは何ですか？ Chromaは、Chromaという会社が提供するベクトルストア/ベクトルDBです。Chroma…

「機械学習モデルにおける気象データの利用」

はじめに天気は現実世界で起こる多くのことに影響を与える主要な要素です。実際、それは非常に重要なので、機械学習モデルを組み込むことでそれを取り込む予測モデルには通常恩恵をもたらします。次のシナリオを考えてみてください：公共交通機関がシステム内の遅延や渋滞を予測しようとするエネルギー供給業者が明日の太陽光発電量を見積もり、エネルギー取引のために使用したいイベント主催者が参加者数を予測し、安全基準を満たすために確保する必要がある農場が来週の収穫作業をスケジュールする必要がある上記のシナリオのどれにも天気を含めないモデルは、無意味であるか、あるいはできるだけ良くないと言えるでしょう。驚くことに、天気予測自体に焦点を当てたオンラインリソースは多くありますが、天気データを効果的に特徴量として取得・使用する方法についてはほとんどありません。この記事はそれについて説明します。概要まず、モデリングに天気データを使用する際の課題、一般的に使用されるモデル、および提供者について紹介します。そして、ケーススタディを実行し、ニューヨークのタクシー乗車を予測するために提供者のデータを使用して機械学習モデルを構築します。この記事の最後には、以下のことを学びます：モデリングにおける天気データの課題どのような天気モデルと提供者が存在するか時系列データのETLと特徴量構築の典型的な手順 SHAP値を使用した特徴量の重要度評価この記事はデータサイエンスブログマラソンの一環として公開されました。課題測定と予測された天気本番のMLモデルでは、(1)リアルタイムで予測を行うためのライブデータと(2)モデルをトレーニングするための大量の過去のデータの両方が必要です。 by Hadija on Unsplash…

『テキストブックが全て必要です：AIトレーニングへの革新的なアプローチ』

「テキストブックが必要なすべて」論文の概要です高品質な合成テキストブックデータを使用したAIトレーニングにおいて、Phi-1モデルの成功を強調しています

Artificial Intelligence

「PyTorchにおける複数GPUトレーニングとそれに代わる勾配蓄積」

この記事では、まず、データ並列化（DP）と分散データ並列化（DDP）アルゴリズムの違いを説明し、次に勾配蓄積（GA）が何であるかを説明します

「2023年の機械学習のアンラーニング：現在の状況と将来の方向性」

「夜中に目が覚めたまま、脳が何度も再生するほど恥ずかしい記憶の一部を忘れたいと思ったことはありますか？特定の記憶を心に残すことは…」

線形プログラミングを使用して最適化問題を解決する方法

線形計画法（LP）は、特定の目的関数に基づいて、いくつかの制約条件の下で最良の解を見つけるために使用される最適化技術ですこれは様々な産業に適用されています...

「Googleによる無料の生成AIコース」

「ジェネレーティブAIが注目されている中、このコースを受けることでその波に乗り出すためのスタートを切ることができます詳しくは、提供されているこれらのコースについて学んでください」

Artificial Intelligence

PaLM AI | Googleの自家製生成AI

イントロダクション OpenAIによるGPT（Generative Pre-trained Transformers）モデル、特にChatGPTなどのような生成型AIモデルの登場以来、Googleは常にそれと同様のAIモデルを作成し、ローンチすることに取り組んできました。GoogleはBERTモデルを通じてTransformerについて最初に世界に紹介しましたが、Attention is All You Need論文を通じて、OpenAIが開発したものと同じくらい強力で効率的な大規模言語モデルを作成することはできませんでした。Googleが最初に紹介したBard AIはあまり注目されませんでした。最近、GoogleはBard AIの背後にあるPaLM（Pathways Language Model）へのAPIアクセスをリリースしました。このガイドでは、PaLM APIの使い方について説明します。学習目標 Pathways Language Modelの使い方を学ぶ PaLMが提供する主な機能を理解する PaLM 2を使用してアプリケーションを作成する大規模言語モデルのクイックプロトタイピングのためのMakerSuiteを活用する PaLM APIの使い方を理解するこの記事はData…

Learn more about Search Results Introduction to Python - Page 43