Search Results リポジトリ

「このAIニュースレターはあなたが必要とするもの全てです #69」

Googleは、MicrosoftやAdobeといった企業に続き、彼らが提供するAIサービスの利用者を知的財産権侵害に関する訴訟から保護することに取り組むことを発表しました...

LLama Indexを使用してRAGパイプラインを構築する

イントロダクション最も人気のある大規模言語モデル（LLM）の応用の一つは、カスタムデータセットに関する質問に回答することです。ChatGPTやBardなどのLLMは、優れたコミュニケーターであり、彼らが訓練されたものに関してはほとんど何でも答えることができます。これはLLMの最大のボトルネックの一つでもあります。彼らはモデルの訓練中に見た質問にしか答えられません。言語モデルは世界の知識に制限があります。例えば、Chatgptは2021年までのデータを利用して訓練されています。また、GPTはあなたの個人ファイルについて学ぶ方法はありません。では、モデルにまだ持っていない知識をどのようにして認識させることができるでしょうか？その答えが「検索補完生成パイプライン（RAG）」です。この記事では、RAG（検索補完生成）パイプラインについて学び、LLamaインデックスを使用してそれを構築する方法について説明します。学習目標 RAG（検索補完生成）とは何か、またいつ使用するべきかを探求する。 RAGの異なるコンポーネントについて簡単に理解する。 Llamaインデックスについて学び、PDFのためのシンプルなRAGパイプラインを構築する方法を理解する。埋め込みとベクトルデータベースとは何か、またLlamaインデックスの組み込みモジュールを使用してPDFから知識ベースを構築する方法を学ぶ。 RAGベースのアプリケーションの実世界での使用例を発見する。この記事はData Science Blogathonの一環として公開されました。 RAGとは何ですか？ LLMは、これまでのところ最も効率的かつ強力なNLPモデルです。翻訳、エッセイの執筆、一般的な質問応答の分野でLLMの潜在能力を見てきました。しかし、特定のドメインに特化した質問応答においては、彼らは幻覚に苦しんでいます。また、ドメイン固有のQAアプリでは、クエリごとに関連する文脈を持つドキュメントはわずかです。したがって、ドキュメントの抽出から回答生成、およびその間のすべてのプロセスを統合する統一されたシステムが必要です。このプロセスは「検索補完生成」と呼ばれています。詳しくはこちらを参照：AIにおける検索補完生成（RAG）では、なぜRAGが実世界の特定のドメインに特化したQAアプリケーションの構築に最も効果的なのかを理解しましょう。なぜRAGを使用すべきか？ LLMが新しいデータを学ぶ方法は3つあります。トレーニング：兆個のトークンと数十億のパラメータを持つニューラルネットワークの大規模なメッシュが使用されて、大規模言語モデルを作成するために訓練されます。ディープラーニングモデルのパラメータは、特定のモデルに関するすべての情報を保持する係数または重みです。GPT-4のようなモデルを訓練するには、数億ドルがかかります。この方法は誰にでも容易にはできません。このような巨大なモデルを新しいデータで再訓練することは実現不可能です。ファインチューニング：別のオプションとして、既存のデータに対してモデルをファインチューニングすることが考えられます。ファインチューニングは、トレーニング中に事前に訓練されたモデルを起点として使用することを意味します。事前に訓練されたモデルの知識を利用して、異なるデータセット上で新たなモデルを訓練します。これは非常に強力ですが、時間とお金の面で高コストです。特別な要件がない限り、ファインチューニングは意味がありません。プロンプティング：プロンプティングは、LLMのコンテキストウィンドウ内に新しい情報を適応させ、提示された情報からクエリに回答させる方法です。これは、訓練やファインチューニングで学んだ知識ほど効果的ではありませんが、ドキュメントの質問応答など多くの実世界のユースケースには十分です。テキストドキュメントからの回答を促すことは効果的ですが、これらのドキュメントはしばしばLarge Language Models（LLM）のコンテキストウィンドウよりもはるかに大きくなるため、課題を提起します。リトリーバルオーグメンテッドジェネレーション（RAG）パイプラインは、関連するドキュメントセクションの処理、保存、および検索を行うことで、LLMが効率的にクエリに答えることができるようにします。それでは、RAGパイプラインの重要なコンポーネントについて議論しましょう。 RAGコンポーネントとは何ですか？…

「枝は何も必要ありません：私たちの主観的なMLバージョニングフレームワーク」

「Gitブランチを使用したMLプロジェクトのバージョニングを簡素化し、ワークフローをシンプルにし、データとモデルを整理し、プロジェクトの関連する部分を結びつけるシンプルなアプローチ」

Amazon SageMakerのマルチモデルエンドポイントを使用して、Veriffがデプロイ時間を80％削減する方法

「Veriffは、革新的な成長志向の組織、金融サービス、フィンテック、仮想通貨、ゲーム、モビリティ、オンラインマーケットプレイスなどのパイオニアを対象とした身元確認プラットフォームのパートナーですこの投稿では、Amazon SageMakerを使用してVeriffがモデルの展開ワークフローを標準化し、コストと開発時間を削減した方法を紹介します」

未来のマスタリング：IaC技術を活用したLLM生成データアーキテクチャの評価

この記事では、LLMの適用性について取り上げますインフラストラクチャのプロビジョニングから構成管理、展開に至るまで、実際のアプリケーションのライフサイクルを活用するものです

「データサイエンスをマスターするための無料の5冊の本」

「データサイエンスに参入したいですか？Python、統計学、線形代数、機械学習、深層学習を学ぶための無料の書籍リストをチェックしてください」

Data science

「言語モデルがプログラマーを置き換えることはできるのか？プリンストン大学とシカゴ大学の研究者が、GitHubからの実際の課題解決において機械学習モデルのテストを行う評価フレームワークであるSWE-benchを紹介」

言語モデルの実世界のソフトウェアエンジニアリングの課題への適用能力を評価することは、彼らの進歩にとって重要です。SWE-bench（SWEベンチ）は、PythonリポジトリのGitHubの課題とプルリクエストを使用し、これらのモデルがコーディングタスクや問題解決にどれだけ対処できるかを評価する革新的な評価フレームワークです。調査の結果、最も高度なモデルでも簡単な課題しか対処できないことが明らかになりました。これは、実用的かつインテリジェントなソフトウェアエンジニアリングのソリューションを可能にするために、言語モデルのさらなる進歩が喫緊の課題であることを強調しています。以前の研究では、言語モデルの評価フレームワークが導入されていますが、これらはより多目的性が必要であり、実世界のソフトウェアエンジニアリングのタスクの複雑さに対処する必要があります。特にコード生成の既存のベンチマークは、これらの課題の深さを捉える必要があります。プリンストン大学とシカゴ大学の研究者によるSWE-benchフレームワークは、パッチ生成や複雑なコンテキスト推論などの実世界のソフトウェアエンジニアリングの課題に焦点を当て、ソフトウェアエンジニアリングの機能を向上させるためのより現実的かつ総合的な評価を提供することで際立っています。これは、ソフトウェアエンジニアリングの機械学習の分野で特に関連性があります。言語モデル（LM）は広範に商業アプリケーションで使用されているため、その能力を評価するための堅牢なベンチマークの必要性が明らかになります。既存のベンチマークは、実世界のタスクを持つ言語モデルに対してチャレンジングであるように見直す必要があります。ソフトウェアエンジニアリングのタスクは、その複雑さと単体テストによる検証性により、説得力のあるチャレンジを提供します。SWE-benchフレームワークは、GitHubの課題と解決策を活用して、ソフトウェアエンジニアリングの文脈でLMを評価するための実用的なベンチマークを作成し、実世界での適用性と継続的な更新を促進します。彼らの研究には、GitHubからの2,294の実世界のソフトウェアエンジニアリングの問題が含まれています。LMは、関数、クラス、ファイル全体にわたって課題を解決するためにコードベースを編集します。モデルの入力には、タスクの指示、課題のテキスト、取得したファイル、例のパッチ、プロンプトが含まれます。モデルの性能は、スパースな回収とオラクル回収の2つのコンテキスト設定で評価されます。評価結果は、Claude 2やGPT-4のような最新鋭のモデルでも、実世界のソフトウェアエンジニアリングの課題に対して解決するのが困難であり、最高のコンテキスト回収方法でも合格率は4.8％や1.7％など非常に低いことを示しています。彼らのモデルは、より長いコンテキストからの問題やコンテキストのバリエーションに対して敏感であり、短くて整形されていないパッチファイルを生成する傾向があります。これは、複雑なコード関連のタスクの処理における課題を強調しています。言語モデルが進化するにつれて、文献では実用的で実世界のシナリオでの包括的な評価の重要性が強調されています。評価フレームワークであるSWE-benchは、ソフトウェアエンジニアリングの文脈で次世代の言語モデルの能力を評価する厳しい現実的なテストベッドとして役立ちます。評価結果は、最先端の言語モデルでも複雑なソフトウェアエンジニアリングの課題に対処する能力には限界があることを示しています。彼らの貢献は、より実用的でインテリジェントで自律性のある言語モデルの開発の必要性を強調しています。研究者はSWE-bench評価フレームワークのさらなる向上に向けていくつかの方法を提案しています。彼らの研究では、より幅広い範囲のソフトウェアエンジニアリングの問題を含むベンチマークの拡大が示唆されています。高度な回収技術やマルチモーダルラーニングアプローチの探索は、言語モデルのパフォーマンスを向上させることができます。複雑なコード変更の理解の制約や整形されたパッチファイルの生成の改善に対応することは、将来の探究の重要な領域として強調されています。これらのステップは、現実のソフトウェアエンジニアリングシナリオにおける言語モデルのより包括的かつ効果的な評価フレームワークを作成することを目指しています。

Learn more about Search Results リポジトリ - Page 28

「このAIニュースレターはあなたが必要とするもの全てです #69」

LLama Indexを使用してRAGパイプラインを構築する

「枝は何も必要ありません：私たちの主観的なMLバージョニングフレームワーク」

Amazon SageMakerのマルチモデルエンドポイントを使用して、Veriffがデプロイ時間を80％削減する方法

未来のマスタリング：IaC技術を活用したLLM生成データアーキテクチャの評価

「データサイエンスをマスターするための無料の5冊の本」

「言語モデルがプログラマーを置き換えることはできるのか？プリンストン大学とシカゴ大学の研究者が、GitHubからの実際の課題解決において機械学習モデルのテストを行う評価フレームワークであるSWE-benchを紹介」

「GeoJSONからネットワークグラフへ：Pythonで世界の国境を分析する」

「フェイスブックの10億スケールの検索アルゴリズムがプロテオミックデータを効率的にナビゲートするために再利用されました」

JAXを使用してRL環境をベクトル化・並列化する：光の速さでのQ学習⚡

Find the right Blockchain Investment for you