Search Results リポジトリ

「紙からピクセルへ：手書きテキストのデジタル化のための最良の技術の評価」

「組織は、歴史的な手書き文書をデジタル化するという煩雑で高額な作業に長い間取り組んできました以前は、AWS Textractなどの光学文字認識（OCR）技術を使用していましたが…」

「Retrieval Augmented GenerationとLangChain Agentsを使用して、内部情報へのアクセスを簡素化する」

この投稿では、顧客が内部文書を検索する際に直面する最も一般的な課題について説明し、AWSサービスを使用して内部情報をより有用にするための生成型AI対話ボットを作成するための具体的なガイダンスを提供します組織内に存在するデータのうち、非構造化データが全体の80％を占めています[...]

「Amazon Comprehendのカスタム分類を使用して分類パイプラインを構築する（パートI）」

このマルチシリーズのブログ投稿の最初のパートでは、スケーラブルなトレーニングパイプラインの作成方法と、Comprehendカスタム分類モデルのためのトレーニングデータの準備方法について学びます数回のクリックでAWSアカウントにデプロイできるカスタム分類トレーニングパイプラインを紹介します

このAI論文は、自律言語エージェントのためのオープンソースのPythonフレームワークである「Agents」を紹介しています

カスタマーサービス、コンサルティング、プログラミング、執筆、教育などのタスクでは、言語エージェントは人間の労力を削減することができ、人工一般知能（AGI）に向けた潜在的な第一歩となります。AutoGPTやBabyAGIなどの言語エージェントの潜在能力を示す最近のデモンストレーションは、研究者、開発者、一般の観客から多くの注目を浴びています。経験豊かな開発者や研究者でも、これらのデモやリポジトリのほとんどは、エージェントをカスタマイズ、設定、展開するのに適していません。これは、これらのデモンストレーションが、言語エージェントの潜在能力を強調する概念実証の一環であり、徐々に開発およびカスタマイズ可能なフレームワークではないためです。さらに、研究によると、これらのオープンソースソースの大多数は、ジョブの分解、長期記憶、ウェブナビゲーション、ツールの使用、複数エージェントの通信など、基本的な言語エージェントの機能のほんの一部しかカバーしていないことがわかっています。また、現在使用されている言語エージェントフレームワークのほとんど（もしくはすべて）は、短いタスクの説明とLLMの計画と行動能力に完全に依存しています。異なる実行間での高いランダム性と一貫性のため、言語エージェントは修正や微調整が困難であり、ユーザーエクスペリエンスが低いです。 AIWaves Inc.、浙江大学、ETH Zürichの研究者は、LLMを活用した言語エージェントをサポートするオープンソースの言語エージェントライブラリおよびフレームワークであるAGENTSを提案しています。AGENTSの目標は、言語エージェントのカスタマイズ、調整、展開を可能な限り簡単にすることです。非専門家でも利用できるようにする一方で、プログラマーや研究者にとっても拡張性のあるプラットフォームであることも重要です。ライブラリは以下のコア機能も提供しており、これらを組み合わせることで柔軟な言語エージェントのプラットフォームとなっています。長短期記憶：AGENTSはメモリコンポーネントを組み込み、言語エージェントがスクラッチパッドを使用して短期作業メモリを定期的に更新し、VectorDBと意味検索を使用して長期記憶を保存および取得することができます。ユーザーは設定ファイルのフィールドに値を入力するだけで、エージェントに長期記憶、短期記憶、または両方を与えるかどうかを決定できます。ウェブナビゲーションとツールの使用：外部ツールの使用とインターネットの閲覧能力は、自律エージェントのもう一つの重要な特性です。AGENTSはいくつかの一般的に使用される外部APIをサポートし、他のツールを簡単に組み込むための抽象クラスを提供しています。ウェブ検索とナビゲーションを特殊なAPIとして分類することにより、エージェントがインターネットを閲覧し情報を収集することも可能にしています。複数エージェントの相互作用：AGENTSはカスタマイズ可能なマルチエージェントシステムとシングルエージェントの機能を許可しており、ゲーム、社会実験、ソフトウェア開発など、特定のアプリケーションに有用です。AGENTSの「動的スケジューリング」機能は、マルチエージェント間の通信において新しい機能です。動的スケジューリングにより、コントローラーエージェントが「モデレーター」として機能し、役割と最近の履歴に基づいて次のアクションを実行するエージェントを選択することができます。動的スケジューリングを使用すると、複数のエージェント間でより柔軟かつ自然なコミュニケーションが可能です。開発者は設定ファイルでコントローラーのルールを定義することで、コントローラーの動作を簡単に変更できます。人間とエージェントの相互作用：AGENTSは単一エージェントおよびマルチエージェントのシナリオで、1人以上の人間と言語エージェントの相互作用とコミュニケーションを可能にします。制御性：AGENTSは、標準的な作業手順（SOP）として知られる象徴的な計画を使用して、制御可能なエージェントの開発に革新的なパラダイムを提供します。SOPは、エージェントがタスクを実行する際に直面するさまざまな状況と、状態間の遷移ルールを記述したグラフです。AGENTSのSOPは、特定の活動や手順を実行する方法を詳細に指定した、手作業で記録された詳細な指示の集合です。これは現実の世界のSOPに似ています。LLMは、ユーザーが個別に変更および微調整しながらSOPを生成することができます。展開後、エージェントは各状態に対して設定された指示と基準に従って動作し、外部の世界、人々、他のエージェントとの相互作用に応じて現在の状態を動的に変更します。象徴的な計画の登場により、エージェントの振る舞いに対して細かい制御を提供し、安定性と予測性を向上させ、調整とエージェントの最適化を容易にします。チームは、AGENTSが言語エージェントの研究者にとって研究をより容易にし、言語エージェントを活用したアプリケーションを作成する開発者にとっても便利になり、非技術的なユーザーでも独自の言語エージェントを作成および変更できるようになることを望んでいます。

Amazon SageMakerで@remoteデコレータを使用してFalcon 7Bやその他のLLMを微調整する

今日、生成型AIモデルはテキスト要約、Q&A、画像やビデオの生成など、さまざまなタスクをカバーしています出力の品質を向上させるために、n-短期学習、プロンプトエンジニアリング、検索補完生成（RAG）およびファインチューニングなどの手法が使用されていますファインチューニングにより、これらの生成型AIモデルを調整して、ドメイン固有の改善されたパフォーマンスを達成することができます

「Pythonにおけるパスの表現」

Pythonでパスを適切にコーディングする方法パスを文字列で表現せず、代わりにpathlibを使用する理由を理解する方法

「生産性を最大化するための5つの最高のAIツール」

VoAGIは、生産性を最大限に引き上げるためのさまざまな5つのAIツールをレビューしていますぜひご覧いただき、私たちのおすすめをご覧ください

Artificial Intelligence

「LangChain、Activeloop、そしてGPT-4を使用して、Redditのソースコードをリバースエンジニアリングするための分かりやすいガイド」

この記事では、Redditのバージョン1のソースコードをリバースエンジニアリングして、その動作をより理解します

「LangchainとDeep Lakeでドキュメントを検索してください！」

イントロダクション langchainやdeep lakeのような大規模言語モデルは、ドキュメントQ&Aや情報検索の分野で大きな進歩を遂げています。これらのモデルは世界について多くの知識を持っていますが、時には自分が何を知らないかを知ることに苦労することがあります。それにより、知識の欠落を埋めるためにでたらめな情報を作り出すことがありますが、これは良いことではありません。しかし、Retrieval Augmented Generation（RAG）という新しい手法が有望です。RAGを使用して、プライベートな知識ベースと組み合わせてLLMにクエリを投げることで、これらのモデルをより良くすることができます。これにより、彼らはデータソースから追加の情報を得ることができ、イノベーションを促進し、十分な情報がない場合の誤りを減らすことができます。 RAGは、プロンプトを独自のデータで強化することによって機能し、大規模言語モデルの知識を高め、同時に幻覚の発生を減らします。学習目標 1. RAGのアプローチとその利点の理解 2. ドキュメントQ&Aの課題の認識 3. シンプルな生成とRetrieval Augmented Generationの違い 4. Doc-QnAのような業界のユースケースでのRAGの実践この学習記事の最後までに、Retrieval Augmented Generation（RAG）とそのドキュメントの質問応答と情報検索におけるLLMのパフォーマンス向上への応用について、しっかりと理解を持つことができるでしょう。この記事はデータサイエンスブログマラソンの一環として公開されました。はじめにドキュメントの質問応答に関して、理想的な解決策は、モデルに質問があった時に必要な情報をすぐに与えることです。しかし、どの情報が関連しているかを決定することは難しい場合があり、大規模言語モデルがどのような動作をするかに依存します。これがRAGの概念が重要になる理由です。…

「Amazon QuickSightでワードクラウドとしてAmazon Comprehendの分析結果を可視化する」

自由形式のテキスト文書のリポジトリで洞察を探すことは、藁の中の針を探すようなものです従来のアプローチでは、単語のカウントや他の基本的な分析を使用して文書を解析することがありますが、Amazon AIと機械学習（ML）ツールの力を活用することで、より深い内容の理解を得ることができます[…]

Learn more about Search Results リポジトリ - Page 39