「Verbaに会ってください：自分自身のRAG検索増強生成パイプラインを構築し、LLMを内部ベースの出力に活用するためのオープンソースツール」

Verba an open-source tool to build a self-enhancing RAG search generation pipeline and utilize LLM for internal-based output.

Verbaは、RAGアプリにシンプルで使いやすいインターフェースを提供するオープンソースプロジェクトです。データにダイブして関連する会話をすばやく開始することができます。

Verbaは、データのクエリと操作に関する単なるツールではなく、むしろコンパニオンです。文書間の書類作成、比較、数値セット間の対比、データ分析など、WeaviateとLarge Language Models（LLMs）を通じて、Verbaはこれらすべてを実現することができます。

Weaviateの先端的なGenerative Searchエンジンに基づいて、Verbaは検索を実行するたびに必要な背景情報を自動的に取得します。LLMsの処理能力を使用して、徹底的でコンテキストに即したソリューションを提供します。Verbaのわかりやすいレイアウトにより、これらすべての情報を簡単に取得することができます。Verbaのわかりやすいデータインポート機能は、.txt、.mdなどさまざまなファイル形式をサポートしています。データをWeaviateにフィードする前に、技術はデータのチャンキングとベクトル化を自動的に実行し、検索と取得に適した形式にします。

• 高性能意思決定のためのRLHF：戦略と最適化
• 「ResFieldsをご紹介します：長くて複雑な時間信号を効果的にモデリングするために、時空間ニューラルフィールドの制約を克服する革新的なAIアプローチ」
• ディープラーニングによる触媒性能の秘密の解明：異種触媒の高精度スクリーニングのための「グローバル+ローカル」畳み込みニューラルネットワークのディープダイブ

Verbaを使用する際には、Weaviateの作成モジュールとハイブリッド検索オプションを利用してください。これらの高度な検索方法は、重要な文脈の断片を探し出すために論文をスキャンし、それを元にLarge Language Modelsが照会に対して詳細な応答を提供します。

将来の検索の速度を向上させるために、Verbaは生成された結果とクエリをWeaviateのSemantic Cacheに埋め込みます。質問に答える前に、VerbaはSemantic Cacheを調べて、すでに似たような質問に回答されているかどうかを判断します。

データ入力とクエリ機能を有効にするには、デプロイメントの方法に関係なくOpenAI APIキーが必要です。プロジェクトをクローンする際に、APIキーをシステムの環境変数に追加するか、.envファイルを作成してください。

Verbaは、特定のユースケースに応じてさまざまな方法でWeaviateインスタンスに接続することができます。VERBA_URLおよびVERBA_API_KEYの環境変数が存在しない場合、VerbaはWeaviate Embeddedを使用します。プロトタイピングやテストのためにWeaviateデータベースを起動する最も簡単な方法は、このローカルデプロイメントです。

Verbaは、さらなる処理のためのデータのインポートに関する簡単な指示を提供します。続行する前に、OpenAIアクセスキーの設定に基づいてデータのインポートにはお金がかかることに注意してください。OpenAIモデルはVerbaのみで使用されます。APIキーの料金はこれらのモデルの使用料にかかります。データの埋め込みと回答の生成が主なコスト要素です。

https://verba.weaviate.io/ で試すことができます。

Verbaには3つの主要なパートがあります：

• Weaviate Cloud Service（WCS）またはサーバー上でWeaviateデータベースをホストすることができます。
• このFastAPIエンドポイントは、Large Language ModelプロバイダーとWeaviateデータストアの間を仲介します。
• React Frontend（FastAPI経由で提供される静的コンテンツ）は、データの探索と操作のためのダイナミックなユーザーインターフェースを提供します。開発。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!