このAIの論文は、テキスト変換グラフとして言語モデルパイプラインを抽象化するプログラミングモデルであるDSPyを紹介しています

『美容とファッションの分野における豊富な知識を持つ美容とファッションの専門家が、鮮やかで活気に満ちた記事を頻繁に執筆しています』

言語モデル（LM）は、リサーチャーにデータを少なく使用し、より高度な理解レベルで自然言語処理システムを作成する能力を与えています。これにより、「プロンプト」メソッドや軽量なファインチューニングの技術が増加し、新しいタスクにおいてLMが動作するための方法が開発されています。ただし、問題は、各タスクごとにLMに尋ねる方法が非常に敏感であることであり、単一のプロセスで複数のLMの相互作用がある場合にこの問題がさらに複雑になります。

機械学習（ML）コミュニティは、言語モデル（LM）をプロンプトする方法や複雑なタスクに取り組むためのパイプラインの構築方法を積極的に探索しています。残念ながら、既存のLMパイプラインはしばしば、試行錯誤を重ねて見つけられた長い文字列である「プロンプトテンプレート」に依存しています。LMパイプラインの開発と最適化におけるより体系的なアプローチを追求するために、スタンフォードなどのさまざまな機関の研究者チームは、DSPyというプログラミングモデルを導入しました。DSPyは、LMパイプラインをテキスト変換グラフに抽象化するものです。これらは基本的には命令型の計算グラフであり、LMは宣言型モジュールを通じて呼び出されます。

DSPyのモジュールはパラメータ化されており、提示、ファインチューニング、拡張、推論技術の組み合わせを適用する方法を学習できます。彼らはDSPyパイプラインを最大化するためのコンパイラを設計しました。

• 「取得した文書の圧縮は言語モデルのパフォーマンスを向上させることができるのか？このAIの論文では、圧縮と選択的な拡張によって検索増強型LMを改良するためのRECOMPを紹介しています」
• なぜ人々は人工知能AIを恐れているのか？
• 「DiffPoseTalk（デフポーズトーク）をご紹介：新しい音声対応3Dアニメーション人工知能フレームワーク」

DSPyコンパイラは、DSPyプログラムの品質やコスト効率を向上させることを目的として開発されました。コンパイラは、プログラム自体と、オプションのラベルとパフォーマンス評価のための検証メトリックを含む、少量のトレーニング入力を入力として受け取ります。コンパイラの動作は、提供された入力を使用してプログラムの異なるバージョンをシミュレートし、各モジュールのための例のトレースを生成することに関与します。これらのトレースは、自己改善の手段として使用され、効果的なフューショットプロンプトの作成やパイプラインのさまざまな段階での小規模な言語モデルのファインチューニングに活用されます。

重要な点として、DSPyの最適化方法は非常に柔軟です。彼らは「テレプロンター」と呼ばれる手法を使用しており、システムの各部分がデータから最善の方法で学習することを保証するための一般的なツールのようなものです。

2つの事例研究を通じて示されたように、簡潔なDSPyプログラムは、数学のワード問題の解決、マルチホップリトリーバルの処理、複雑な質問に答える、エージェントループを制御するなどの高度なLMパイプラインを表現し最適化することができます。コンパイル後のわずか数分で、わずか数行のDSPyコードを使用して、GPT-3.5やllama2-13b-chatを自己ブートストラップパイプラインにすることができ、従来のフューショットプロンプトに比べて25％以上および65％以上の性能を実現します。

結論として、本研究はDSPyプログラミングモデルとその関連するコンパイラを介して自然言語処理への画期的なアプローチを紹介しています。複雑なプロンプト技術をパラメータ化された宣言型モジュールに変換し、一般的な最適化戦略（テレプロンター）を活用することで、これによるNLPパイプラインの構築と最適化を非常に効率的に行う新しい方法を提供しています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!