「組み込まれた責任あるAIプラクティスを持つ大規模言語モデル（LLM）におけるプロンプトエンジニアリングの進化トレンド」

Evolution trend of prompt engineering in large language models (LLM) with embedded responsible AI practices

編集者注：Jayachandran RamachandranとRohit Srochは、8月22日から23日にかけてODSC APACで講演します。ぜひ彼らのトーク「組み込み責任あるAIプラクティスを備えた大規模言語モデル（LLM）におけるプロンプトエンジニアリングの進化するトレンド」をチェックしてください！

Transformerアーキテクチャの出現により、データと計算能力の両方を効率的に活用する設計が導入され、自己教師付きのTransformerモデルの予備学習により、さまざまなNLPタスクにおいて優れた能力を発揮することが示されました。モデルスケーリングの影響をより深く探る中で、パラメータスケールをさらに大きくすることで、これらの拡大言語モデルはパフォーマンスの向上だけでなく、推論能力の向上も示すことがわかりました。これにより、In-context learning (ICL)の時代が訪れ、大規模言語モデル（LLM）が基盤能力を示すことができるようになりました。これらのモデルは、タスク固有の微調整だけに依存せず、注意深く設計されたプロンプトで特定のタスクを実行できるようになりました。

大規模言語モデル（LLM）の出現により、人工知能の領域で新たな時代が幕を開け、さまざまなセクターの組織において可能性を再構築しています。GPT-4、PaLM-2、Llama-2などのLLMは、Generative AIの急増を推進し、技術とビジネスの景観を変える革新的なアプリケーションを生み出しています。企業の検索の向上から会話型ボットやコンテンツ生成の推進まで、LLMはかつて遠い存在と考えられていたユニークな機能を可能にしています。ただし、この変革的なシフトにはさまざまな課題も伴います。

• 大規模言語モデルとは何ですか？
• 「生成AIの布地を調整する：FABRICは反復的なフィードバックで拡散モデルを個別化するAIアプローチです」
• スタビリティAIは、コーディングのための最初のLLMジェネレーティブAI製品であるStableCodeのリリースを発表します

このブログ記事では、LLMの領域で絶えず進化する研究を明らかにし、主要な倫理的考慮事項に対処し、内部の使用事例を示すことで、AIの実践者やクライアントに実用的なガイダンスを提供し、LLMアプリケーションの責任ある開発を支援することを目指しています。要するに、以下の4つの重要な次元について探求し、変革の潜在能力と進化する景観を探ります。

図1：LLMをさまざまなビジネスユースケースに採用するための4つの重要な次元のテックスタックのイラスト

1. プロンプトエンジニアリング：LLMを効果的な指示理解と実行に導くために、洗練されたプロンプトを使ってLLMを誘導することが目標です。効率的なLLMの活用の核心には、LLMを効果的に誘導するプロンプトの作成術があり、信頼性のある応答を可能にします。ゼロ/フューショット、Chain-of-Thought（CoT）/ Self-Consistency、ReActなどのさまざまなプロンプティング技術を活用して、LLMの出力を誘導します。

2. プロンプトの完了の評価：目標は、タスクとドメインを横断してLLMのパフォーマンスを評価するための効果的な評価基準を確立することです。LLMのパフォーマンスを測定することは、LLMの効果を評価するために徹底的な評価基準を求める複雑な課題です。以下の評価基準とフィードバックのメカニズムを紹介し、LLMを最適なパフォーマンスと持続的な改善に導くための手段を示します。

1. 自動評価
2. 共通評価基準
3. 人間の評価
4. カスタムモデルの評価

3. LLMの最適化と展開：目標は、LLMへのアクセシビリティの向上、効率的でコスト効果の高いファインチューニングと展開のためのPEFTメソッドの適用です。パラメータエフィシエントファインチューニング（PEFT）メソッドとQLoRAに基づく量子化により、LLMはさらにアクセス可能で実現可能なタスク固有の適応性を持つようになりました。これらの方法により、LLMは効果的に微調整されるだけでなく、最小限の計算ニーズとコストで展開され、現実世界のアプリケーションのリソース制約と一致します。

4. 責任あるAI：目標は、LLMにおける倫理的な考慮事項を強調し、AIアプリケーションのユーザーに対する信頼を育むための措置を講じることです。LLMがAIアプリケーションに不可欠な存在となるにつれて、倫理的な考慮事項が中心になります。以下の欠かせない責任あるAIの原則を紹介し、機密情報の保護、信頼の向上、バイアスの検出によって、消費者の信頼を育み、AIによる結果が社会的な価値と一致することを保証します。

1. 公正性/バイアス
2. 説明可能性
3. プライバシー
4. セキュリティ

Course5 AI Labsでは、先端的な応用研究、イノベーション、迅速な実験を通じて、人工知能（AI）の分野での進歩を推進しています。私たちのAI-Powered Augmented Analyticsソリューションの1つであるCourse5 Discoveryでは、ビジネスユーザーが自然なクエリを行い、記述的な、予測的な、指示的な洞察を消費することができます。ここでは、上記の4つの次元をCourse5 Discoveryに適用するプロセスフローを示します。これは、Text to SQLアプリケーションに一般化できます。

図2：Course5 Discovery for Text to SQLアプリケーションに4つの次元を適用したイラスト

LLM（Large Language Models）に基づいたAIアプリケーションでは、最初にLLMにガイダンスとしてメタデータを提供するカスタムモデルを使用することをお勧めします。このトレーニング可能なカスタムモデルは、上記のフィードバックループを通じて徐々に改善することができます。

ODSC APAC 2023での私たちの今後のトークで詳細を学びましょう：

GPT、Llama、PaLMなどのLLM（Large Language Models）の登場により、AIの領域が革新され、技術とビジネスエコシステムを再構築することが可能になりました。これらのモデルは、企業の検索、トピックの識別、要約、会話ボット、コンテンツ生成など、ユニークな機能を作成するのに役立っています。LLMは、既製のアプリケーション、プロンプトエンジニアリング、モデルの微調整など、さまざまな手段を通じて活用されています。早期の成功も見られますが、さまざまなビジネスケースに対してLLMを採用するには課題もあり、まだ進化中の領域です。このトークでは、Prompt Engineering、Evaluation、Model Optimization & Deployment、Responsible AIなどの4つの重要な次元に焦点を当て、LLMの最先端の側面について探究します。

著者について：

Rohit Srochは、Course5 IntelligenceのArtificial Intelligence LabsでシニアAI科学者として勤務しており、自然言語処理と音声の分野で5年以上の経験を持っています。彼はCourse5 Products部門のためのAIシステムの概念化と開発に重要な役割を果たしています。同時に、最近数年間にわたりいくつかの研究論文を発表するなど、研究活動にも積極的に関与しています。また、AIの絶えず変化する風景への熱意は、彼に継続的な研究に参加し、最新の技術に常に精通する動機付けとなっています。

 

Jayachandran Ramachandranは、Course5 Intelligenceの人工知能ラボのシニアバイスプレジデント兼ヘッドです。彼は応用AI研究、イノベーション、知的財産開発を担当しています。彼は、小売業、CPG、テクノロジー、テレコム、金融サービス、製薬、製造業、エネルギー、公益事業など、さまざまな業界の豊富な経験を持つアナリティクスと人工知能（AI）の専門家であり、デザイン思考者でもあり発明家でもあります。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!