大規模な言語モデルを税理士として活用する：このAI論文は、税法の適用におけるLLMの能力を探求します

大規模な言語モデルを税理士として活用する：このAI論文は、税法の適用におけるLLMの能力を探求します' Condensed result '大規模な言語モデルを税理士として活用するAI論文：税法の適用におけるLLMの能力を探求

AIの進歩が進んでいます。大規模言語モデル（LLM）は急速に進化しています。現代のLLMは、ツールを使用し、計画を立て、標準化された評価を通過することができます。しかし、LLMはその作成者にとっても単なる神秘的な箱です。内部の思考方法についてはあまり知られておらず、LLMが新しい状況でどのように行動するかを予測することはできません。研究の範囲外でモデルを使用する前に、LLMのパフォーマンスを長いベンチマークリストで評価するのがベストプラクティスです。しかし、これらのベンチマークは、しばしばLLMのトレーニング中に記憶されたかもしれない私たちにとって重要な実世界の活動を反映する必要があります。パフォーマンス評価に必要なデータは、LLMのトレーニングに使用されるデータセットに一般的に含まれており、これらのデータセットは頻繁にインターネットからダウンロードされます。

重複はモデルのパフォーマンスを過大評価し、単純な認識だけであるように理解される印象を作り出す可能性があります。彼らは特に、三つの理由からLLMの法的な分析スキルに評価の努力を集中させています。まず、LLMが法律をどれだけ理解しているかを判断することは、LLMや自動化システムのより一般的な規制に役立ちます。政策に関連する戦略の一つは、「法律に基づいたAI」において、民主的な手続きと立法によって確立された社会的な理念に沿った「法律に基づいたAI」をLLMに利用することです。この「法律がコードに影響を与える」戦略は、反復的な審議と訴訟を通じて信託義務などの柔軟な法的規範を生成する民主的なプロセスの実証された能力に基づいています。法の精神を教えることで、AIシステムが未知の状況で弁護可能な決定を下すのに役立つという考え方です。LLMを搭載したシステムが人間の原則を支持する場合、信託責任が違反されたときに検出するこの初期の能力は、より安全なAIの展開を可能にするかもしれません。第二に、自己サービスまたは資格のある弁護士を通じて、LLMは人々がより迅速かつ効果的に法的サービスを提供するためのツールとして利用されるかもしれません。法律をよりよく理解できる場合、モデルはより信頼性が高く価値があるかもしれません。LLMは、ケース予測から契約分析までさまざまな活動に役立つことがあり、法的援助へのアクセスを民主化し、法制度を理解するのが困難な個人にとっての費用と複雑さを低下させるかもしれません。

法的業務の繊細さを考慮すると、これらのモデルが実装される際には特定の保護措置が必要です。これには、データプライバシーの向上、偏見の減少、これらのモデルの選択に対する責任の維持、および特定のユースケースに対するLLMの適用可能性の評価が含まれます。したがって、体系的な評価が必要です。第三に、LLMが十分な法的知識を持っている場合、政府、人々、学者によって法的な矛盾点を見つけるために使用されるかもしれません。LLMは政府の全体的な効果と透明性を向上させることができます。たとえば、LLMは複雑な規則や規制をわかりやすく説明することができることがよくあります。

• ロラハブにお会いしましょう：新しいタスクにおいて適応性のあるパフォーマンスを達成するために、多様なタスクでトレーニングされたロラ（低ランク適応）モジュールを組み立てるための戦略的なAIフレームワーク
• 「プログラミング言語の構築方法：成功への（困難な）道のり」
• モジラのコモンボイスでの音声言語認識 — Part I.

将来的には、LLMは新しい法律や政策の予想される影響を予測することができるかもしれません。LLMは、膨大な量の法的言語と関連する実施方法をスキャンすることで、立法府や規制当局がガイドラインを与える他の類似のケースで、法が沈黙している可能性のある「時代遅れの」法律を特定することができるかもしれません。この研究では、スタンフォード大学、ミシガン大学、ワシントン大学、南カリフォルニア大学、ノースウェスタン・プリッツカー法科大学院、およびSimPPLの研究者が、米国法典（連邦法のコレクション）および米国連邦規則（CFR）のテキストを使用したリトリーバル増強型LLMの作成を調査しています。彼らは税法の理解を進化させるために、一群のLLMの税法の理解を評価しました。彼らは税法を選んだ理由が4つあります。

税法の法的権限は、主にCFRの下の財務省規則と米国法典第26編（一般に内国歳入法として知られています）に含まれています。これは、教義が複数の先例から抽出される多くの法的領域とは対照的です。これにより、事前に定義された関連文書の事前定義された宇宙を使用してLLMのリトリーバルを補完することができます。第二に、多くの税法は問いに確定的な回答を許可します。これにより、一貫した自動的な検証ワークフローを設定することができます。第三に、特定のケースに対する税法の質問には、通常、関連する法的権限を単に読む以上のことが必要です。そのため、LLMの能力を実際の実務に適用する方法で評価することができます。第四に、税法はほとんどの市民や企業の日常的な経済活動に大きな影響を与えています。LLMのみを使用したり、基になる法的テキストとLLMを統合したり、さまざまなリトリーバル手法（異なるリトリーバル方法間での比較を行ったり）を含むいくつかの実験的なセットアップを使用して、LLMが税法の数千の問い合わせに対して生成する回答の正確さを評価します。私たちは、最も小さく最も弱いモデルから最も大きな現代のモデルであるOpenAIのGPT-4まで、さまざまなLLMの範囲でこれらのテストを行いました。私たちが調査した各LLMは、最初に提供されたときに最新のものでした。

彼らは、LLMsの法的理解能力の開発の証拠を発見し、徐々に大きなモデルを分析することで、各モデルのリリースごとに向上させています。もし技術が急速に成長し続けるならば、彼らはまもなく超人的なAIの法的能力の発展を目撃するかもしれません。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!