このAI論文では、Complexity-Impacted Reasoning Score(CIRS)を紹介していますこれは、大規模な言語モデルの推論能力を向上させるためのコードの複雑さの役割を評価するものです

This AI paper introduces Complexity-Impacted Reasoning Score (CIRS) to evaluate the role of code complexity in improving the inference ability of large language models.

大規模言語モデル(LLM)は、具現化された人工知能の問題解決における汎用的なアプローチとなっています。効率的な制御のためにエージェントが環境の意味的な微妙さを理解する必要がある場合、LLMの推論能力は具現化されたAIにおいて重要です。最近の方法である「思考のプログラム」では、プログラミング言語を課題を解決するための改善されたプロンプトシステムとして使用しています。思考のプログラムプロンプトは、チェーン思考プロンプトとは異なり、問題を実行可能なコードセグメントに分割し、それらを一度に処理します。ただし、プログラミング言語の使用とLLMの思考能力の関係については、まだ十分な研究が行われていません。思考のプログラムプロンプトは、どのような場合に推論に対して機能するのか、依然として重要な問いとなります。

本論文では、コードの推論段階とLLMの推論能力との関係を評価するための包括的な指標である「複雑度に影響を与える推論スコア(CIRS)」を提案しています。彼らは、プログラミング言語が複雑な構造のモデリングの改善された手法であるために、直列化された自然言語よりも優れていると主張しています。また、手続き志向の論理は、複数のステップを含む困難な思考を解決するのに役立ちます。そのため、彼らが提案する指標は、構造と論理の両面からコードの複雑さを評価します。具体的には、彼らは抽象構文木(AST)を使用してコードの推論段階(根拠)の構造的複雑さを計算します。彼らの方法では、ASTを木として表現するために3つのAST指標(ノード数、ノードタイプ、深さ)を使用し、コードの構造情報を包括的に理解します。

浙江大学、東海研究所、シンガポール国立大学の研究者は、HalstedとMcCabeの考え方に触発され、コーディングの難易度とサイクロマティック複雑度を組み合わせることで論理の複雑さを決定する方法を開発しました。したがって、コードの演算子、オペランド、制御フローを考慮することが可能です。彼らはコード内の論理の複雑さを明示的に計算することができます。彼らが提案するCIRSを使用した経験的な調査により、現在のLLMがコードなどの象徴的な情報を制限された理解しか持っていないこと、すべての複雑なコードデータがLLMによって教えられ理解されるわけではないことが明らかになりました。低複雑度のコードブロックは必要な情報が不足していますが、高複雑度のコードブロックはLLMにとって理解するのが難しすぎる場合があります。LLMの推論能力を効果的に向上させるためには、適切な複雑度(構造と論理の両方)を持つコードデータのみが必要です。

彼らは、推論能力に最も優れたデータを生成および除外するデータを自動的に合成して分類する方法を提供しています。彼らはこのアプローチを2つの異なる状況で使用しています:(1)数学的思考を必要とする活動のための手順の作成の指示の指示。 (2)コード作成を含む活動のためのコードデータのフィルタリング。彼らの提案する戦略は、数学的な推論においてベースラインモデルよりも優れた成績を収め、コード作成の課題においても成功を示しています。

この論文への彼らの貢献は以下の通りです:

• 推論データの難しさを測定する独自のアプローチであるCIRSを提案しています。論理的および構造的な観点からコードデータを分析する彼らの方法は、コードの複雑さと推論能力の関係を正確に測定することができます。

• 異なる複雑度レベルの影響を経験的に分析し、LLMが学習できる適切な程度のコード言語をプログラムの思考プロンプトの推論能力の鍵として特定しています。

• 自動合成および分類アルゴリズムを作成し、数学的思考を必要とする仕事のためのコードデータのフィルタリングと指示の作成に彼らの方法を使用しています。多くの結果が彼らの提案する視点の有効性を支持しています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

データサイエンス

Generating AI(AIを生成する) vs マシンラーニング(機械学習):区別の解読

「ジェネラティブAIと機械学習を使ってデータ駆動型の意思決定の世界を探検しましょうデータ変換におけるそれぞれの違いと役...

データサイエンス

テキストから画像への革命:SegmindのSD-1Bモデルが最速のゲームで登場

紹介 Segmind AIは、画期的なオープンソースのテキストから画像への生成モデルであるSSD-1B(Segmind Stable Diffusion 1B)...

データサイエンス

ユーザーフィードバック - MLモニタリングスタックの欠けている部分

「AIモデルを数ヶ月もかけて実装し、何百万円も投資してみたけれど、誰も使ってくれないことって経験ありますか?採用の課題...

AI研究

「人間の活動認識におけるディープラーニング:このAI研究は、Raspberry PiとLSTMを使用した適応的なアプローチを導入し、位置に依存しない正確性を高めます」

ヒューマンアクティビティ認識(HAR)は、さまざまなセンサから収集したデータに基づいて、自動的に人間の活動を識別および分...

人工知能

「AIが航空会社のコントレイルによる気候への影響を軽減するのに役立っている方法」

「私たちはAIを使用して、航空会社がコントレイルの発生が少ないルートを選択するのを支援し、飛行の環境への影響を最小限に...

AIニュース

「LlaMA 2の始め方 | メタの新しい生成AI」

イントロダクション OpenAIからGPTがリリースされて以来、多くの企業が独自の堅牢な生成型大規模言語モデルを作成するための...