このAI論文では、Complexity-Impacted Reasoning Score(CIRS)を紹介していますこれは、大規模な言語モデルの推論能力を向上させるためのコードの複雑さの役割を評価するものです

This AI paper introduces Complexity-Impacted Reasoning Score (CIRS) to evaluate the role of code complexity in improving the inference ability of large language models.

大規模言語モデル(LLM)は、具現化された人工知能の問題解決における汎用的なアプローチとなっています。効率的な制御のためにエージェントが環境の意味的な微妙さを理解する必要がある場合、LLMの推論能力は具現化されたAIにおいて重要です。最近の方法である「思考のプログラム」では、プログラミング言語を課題を解決するための改善されたプロンプトシステムとして使用しています。思考のプログラムプロンプトは、チェーン思考プロンプトとは異なり、問題を実行可能なコードセグメントに分割し、それらを一度に処理します。ただし、プログラミング言語の使用とLLMの思考能力の関係については、まだ十分な研究が行われていません。思考のプログラムプロンプトは、どのような場合に推論に対して機能するのか、依然として重要な問いとなります。

本論文では、コードの推論段階とLLMの推論能力との関係を評価するための包括的な指標である「複雑度に影響を与える推論スコア(CIRS)」を提案しています。彼らは、プログラミング言語が複雑な構造のモデリングの改善された手法であるために、直列化された自然言語よりも優れていると主張しています。また、手続き志向の論理は、複数のステップを含む困難な思考を解決するのに役立ちます。そのため、彼らが提案する指標は、構造と論理の両面からコードの複雑さを評価します。具体的には、彼らは抽象構文木(AST)を使用してコードの推論段階(根拠)の構造的複雑さを計算します。彼らの方法では、ASTを木として表現するために3つのAST指標(ノード数、ノードタイプ、深さ)を使用し、コードの構造情報を包括的に理解します。

浙江大学、東海研究所、シンガポール国立大学の研究者は、HalstedとMcCabeの考え方に触発され、コーディングの難易度とサイクロマティック複雑度を組み合わせることで論理の複雑さを決定する方法を開発しました。したがって、コードの演算子、オペランド、制御フローを考慮することが可能です。彼らはコード内の論理の複雑さを明示的に計算することができます。彼らが提案するCIRSを使用した経験的な調査により、現在のLLMがコードなどの象徴的な情報を制限された理解しか持っていないこと、すべての複雑なコードデータがLLMによって教えられ理解されるわけではないことが明らかになりました。低複雑度のコードブロックは必要な情報が不足していますが、高複雑度のコードブロックはLLMにとって理解するのが難しすぎる場合があります。LLMの推論能力を効果的に向上させるためには、適切な複雑度(構造と論理の両方)を持つコードデータのみが必要です。

彼らは、推論能力に最も優れたデータを生成および除外するデータを自動的に合成して分類する方法を提供しています。彼らはこのアプローチを2つの異なる状況で使用しています:(1)数学的思考を必要とする活動のための手順の作成の指示の指示。 (2)コード作成を含む活動のためのコードデータのフィルタリング。彼らの提案する戦略は、数学的な推論においてベースラインモデルよりも優れた成績を収め、コード作成の課題においても成功を示しています。

この論文への彼らの貢献は以下の通りです:

• 推論データの難しさを測定する独自のアプローチであるCIRSを提案しています。論理的および構造的な観点からコードデータを分析する彼らの方法は、コードの複雑さと推論能力の関係を正確に測定することができます。

• 異なる複雑度レベルの影響を経験的に分析し、LLMが学習できる適切な程度のコード言語をプログラムの思考プロンプトの推論能力の鍵として特定しています。

• 自動合成および分類アルゴリズムを作成し、数学的思考を必要とする仕事のためのコードデータのフィルタリングと指示の作成に彼らの方法を使用しています。多くの結果が彼らの提案する視点の有効性を支持しています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

AIニュース

マイクロソフトがアメリカの労働組合と手を結び、AI労働力に関する議論に参加します

Microsoftは最近、労働組合アメリカ連邦労働総評議会(AFL-CIO)と包括的な対話を開始するために、人工知能(AI)が労働力に...

人工知能

「5つ星アプリを構築する:AIと自動化を利用したモバイルテストの向上」

ソフトウェア開発チームは、高品質なモバイルアプリ体験を提供するために、強力で低コストのツールが必要ですAIと自動化は解...

機械学習

「生成AI解放:ソフトウェアエンジニアのためのMLOpsとLLMデプロイメント戦略」

「ジェネラティブAIの活用と未踏の可能性を引き出すためのMLOps戦略とLLM展開ソリューションを探索することで、AIイノベーシ...

機械学習

PythonでのChatGPT統合:AI会話の力を解き放つ

このブログでは、PythonとのChatGPTの統合について掘り下げ、さまざまなアプリケーションにChatGPTをPythonと統合する方法に...

データサイエンス

「GATE DA 2024のサンプル問題集」

導入 GATE 2024の志望者の皆さん、素晴らしいニュースです!インド科学研究所(IISc)が、今後のGATE試験のためのサンプル問...

AIニュース

イーロン・マスクのxAI企業は資金に関する憶測に直面しています

最近の出来事で、イーロン・マスクの人工知能ベンチャー、xAIが資金調達活動に関する噂で注目を浴びています。マスクの会社は...