『中にFunSearch：GoogleのDeepMindの新しいLLM、新しい数学とコンピューターサイエンスのアルゴリズムを見つけることができる』

『中で楽しい検索：GoogleのDeepMindが新しいLLM、数学、およびコンピューターサイエンスのアルゴリズムを見つけることができる』

新モデルはコード生成LLMSと強力な評価技術を組み合わせています。

私は最近、AIにフォーカスした教育ニュースレターを始めました。すでに16万人以上の購読者がいます。TheSequenceは、5分で読めるMLを中心としたニュースレターで、傍目に見える情報（ハイプやニュースなど）は一切なく、機械学習のプロジェクト、研究論文、コンセプトに関して最新の情報を提供することを目的としています。ぜひ以下から購読して試してみてください：

TheSequence | Jesus Rodriguez | Substack

機械学習、人工知能、データの最新動向について最も信頼できる情報源

thesequence.substack.com

新しい科学の発見は、AIモデルの最も完全なチューリングテストかもしれません。新しい科学的手法では、多くの分野からの知識を組み合わせた複雑な推論能力、継続的な実験と評価、その他多くの複雑な認知能力が必要とされます。Google DeepMindは、AIを使用して新しい科学的発見への道を効率化する先駆的なAI研究所の一つです。AlphaGoなどのモデルは、新しいタンパク質の発見を可能にし、AlphaTensorは古典的な行列乗算アルゴリズムの改善に成功しました。Google DeepMindのこの領域における最新の取り組みは、FunSearchというモデルです。FunSearchは、新しい数学とコンピュータサイエンスのアルゴリズムを作成できたモデルです。FunSearchは、”コードを思考する”という賢明なアプローチを提供します。基本的に、FunSearchは、与えられた問題のための一連の関数に基づいてコンピュータプログラムを生成するためにLLMを使用し、その後、評価子を用いて異なる解を証明します。FunSearchという名前は、このモデルが関数空間を反復的に探索することに由来しています。

• このAI論文では、既知のカメラパラメータなしで新しい視点合成を行うために、COLMAP-Free 3D Gaussian Splatting（CF3DGS）を提案しています
• AIの物体認識をどのように進化させることができるのか？ このAIの論文は、強化された画像と動画の分析のための普遍的な物体レベルの基礎モデルGLEEを紹介します
• 「このAI論文調査は、医学における大規模言語モデル（LLMs）の役割、課題、原則、応用について取り上げています」

FunSearchの内部

FunSearchは、進化的な手法と言語モデル(LLM)の組み合わせを基にしています。これにより、最も優れたプログラミングのアイデアが磨かれ、向上することが可能です。このプロセスでは、問題がユーザーによって提供され、コード形式で示されます。これには評価手順とシードプログラムが含まれます。このシードプログラムは、さらなる開発のためのプログラムのコレクションを起動します。

FunSearchはいくつかの主要な要素に基づいています：

1. 問題の指定：ユーザーは「評価」関数の形式で問題を提供し、潜在的な解に対して評価を行います。また、進化プロセスを開始するために、しばしば単純なプログラムも含まれます。

2. 事前学習されたLLM：FunSearchは、広範なコードを対象に詳細なトレーニングを受けたCodeyを使用しています。Codeyは、コードの問題に特化したトレーニングを行うことなく機能し、関数の拡張を提案するのに重要な役割を果たします。

3. 評価：FunSearchのこのコンポーネントでは、LLMによって生成されたプログラムを特定の入力に基づいてスコアリングします。次元や組み合わせ最適化問題の場合、これらの入力はタスクの具体的な要件に応じて変化します。

4. プログラムデータベース：このデータベースには、正確なプログラムの多様なコレクションが保持されており、進化プロセスにおける新しいプロンプトの生成と局所的な最適解の回避に重要です。

5. プロンプト：FunSearchは、「ベストショットプロンプティング」という方法を使用し、データベースからプログラムを選択しランキングし、そのパフォーマンスに基づいてバージョン番号を割り当てます。

6. 分散システム：FunSearchのこのコンポーネントには、プログラムデータベース、サンプラー、および評価者の3つの主要なコンポーネントが非同期で動作しています。データベースはプログラムを保管・配布し、サンプラーは事前学習されたLLMを使用して新しい関数を作成し、評価者はこれらのプログラムの有効性を判断します。この複雑なシステムは、Google DeepMindがプログラム進化の分野を推進するために採用している総合的かつダイナミックなアプローチを示しています。

FunSearchでの活躍

FunSearchを評価するために、Google DeepMindは数学とコンピュータサイエンスのいくつかの象徴的な問題に取り組むことにしました。

問題1: キャップセットの問題

最初の挑戦は、数学界の長年のパズルであるキャップセットの問題でした。この問題は、直線を形成しないような高次元グリッド内の最大の点群を特定することを目的としています。ウィスコンシン大学マディソン校の数学教授ジョーダン・エレンバーグと協力し、この分野で重要な突破口を作ったGoogle DeepMindは、極限組合せ論における影響を持つこの問題に取り組みました。従来のコンピューティング手法は、宇宙内の原子の総数さえ超える膨大な可能性のため、ここではうまくいかないのが一般的です。

FunSearchのこの分野での成果は素晴らしいものでした。これまでに知られている最大のキャップセットを発見するプログラムを生成し、この分野で20年以上ぶりの重要な進展を成し遂げました。それだけでなく、最も高度な計算ソルバーの能力を超越し、複雑な数学的課題の処理能力において優れた効率性を示しました。

問題2: ビンパッキング

Google DeepMindがFunSearchで取り組んだ2番目の問題は、実用的で広く関連するビンパッキングの問題です。この問題は、異なるサイズのアイテムを可能な限り少ない数のビンに効率的に詰めることを目的としており、物流からデータセンター管理まで多くの現実世界の応用において中心的な役割を果たしています。通常、この問題は人間の経験に基づくヒューリスティックルールに基づいて取り組まれますが、具体的な要件によって大きく異なることがあります。

FunSearchは再びその適応性を証明しました。キャップセットのチャレンジとは異なる性質であったにも関わらず、ビンパッキング問題への設定は簡単でした。このツールは、課題の具体的な詳細に合わせたカスタムプログラムを作成することで優れた成績を収めました。このプログラムは、従来のヒューリスティックルールよりも効率的なパッキングを実現し、より少ないビンの使用で達成しました。この成功は、FunSearchの柔軟性と様々な領域で問題解決を革新する潜在能力を示しています。

FunSearchは、今年公開された最も興味深い論文の一つであり、新しい科学の発見にLLMの潜在能力を示しています。数学やコンピュータサイエンスでの新しいアルゴリズムの発見は、それ自体驚くべき成果ですが、FunSearchの原則は科学の多くの他の領域にも適用されます。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!