「マーシャンの共同創設者であるイータン・ギンスバーグについてのインタビューシリーズ」
「マーシャンの共同創設者イータン・ギンスバーグに迫るインタビューシリーズ」
イータン・ギンズバーグはMartianの共同創設者であり、プラットフォームはすべてのプロンプトを最適なLLMにダイナミックにルーティングします。Martianは、GPT-4を含む個々のプロバイダーよりも高いパフォーマンスと低コストを実現しています。このシステムは、会社独自のモデルマッピング技術に基づいており、複雑なブラックボックスからLLMをより解釈可能なアーキテクチャに展開するものであり、機械的な解釈可能性の最初の商業アプリケーションです。
イータンは、中学生の頃からクライアントのためにコーディング、ウェブデザイン、およびeビジネスの構築を行ってきました。イータンは多芸多才で、世界記憶選手権の競技者であり、中国・深センで開催された世界読書速度選手権で2位に入賞しました。
彼はヴィッドハッカソンの競技者でもあります。過去の受賞歴には、Tech Crunch SZでの3位、Princeton Hackathonでのトップ7ファイナリスト、およびYale Hackathonでの3つの業界賞が含まれます。
あなたは以前に2回のスタートアップを立ち上げましたが、これらの会社は何であり、この経験から何を学びましたか？
私の最初の会社はAmerican Ninja Warriorの普及と推進のための最初のプラットフォームでした。2012年当時、American Ninja Warriorはアンダーグラウンドなスポーツ（90年代のMMAに似たもの）と見なしており、人々がブループリントを購入したり、障害物を注文したり、トレーニングジムを見つけることができる最初のプラットフォームを作りました。私は自分のジムを始めようとする企業のコンサルティングも行い、米国特殊部隊のトレーニングコースの支援や、キッチンのナプキンにスケッチされた施設から3か月目で30万ドルの収益を得るまでのスケーリングを行いました。高校生であったにもかかわらず、私は20人以上のチームをマネージメントする経験をし、効果的なマネジメントや人間関係の構築について学びました。
私の2番目の会社は、2017年にICOブームの前に共同創設したオルタナティブ・アセット・マネジメント・カンパニーでした。これは私の初めてのNLPへの接触であり、社会メディアデータの感情分析を投資戦略として使用しました。
私はスタートアップを運営するために必要なさまざまなスキルを身につけました。チームのマネジメントからNLPの技術的な側面まで。同時に、自分自身について学び、何に取り組みたいかについても多くのことを学びました。私は、より広いビジョンや目標を持つ創業者が最も成功する企業を立ち上げると信じています。2017年に暗号通貨から離れ、人間の知性を補完し理解することに情熱を持って取り組みました。それを発見できてうれしかったです。
ペンシルベニア大学に在学中、AIの研究を行いましたが、具体的には何を研究していましたか？
私たちの研究はもともとLLMの応用アプリケーションの構築に焦点を当てていました。特に、LLMパワードの認知チューターを構築していました。初期の実験では、学生の成績向上で0.3の標準偏差の改善を確認しました。私たちのシステムはペンシルベニア大学からブータン大学まで使用されています。
この研究があなたをMartianの共同創設に導いた経緯について説明できますか？
LLMの上にアプリケーションを構築する最初の人々の一員であったため、LLMの上にアプリケーションを構築する際の問題にも直面しました。それが私たちの研究をインフラストラクチャのレイヤーに導きました。例えば、私たちは比較的早期に、GPT-3などの大きなモデルの出力を使用して、より小さなモデルをファインチューニングしたり、プログラミングや数学の解決のための専門のデータソースでモデルをファインチューニングしたりしました。それが結果的に、モデルの振る舞いを理解する問題やモデルのルーティングについての問題につながりました。
Martianの名前の起源と知性との関係も興味深いですが、この名前の選ばれ方のストーリーを共有できますか？
私たちの会社は、「The Martians」として知られる一群のハンガリー系アメリカ人科学者にちなんで名付けられました。この20世紀に存在したグループは、これまでに存在した最も優れた人々で構成されていました：
- 彼らの中でも最も有名なのはジョン・フォン・ノイマンで、彼はゲーム理論、現代のコンピュータアーキテクチャ、オートマトン理論を発明し、他の数十の分野で基本的な貢献をしました。
- ポール・エルディシュは、史上最も多産な数学者であり、1500以上の論文を発表しています。
- セオドア・フォン・カルマンは、空力学の基本理論を確立し、アメリカの宇宙計画の創設にも協力しました。地球と宇宙の間の境界は、彼の業績を称えて「カールマンライン」と名付けられています。
- レオ・シラードは、原子爆弾、放射線療法、および粒子加速器の発明者です。
これらの科学者と14人の他の科学者たちは、驚くべき類似点を共有していました-水素爆弾の発明者、現代物理学に群論を導入した人物、組合せ論、数論、数値解析、確率論などの分野に基本的な貢献をした人々を含む、彼らはみなブダペストの同じ地域で生まれました。それが人々に問いかけさせたのです-そんなに多くの知識の源泉は何だったのか？
それに対して、シラードは「マルチアンは既にここにいて、彼らはハンガリー人と呼んでいる！」と冗談を言いました。現実には…誰も知りません。
人類は現在、人工知能の可能性がある新しい超知能の考えに対して同様の立場にあります。人々はモデルが非常に賢いことを知っているが、それらがどのように動作するのかは全くわからないのです。
私たちの使命は、その疑問に答えることです-現代の超知能を理解し、活用することです。
驚異的な記憶力の歴史を持っていますが、どのようにしてこれらの記憶のチャレンジに没頭し、それがマルチアンのコンセプトにどのように役立ったのですか？
ほとんどのスポーツでは、プロのアスリートは一般人の2〜3倍の成績を収めることができます（アベレージな人がフィールドゴールをキックする距離やプロと比べてファストボールを投げる速さなどを比較してみてください）。記憶スポーツは興味深いのは、トップアスリートが通常のスポーツよりも少ないトレーニングで平均人よりも100倍または1000倍ものことを記憶することができるということです。さらに、これらは通常、平均的な自然な記憶力を持つ人々であり、誰でも学べる特定のテクニックにパフォーマンスをより良くするためにその成功を任せています。私は人類の知識を最大限に活用したいと思っており、世界の記憶選手権は人間の知能を高めるための非常に価値がある知見を提供していると考えました。
私は教育システム全体に記憶技術を導入したかったので、NLPとLLMが一般教育システムで最も効果的な教育方法の採用を妨げているセットアップコストの削減にどのように役立つかを調査し始めました。 Yashと私は最初のLLMパワードの認知チューターを作成し、それが現在私たちが解決するLLMデプロイメントの問題を発見することにつながりました。
マルチアンは基本的にどのLLMを使用するかという決定を抽象化していますが、なぜそれが現在の開発者にとって痛点なのですか？
言語モデルを作成することはますます容易になっています-計算コストが下がり、アルゴリズムが効率的になり、よりオープンソースのツールが利用可能になっています。その結果、より多くの企業や開発者がカスタムデータでトレーニングされたカスタムモデルを作成しています。これらのモデルは異なるコストと性能を持っているため、複数のモデルを使用することでより良いパフォーマンスを得ることができますが、それらをすべてテストし、適切なモデルを見つけることは困難です。私たちは開発者のためにそれをお手伝いします。
システムは各具体的なタスクに最適なLLMを理解する方法について説明できますか？
効果的にモデル間でルーティングすることは、モデルを理解するという根本的な問題です。モデルの成功または失敗の原因を理解できるようになることで、モデルマッピングでこれらの特性を理解できるようになります。その結果、そのモデルを実行することなく、任意のモデルがリクエストでどのようにパフォーマンスするかを判断することができます。その結果、最良の結果を生み出すモデルにリクエストを送信できます。
LLMの使用を最適化することでどのようなコスト削減が見込まれますか？
ユーザーはコストとパフォーマンスのトレードオフを指定できます。パフォーマンスに関心がある場合、openai/evalsでGPT-4を凌駕できます。ユニット経済学を成立させるために特定のコストを求めている場合、リクエストの最大コストを指定し、そのリクエストを完了させるための最適なモデルを見つけることができます。もしもより動的なものを望む場合は、より良い回答のためにいくら支払うことを選択できます-その場合、2つのモデルが似たようなパフォーマンスを持っているが、コストに大きな違いがある場合は、より安価なモデルを使用できます。一部のお客様はコストを最大12倍削減することができました。
Martianの将来ビジョンは何ですか？
モデルに対する基本的な理解を改善するたびに、AIにとってパラダイムシフトが生じます。出力の理解によって駆動されるのがファインチューニングのパラダイムです。入力の理解によって駆動されるのが提示のパラダイムです。モデルに対する私たちの理解にあるその単一の違いは、伝統的な機械学習（「レグレッサーをトレーニングしましょう」）と現代的な生成AI（「ベイビーAGIを提示しましょう」）を区別するものの大部分です。
私たちの目標は、AIが完全に理解され、論理や微積分の理論と同じくらい堅牢な知識体系である知性の理論を持つまで、解釈性での突破口を一貫して提供することです。
私たちにとって、それは構築することを意味します。それは素晴らしいAIツールを作成し、それを人々の手に渡すことを意味します。これまでに誰もやったことのない、興味深くて有用なものをリリースすることを意味します。
サー・フランシス・ベーコンの言葉によれば、「知識は力である」と言われています。したがって、AIを理解するために最も確実な方法は、強力なツールをリリースすることです。私たちの意見では、モデルルーターはそのようなツールの一つです。私たちはそれをビルドし、成長させ、人々の手に置くことを心待ちにしています。
これは、今後数ヶ月にわたってリリースする多くのツールのうちの最初のものです。美しい人工知能の理論を発見し、全く新しい種類のAIインフラストラクチャを可能にし、人と機械の両方の明るい未来を築くために—私たちはあなたとこれらのツールを共有することを待ちきれません。
素晴らしいインタビューありがとうございました。さらに学びたい読者は、マーシャンを訪れることをお勧めします。
We will continue to update VoAGI; if you have any questions or suggestions, please contact us!
Was this article helpful?
93 out of 132 found this helpful
Related articles
