このAIニュースレターはあなたが必要なすべてです＃75

このAIニュースレターがあなたに必要なすべてをお届けします＃75

ルイによる今週のAIの出来事

今週は、OpenAIのドラマが終結し、Sam AltmanとGreg BrockmanがOpenAIに復帰し、2人の新しい取締役（既存の取締役1人とともに）が任命されました。一部では、これによりOpenAIはSamのコントロールに対するより多くのチェックとバランス（彼は取締役を外れました）があり、長期的な民主的な取締役会のガバナンスソリューションを見つけるためのより緊急性が増していると考えています。ただし、このような複雑で潜在的に不安定なガバナンス構造を持つ組織に対する依存心を抱く企業がいくつか続出する可能性があり、それによって持続的な損害が生じる可能性もあります。このことは、単一のLLMへの依存性が制限された製品の構築の既存のトレンドを支持することになるでしょう。LLMは、別のAPIやオープンソースモデルと短期間で置き換えることができます。

OpenAIから離れて、今週はStability AIによる新しいビデオ生成モデルやAnthropicによる改良されたClaude 2.1モデル、Inflection.AIからのInflection-2モデル（Piデジタルコンパニオンインターフェースを介してすぐにアクセス可能）を見ることができて興奮しました。テキスト/画像からビデオモデルの能力はまだ初期段階ですが、強力なオープンソースのビデオ生成基盤モデルをリリースすることは、この分野の進歩を促進するのに役立ちます。また、OpenAIの動揺を利用しようとする企業がLLMの競争を広げていることも喜ばしいことです。

なぜあなたが気にすべきなのか？

私たちは、OpenAIのガバナンス構造が、そのモデルを活用している何千もの企業や個人、そして経済と地政学にとって、短期的な安定にとって重要であり続けると考えています。広義には、OpenAIがますます強力になるにつれて、ガバナンスはまだ解決されていないと思われます。短期的には、より大規模かつ多様な取締役会が必要です。長期的には、OpenAIが本当にその野望を実現し続ける場合、世界で最も強力な組織の統制には、ある形式の民主主義と分散化が必要になるでしょう。そのため、他の企業や組織が新しいモデルで競争し続け、集中化された依存性を持たないようなオープンソースAIの動きがモデルを開発し続ける必要があります。

– Louie Peters — Towards AIの共同創業者兼CEO

5分間の読書/ビデオで学び続けるための5つのもの

Andrej Karpathyの大規模言語モデルビデオの読書リスト

Andrej Karpathy氏が「The Busy Person’s Intro to Large Language Models (LLM)」という1時間のビデオを公開しました。このビデオでは、MLの専門家やAI初心者に役立つ知見、リソース、論文が提供されています。これはビデオの主なトピックを簡潔にまとめ、関連する論文への参照を提供しています。

2. Distil-Whisperの説明 – 最新のAI音声テキスト変換技術！

Distil-Whisperは、どんな種類のオーディオでも正確な結果をもたらす音声認識モデルです。このビデオでは、Louis Bouchard氏がモデルの機能、構築方法、動作について探求しています。

3. AIにおける新興ツールとフレームワーク：比較分析

この記事では、AIにおける新興ツールとフレームワークについて、それらの強み、使いやすさ、理想的な使用事例を比較しています。TensorFlowやPyTorchなどの確立された基盤、No-Code AI/MLプラットフォーム、クラウドベースのAIサービス、ビジョンに特化したフレームワークなどを比較しています。

4. LLM推論の順序依存をルックアヘッドデコーディングでブレイクする

ルックアヘッドデコーディングは、LLM推論を加速するための新しい正確な並列デコーディングアルゴリズムです。この記事では、新しいアプローチ、デモ、実験結果を紹介しています。

5. AIスタートアップ創業者33人が人工汎用知能の創造を議論

このY Combinator製の5分間のビデオでは、AIに特化した33人のYC創業者の洞察が紹介されています。AIの現在の理解に基づいて、彼らはAGIが実現する時期についての視点を共有しています。

リポジトリとツール

GPT4Allは、コンシューマーグレードのCPUおよび任意のGPU上でローカルに動作する強力でカスタマイズ可能な大規模言語モデルを実行するためのエコシステムです。GPT4Allのオープンソースエコシステムソフトウェアにダウンロードして接続することができる3GB〜8GBのファイルです。
Llama Packsは、LlamaIndexとLangChainで使用するための事前パッケージ化されたモジュールのコミュニティ主導のハブです。大規模言語モデルをさまざまな知識源に簡単に接続することを目指しています。既に16以上のテンプレートを公開しています。
Tunaは、ゼロからLLMのfine-tuningデータセットを素早く生成するためのノーコードツールです。LLLaMasのような大規模言語モデルのための高品質なトレーニングデータを作成するのに役立ちます。
Codesandboxは、Codeiumによってパワードされたコードの自動完了機能です。複数の提案から選択できるシングルおよびマルチラインのコード生成を提供します。

今週のトップ論文

Orca 2: 小型言語モデルに理論を教える方法

Orca 2は、高度なトレーニング信号と多様な戦略を通じて推論力を向上させる新しい言語モデルです。ベンチマークでは、指示に基づくモデルを上回り、複雑なタスクでは同じサイズの他のモデルをしのぎ、ゼロショット設定でも大型モデルに匹敵します。

2. GAIA：汎用AIアシスタントの基準

この論文は、466の質問と回答を含むGAIAという汎用AIアシスタントの基準を紹介しています。推論力、マルチモダリティの処理、ウェブブラウジングなどの基本的な能力を必要とする実世界の問題を提案しています。これらの問題は、人間にとっては簡単ですが、大部分の高度なAIにとっては挑戦的です。

3. System 2 Attention（あなたも必要かもしれない）

S2A（システム2アテンション）と呼ばれる新しいアテンションメソッドが開発され、LLM（言語モデル）の無関係または偏った出力の問題に対処しました。人間の認知プロセスにインスパイアされ、S2Aは無関係な文脈を除外し、LLMの推論において事実性と客観性を促進します。実験では、S2Aは3つのタスクで標準のアテンションベースのLLMを上回りました。

4. 人間の選好から学習するための一般的な理論的枠組み

この論文では、RLHF（強化学習と人間のフィードバックの統合）の近似を回避し、順序付けの選好を用いることで、人間の選好から学習するための新しい一般的な目標であるΨPOを導き出します。これにより、RLHFとDPOの動作を詳細に分析し、潜在的な落とし穴を特定することができます。

5. Tied-LoRA：ウェイトタイイングによるLoRAのパラメータ効率の向上

この論文は、ウェイトタイイングと選択的なトレーニングを使用した、低ランク適応（LoRA）手法のパラメータ効率を向上させる単純なパラダイムであるTied-LoRAを提案しています。実験では、Tied-LoRA構成は、標準のLoRA手法に比べてわずか13％のパラメータしか使用せずに、いくつかのタスクで同等のパフォーマンスを示しました。