このAIニュースレターは、あなたが必要とするすべてです＃74

『AIビューティーファッションニュースレター #74』

ルイによる今週のAIニュース

今週は、OpenAIでの一連の出来事に注目が集まりました。残念ながら、これによっていくつかの興味深い新しいモデルのリリースが overshadowedされました。おそらく、あなたはそのドラマの変遷を追ってきたので、ここでは詳細に触れる必要はありませんが、要約すると、OpenAIの取締役会は金曜日にCEOのサム・アルトマンを予告なしに解任しました。取締役会は、サムが「取締役会とのコミュニケーションについて一貫して正直ではなかった」と行動を正当化しました。それでも、彼らは今日に至るまで、OpenAIの従業員、幹部、またはMicrosoftに明確な理由を示していません。現時点では、770人中747人のOpenAIスタッフが、取締役会が辞任し、サムとグレッグ・ブロックマンに従ってMicrosoftの新しいAIチームに参加しない限り、辞任する可能性を示す共同の手紙に署名しました。この手紙は、共同創設者のイリヤ・スツケヴェルも署名し、彼は今では取締役会の行動に参加したことを後悔しています。

全ての中でも最も奇妙なのは、OpenAIの取締役会の沈黙と行動の説明不足であり、彼らの動機が非常に不明瞭であることです。さらに驚くべきことに、取締役会は明らかに「会社を破壊することはミッションに合致する」とOpenAIの幹部に述べたとされています。

もし取締役会の初期の決定がAIの安全上の懸念、収益化プロジェクトと投資家の利益分配への緊張、そしてサムの指導力と取締役会とのコミュニケーションによって導かれた場合、彼らにとってOpenAIを崩壊させ続けることは、現状維持しOpenAIを生き残らせることほど彼らの目的には貢献していないことは明確であると思います。もしOpenAIスタッフが一斉にMicrosoftに移籍するなら（Microsoftには同じAGIの安全保護がない場合も含みます）、それはまたOpenAIの将来の利益（OpenAIの慈善団体に蓄積される利益上限を超える利益）をMicrosoftの企業に移すことを意味します。サムはまたチームを指揮し、まったくOpenAIの取締役会とコミュニケーションを取ることはできなくなります！OpenAIの成長を遅らせることは、GoogleやMetaなどの他の競合他社や中国などの他の国々が追いつくチャンスを与えます。OpenAIの取締役会にはAIの未来を制御する力が少なくなります。

なぜ気にする必要があるのか？

これらの出来事の重要性は、些細なシリコンバレーの政治からAIの進展における6〜18ヶ月の setback そしてさらには地球の未来における転換点まで様々です。これは以下の観点に依存します;

LLMの進行方向で出くわす壁は何であり、LLM技術は実際にどれほど世界的な影響力を持つのでしょうか？
AGIは本当にリスクなのでしょうか？そして、この段階でそのための安全対策の構築は優先すべきでしょうか？
Microsoft内でOpenAIのGPT4.5/5モデルパイプラインを再構築するにはどれくらいの時間がかかるでしょうか？それには1) ChatGPTの週間アクティブユーザー1億人からのRLHFデータセットおよび進行中のパイプライン、2) Pre-trainingデータセット、および3) トレーニングソフトウェアインフラストラクチャーが含まれます。
GoogleやAnthropic、Meta、xAiなどがGPT-4.5/5レベルのモデルをリリースするにはどれほど遅れていたのでしょうか？
これによって中国が米国から先導権を取り、地政学に影響を及ぼす可能性はあるでしょうか？
AIは、先に到達した者がすべてを制するほとんどの市場で勝者となるでしょうか？
OpenAIの慈善団体の地位とAGIの安全保護は、Microsoftのような公開企業よりも、人類の利益と富の再分配において真にメリットがあるのでしょうか（数千億ドルの利益上限を超えた後）？

AIリーダーの指導方向、組織構造、文化、および所在地は、世界的に重要な意味を持つ可能性がありますが、結果を見守るしかありません！

– ルイ・ピーターズ — Towards AI 共同創設者兼CEO

5分間の読書/動画で学び続けるための5つの選択

OpenAIのRAG戦略の適用

OpenAIのRAGモデルは、コサイン類似度、マルチクエリ、後戻りプロンプティング、Rewrite-Retrieve-Read、効率的なルーティングなど、さまざまなリトリーバルストラテジーを組み込んでいます。この記事では、OpenAIの一連のRAG実験で使用される各手法について詳しく説明し、実装方法を示しています。

2. LoRA（低ランク適応）を使用したLLMの効果的な調整のヒント

この記事では、言語モデル（LLM）のLow-Rank Adaptation（LoRA）の効果的な調整手順を探求し、洞察と推奨事項を提供します。実験結果によると、LoRAはメモリ使用量を節約する一方でランタイムを増やします。すべてのレイヤーでLoRAを使用し、ランクとαを調整することでモデルの性能を向上させることができます。

3. 2023年にLLMのスキルを始めて向上させる方法

これは、フィールドでの高度なバックグラウンドを持たない人々が2023年にLLMのスキルを始めて向上させるための完全なガイドです。最新のニュースや最先端の技術に常にアップデートされるための方法も説明しています。プログラミングと機械学習の基礎がある方々を対象としています。

4. DeepMindによるAGI達成への進捗状況

Google DeepMindの科学者チームが、AGIシステムとその前身の能力と振る舞いを分類するための新しい枠組みを提案しました。この記事では、人工知能を測定するための基準、パフォーマンスと一般性を測定するためのマトリックス、およびリスクと自律性を測定するための別のマトリックスを含む、その枠組みについて探求します。

5. OpenAIのアイデンティティ危機とAIの未来の戦い

これはOpen AIで起こっている最近の一連の出来事についての緻密な論評です。著者によれば、AIの安全性と市場の勢いのバランスの問題が、Sam Altmanを排除する決定に影響を与えました。

リポジトリとツール

explodinggradients/ragas

Ragasは、検索増強生成（RAG）パイプラインを評価するのに役立つフレームワークです。RAGは、外部データを使用してLLM（Large Language Model）の文脈を補完するLLMアプリケーションのクラスを表します。

2. abi / screenshot-to-code

このアプリは、スクリーンショットをHTML/Tailwind CSSに変換します。GPT-4 Visionを使用してコードを生成し、DALL-E 3を使用して似たようなイメージを生成します。

3. Netmind Power

Netmind Powerは、分散型の機械学習とAIプラットフォームです。このプラットフォーム上で独自のモデルをトレーニングすることができ、ネットワークからコンピュートを見つけ、コードを配布してくれます。

4. BuilderIO / gpt-crawler

GPT Crawlerは、サイトのURLを提供すると、そのサイトをクロールし、GPTのためのナレッジベースとして使用します。このGPTを共有したり、サイトやアプリにカスタムのアシスタントとして統合したりすることができます。

今週のトップ論文

人間、GPT-4、GPT-4Vによる抽象化と推論タスクの比較

この研究は、ConceptARCベンチマークを使用して、GPT-4とその多モーダルバージョンであるGPT-4Vを人間と比較し、抽象化と推論タスクにおける能力を評価しています。結果は、詳細なワンショットプロンプトと簡単な画像タスクがあっても、どちらのGPT-4バージョンも人間のレベルの抽象的な推論には及びません。

2. GPT-4V in Wonderland：大規模な多モーダルモデルを用いたゼロショットスマートフォンGUIナビゲーション

この論文では、大規模な多モーダルモデルを使用してスマートフォン上でのゼロショットGUIナビゲーションを成功させるGPT-4Vベースのエージェント、MM-Navigatorを紹介しています。iOSの画面指示を理解し、実行する際の高い精度を示しています。

3. コードのための言語モデルに関する調査

この包括的な調査では、言語モデルを使用したコード処理の進化と進歩について探ります。50以上のモデル、30の評価タスク、500の関連研究をカバーし、一般的な言語とコード上でトレーニングされた専門モデルに焦点を当てています。この調査は、GitHubリポジトリで公開されており、更新されています。

4. ノートの連鎖：検索増強言語モデルにおける堅牢性の向上

Retrieval-augmented language models (RALMs)は、検索された情報の信頼性の低さにより、誤った応答を生成することがあります。新しいアプローチであるChain-of-Noting（CoN）は、文書の関連性を評価し、RALMの応答を改善するために順次のリーディングノートを生成します。

クイックリンク

MetaがEmu VideoとEmu Editを発表しました、これらは最新のAI画像編集とビデオ生成のブレイクスルーです。EMUは9月に発表され、現在はプロダクションで使用されており、Meta AIのImagine機能などのエクスペリエンスを提供しています。
NVIDIAは、先進的なメモリを備えたNVIDIA H200 Tensor Core GPUを搭載したNVIDIA HGX™ H200を導入することにより、世界をリードするAIコンピューティングプラットフォームをさらに強化したことを発表しました。
IBMは、脆弱なコミュニティのための緑色とテクノロジースキルの無料トレーニングや新しい持続可能なプロジェクトを通じて、気候行動への取り組みを進めています。