AIの今週、8月18日：OpenAIが財政的な問題に直面 • Stability AIがStableCodeを発表

AIの今週、8月18日：OpenAIが財政的な問題に直面、Stability AIがStableCodeを発表

 

「This Week in AI」の今週のエディションへようこそ。VoAGIでの「This Week in AI」は、急速に進化する人工知能の世界で最も魅力的な進展について、あなたを最新の情報に保つことを目的とした週刊の記事です。AIの役割を形作る画期的な見出しから、考えさせられる記事、洞察に富んだ学習リソース、知識の限界を押し広げる研究のスポットライトまで、この記事はAIの現在の状況を包括的に紹介します。この週次のアップデートは、この絶えず進化する分野であなたを最新の情報に保つために設計されています。お楽しみに、そして良い読書を！

 

ヘッドライン

「ヘッドライン」セクションでは、人工知能の分野で先週のトップニュースと進展について取り上げています。政府のAI政策から技術の進歩、AIにおける企業のイノベーションまで、情報は多岐にわたります。

• オープンAI GPTモデルの使用に関するベストプラクティス
• 「アソシエイテッドプレスと他のニュース機関が、ニュースルームでのAIのための基準を開発する」
• 「英国初のAIカメラ、わずか3日で300人の犯罪者を摘発」

  💡 ChatGPTが困難に直面：OpenAIは2024年までに破産する可能性があり、AIボットは会社に1日あたり70万ドルの費用がかかる

OpenAIは、ChatGPTや他のAIサービスの高コストに直面しています。急速な初期の成長にもかかわらず、ChatGPTのユーザーベースは最近の数ヶ月間で減少しています。OpenAIは自社の技術を効果的に収益化し、持続可能な収益を生み出すことに苦労しています。一方で、現金を驚異的な速度で消耗し続けています。競争が激化し、エンタープライズGPUの不足がモデル開発を妨げる中、OpenAIは収益性への道筋を急務に見つける必要があります。それを達成できなければ、先駆的なAIスタートアップに破産の危機が迫るかもしれません。

  💡 Stability AIが開発者向けのAIコーディングアシスタント「StableCode」を発表

Stability AIは、ソフトウェア開発に最適化された最初の生成型AI製品である「StableCode」をリリースしました。StableCodeは、コードのインテリジェントな自動補完、自然言語の指示への応答、および長いコードの管理を提供するために、5000億トークン以上のコードでトレーニングされた複数のモデルを組み込んでいます。会話型AIは既にコードを書くことができますが、StableCodeはコードの構造と依存関係を理解するために特化しており、プログラマーの生産性を向上させることを目指しています。専門的なトレーニングと長いコンテキストを扱えるモデルにより、StableCodeは開発者のワークフローを向上させ、コーディングに興味を持つ人々の参入障壁を下げることを目指しています。この発表は、Stability AIが競争の激化する中でAI支援のコーディングツールへの進出を果たすものです。

  💡 OpenAIが「Superalignment」を発表

OpenAIは、新たな「Superalignment」チームを通じて、超知能AIからの潜在的なリスクに対処するための積極的な取り組みを行っています。このチームは、人間のフィードバックからの強化学習などの手法を使用して、AIシステムを整列させることを目指しています。主な目標は、他のAIシステムを活用したスケーラブルなトレーニング手法の開発、モデルの堅牢性の検証、意図的に整列していないモデルでも完全な整列パイプラインのストレステストを行うことです。全体として、OpenAIは、機械学習が安全に実施できることを示すことを目指し、超知能を責任を持って導くための先駆的なアプローチを開拓しています。

  💡 生成型AIを使用して検索（およびブラウジング）しながら学習する

Googleは、検索エンジン生成（SGE）AIの機能に関するいくつかのアップデートを発表しています。これには、科学/歴史のトピックのホバー定義、コードの概要のためのカラーコード付き構文強調表示、および「ブラウジング中のSGE」という早期実験が含まれます。この実験では、長い形式のウェブコンテンツを読む際に、主要なポイントを要約し、ユーザーがページを探索するのを支援します。これらは、複雑なトピックの理解を向上させ、コーディング情報の消化を改善し、ユーザーのナビゲーションと学習を支援することを目指しています。これらのアップデートは、Googleがユーザーフィードバックに基づいてAI検索体験を進化させるための継続的な取り組みを表しており、理解力と複雑なウェブコンテンツからの主要な詳細の抽出に焦点を当てています。

  💡 Together.aiがLlama2を32kのコンテキストウィンドウに拡張

LLaMA-2-7B-32Kは、Together Computerが開発したオープンソースの長いコンテキスト言語モデルであり、MetaのLLaMA-2のコンテキスト長を32Kトークンに拡張しています。FlashAttention-2などの最適化を活用して、より効率的な推論とトレーニングを実現しています。このモデルは、書籍、論文、教育データなどのデータの混合を用いて事前トレーニングされています。長い形式のQAや要約タスクのファインチューニングのための例も提供されています。ユーザーはHugging Faceを介してモデルにアクセスするか、カスタマイズされたファインチューニングのためにOpenChatKitを使用することができます。すべての言語モデルと同様に、LLaMA-2-7B-32Kはバイアスのあるまたは不正確なコンテンツを生成する可能性があり、使用する際には注意が必要です。

 

記事

「記事」セクションでは、人工知能に関するさまざまな興味深い記事を紹介しています。各記事は特定のトピックに深く立ち入り、新しい技術、革新的なアプローチ、画期的なツールなど、AIのさまざまな側面について読者に洞察を提供します。

  📰 LangChain チートシート

LangChain を使用すると、開発者は車輪の再発明なしで能力のあるAI言語ベースのアプリを構築することができます。その構成可能な構造により、LLM、プロンプトテンプレート、外部ツール、メモリなどのコンポーネントを簡単に組み合わせることができます。これにより、プロトタイピングが加速され、新しい機能をシームレスに統合することができます。チャットボット、QAボット、またはマルチステップの推論エージェントを作成したい場合、LangChain は高度なAIを迅速に組み立てるための基盤を提供します。

  📰 ChatGPT を使用してテキストを PowerPoint プレゼンテーションに変換する方法

この記事では、ChatGPT を使用してテキストを PowerPoint プレゼンテーションに変換するための2つの手順を概説しています。まず、テキストをスライドのタイトルと内容に要約し、次に python-pptx ライブラリを使用して要約を PPTX 形式に変換するための Python コードを生成します。これにより、長いテキスト文書から魅力的なプレゼンテーションを迅速に作成することができ、手間のかかる手作業を克服することができます。ChatGPT のプロンプトの作成方法やコードの実行方法についての明確な指示が提供されており、プレゼンテーションのニーズに対する効率的な自動化されたソリューションが提供されています。

  📰 LLM 研究の課題

この記事では、大規模な言語モデルの改善のための10の主要な研究方向の概要を提供しています。幻想の削減、コンテキストの長さ/構築の最適化、マルチモーダルデータの組み込み、モデルの高速化、新しいアーキテクチャの設計、フォトニックチップなどのGPUの代替手段の開発、使いやすいエージェントの構築、人間のフィードバックからの学習の改善、チャットインターフェースの向上、非英語の言語への拡大などが挙げられます。これらの領域にわたる関連する論文を引用しながら、強化学習のための人間の好みの表現や低リソース言語のモデルの構築などの課題についても言及しています。著者は、多言語性などのいくつかの問題は比較的扱いやすいものの、アーキテクチャなどの他の問題にはさらなる突破口が必要となると結論付けています。全体的には、研究者、企業、コミュニティの技術的および非技術的な専門知識が、LLM のポジティブな方向への導きに重要であると指摘しています。

  📰 LLM を微調整する必要はほとんどない理由

この記事では、大規模な言語モデルの改善のための10の主要な研究方向の概要を提供しています。幻想の削減、コンテキストの長さ/構築の最適化、マルチモーダルデータの組み込み、モデルの高速化、新しいアーキテクチャの設計、フォトニックチップなどのGPUの代替手段の開発、使いやすいエージェントの構築、人間のフィードバックからの学習の改善、チャットインターフェースの向上、非英語の言語への拡大などが挙げられます。これらの領域にわたる関連する論文を引用しながら、強化学習のための人間の好みの表現や低リソース言語のモデルの構築などの課題についても言及しています。著者は、多言語性などのいくつかの問題は比較的扱いやすいものの、アーキテクチャなどの他の問題にはさらなる突破口が必要となると結論付けています。全体的には、研究者、企業、コミュニティの技術的および非技術的な専門知識が、LLM のポジティブな方向への導きに重要であると指摘しています。

  📰 OpenAI GPT モデルのベストプラクティス

この記事では、OpenAI の GPT モデルを使用する際に高品質な出力を得るためのベストプラクティスを概説しています。コミュニティの経験に基づいて、具体的なプロンプト（長さやペルソナなど）の提供、複数のステップの指示、模倣するための例、参考文献、時間を与えての重要な思考、および精度のためのコード実行などを推奨しています。ステップやペルソナの指定など、モデルへの指示方法にこれらのヒントに従うことは、より正確で関連性のあるカスタマイズ可能な結果をもたらすことができます。このガイダンスは、OpenAI の強力な生成能力を最大限に活用するために、効果的にプロンプトを構造化するための支援を目指しています。

  📰 AI について私たちはみな間違っている

著者は、現在のAIの能力は過小評価されており、創造性、検索、個別化などの例を挙げて一般的な誤解に反論しています。AIはランダムなアイデアを単に生成するのではなく、概念を再結合することによって創造的である。AIは単なるGoogleの高速検索エンジンではなく、個別のスキルを持つパーソナライズされた関係を築くことができる。どのアプリケーションが最も有用であるかはわからないが、著者は閉鎖的な態度ではなく、継続的な実地探索によってAIの潜在能力を判断する最良の方法は、想像力が制約されていることと、現在の予測をはるかに超える用途があると強調しています。

 

ツール

  “ツール” セクションでは、実用的なAIアプリケーションに取り組みたい人々のためにコミュニティが作成した便利なアプリやスクリプトをリストアップしています。ここでは、大規模で包括的なコードベースから小さなニッチなスクリプトまで、さまざまなタイプのツールが提供されています。ツールは推奨されず、いかなる種類の保証もありませんので、ソフトウェアのインストールと使用前に自分で調査を行ってください！

  🛠️ MetaGPT：マルチエージェントフレームワーク

MetaGPT は、1行の要件を入力として受け取り、ユーザーストーリー / 競合分析 / 要件 / データ構造 / API / ドキュメントなどを出力します。内部的には、MetaGPT にはプロダクトマネージャー、アーキテクト、プロジェクトマネージャー、エンジニアなどが含まれています。ソフトウェア会社の全体的なプロセスと、注意深く協調された SOP を提供します。

  🛠️ GPT LLM トレーナー

このプロジェクトの目標は、高性能なタスク固有モデルをトレーニングするための実験的な新しいパイプラインを探索することです。私たちはすべての複雑さを抽象化し、アイデアからパフォーマンスの高い完全にトレーニングされたモデルに簡単に移行できるようにします。

単にタスクの説明を入力するだけで、システムはゼロからデータセットを生成し、適切な形式に解析し、LLaMA 2 モデルを微調整します。

  🛠️ DoctorGPT

DoctorGPTは、米国医師免許試験に合格できる大規模な言語モデルです。これは、誰もが自分自身のプライベートドクターを提供するという使命を持つオープンソースプロジェクトです。DoctorGPTは、メタのLlama2 70億パラメータの大規模言語モデルを、医療対話データセットで微調整し、さらに強化学習と憲法AIを使用して改良しました。モデルのサイズはわずか3ギガバイトなので、ローカルデバイスに収まるため、使用するためにAPIに支払いをする必要はありません。

   

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!