このAIニュースレターは、あなたが必要とするすべてです＃62

このAIニュースレターは、あなたが必要とするすべてです＃62' can be condensed as 'This AI newsletter has everything you need #62.

今週のAIニュース by Louie

今週、METAのコーディングモデルの開発やOpenAIの新しい微調整機能の進展を注視しています。MetaはCode LLaMAを導入しました。これはプロンプトに基づいてコードを生成するだけでなく、コードを説明する能力を持つ大規模な言語モデルです。彼らは7B、13B、34Bの3つの異なるパラメータ数を持つバージョンを発表しました。それぞれが追加の5000億のコード関連トークンでトレーニングを受けています。これらのモデルはPython、C++、Java、PHPなど、広く認識されているプログラミング言語との互換性を持っています。さらに、それをベースにした2つの専門モデルが構築されています。Code LLaMA — InstructはCode LLaMAのチューニングされたバージョンで、指示に従うように設計されています。さらに、Pythonプログラミング言語に特化したCode LLaMA — Pythonもあります。これらのモデルは研究および商用利用の両方のためのライセンスで提供されています。このモデルのオープンソースリリースにより、迅速なイテレーションが可能となり、既にWizardCoderを含むさまざまなモデルが開発され、既存の多くの言語モデルに比べて優れたパフォーマンスを発揮していることが確認されていますが、GPT-4のレベルにはまだ到達していません。

他の大きなニュースとして、OpenAIはGPT-3.5ターボの微調整をサービスとして提供しました。ただし、推論に微調整モデルを使用する場合、コストがかなり増加することに注意が必要です。OpenAIはまた、組織向けに制限なしの使用、高速化、拡張されたコンテキストウィンドウを提供するChatGPT Enterpriseも発表しました。

Code LLaMAのリリースを見て喜んでおり、コーディングに最適化されたモデルが重要な改善をもたらす可能性があると考えています。それは開発者のための共同作業ツールとしても、非開発者にソフトウェア開発の道を開くためにも利用できます。GPT Turboの微調整リリースも興奮しており、今年後半に予定されているGPT-4の微調整の可能性に特に興奮しています。コーディングに特化したGPT-4の微調整モデルは、非常に強力な可能性を秘めていると考えています。

– Louie Peters — Towards AI 共同創設者兼CEO

• 強化学習：マルコフ決定過程ー第1部
• 大規模言語モデル（LLM）のファインチューニング入門ガイド
• 「機械学習におけるChatGPTコードインタプリター- それは効果的ですか？」

最新ニュース

1. GPT-3.5 Turboの微調整リリース

OpenAIはGPT-3.5 Turboに対する微調整を導入し、特定のタスクでのパフォーマンスを向上させました。この洗練されたバージョンは、基本的なGPT-4モデルの能力を同等またはさらに上回る可能性があります。初期のテスターは、微調整プロセスによってプロンプトの長さを大幅に短縮することに成功しました。トレーニングおよび使用のコストは、それぞれ1Kトークンあたり$0.008、$0.012、$0.016で提供されています。

2. 革新的なコーディング用大規模言語モデルCode Llamaの導入

MetaはCode Llamaをリリースしました。これはコーディングに関連するコードや自然言語を生成できる先進的なLLMです。さまざまなモデルとサイズが用意されており、さまざまなニーズに対応しています。Python、C++、Java、PHP、TypeScript（JavaScript）、C#、Bashなど、今日最も人気のある言語の多くをサポートしています。

3. スピーチ翻訳のための基礎的なマルチモーダルモデルの導入

MetaはSeamlessM4Tという頑健な基礎モデルを開発しました。このモデルは100言語にわたる多様なテキストと音声のタスクを管理することができます。それは自動音声認識、音声からテキストへの翻訳、音声から音声への翻訳、テキストからテキストへの翻訳、テキストから音声への翻訳を包括しており、さまざまな入力と出力言語をサポートしています。

4. ChatGPT Enterpriseの導入

OpenAIはChatGPT Enterpriseを発表し、エンタープライズでの利用に適したセキュリティとプライバシー機能を提供しています。このバージョンはGPT-4への無制限のアクセス、高速化、より長い入力を処理するための拡張されたコンテキストウィンドウ（32k）、高度なデータ分析機能、カスタマイズオプション、追加の機能を提供します。

5. 画像を「読み取る」ことができる新しいチャットボットのリリース

Alibaba CloudはQwen-VLとQwen-VL-Chatという2つのオープンソースAIモデルを発表しました。これらのモデルは同社のTongyi Qianwen（Qwen）LLMを使用してトレーニングされており、画像内のテキストなどの視覚データを解釈し、看板の画像を解釈して案内するなど、位置情報に基づくクエリに応答することができます。

5つの5分間の読み物／動画で学び続けましょう

1. AutoGPTQとTransformersによるLLMの軽量化

Hugging Faceは、AutoGPTQのTransformersへの統合を導入し、2、3、4、8ビットの量子化をほぼ精度低下なしで簡略化することを容易にしました。この統合は、NvidiaのGPUとRoCmパワードのAMDのGPUと互換性があります。

2. 言語モデルのアルゴリズム的推論の教育

この論文では、過学習や不正確な相関などの課題を克服するために、LLMにアルゴリズム的推論を教える効果を探求しています。アルゴリズムをスキルとして定式化し、複数のスキルを同時に教え、スキルの組成とスキルのツールとしての使用を教えるという4つのステップアプローチを提案しています。

3. Hugging Face上のCode Llama

Code Llamaは、Hugging Face経由でアクセスできるようになり、7Bモデルと13Bモデルを使用したコード補完の実行機能を提供しています。Llama 2と同じ許容性のあるコミュニティライセンスで利用できるようになり、商業利用も可能です。

4. ロボットのスキル合成のための言語から報酬へ

LLMによって推進される言語から報酬へのシステムは、ロボットが自然言語から直接学習することを可能にします。これらのシステムは、自然言語の指示を報酬指定コードに変換し、ロボットのアクションに基づいて報酬を計算し、強化学習（RL）を通じた学習を容易にします。

5. MetaGPTとは？複雑なタスクを解決するためのLLMエージェントの共同作業

MetaGPTは、AIエージェント間の協力を向上させる革新的なアプローチを提供します。このビデオでは、MetaGPTの革新的な設計の内部構造を明らかにし、SOP（標準作業手順）の役割について探求し、複数のAIエージェントがシームレスに協力する方法を探求します。

論文とリポジトリ

1. 言語モデリングのための強化自己学習（ReST）

この論文では、人間の好みとLLMを整合させるための簡単なアルゴリズムを提案しています。DeepMindが開発したReinforced Self-Training（ReST）は、RLHFに比べて経済的な代替手段を提供します。トレーニングデータセットを強化し、LLMを微調整するためのGrowとImproveの2つのステッププロセスを採用しています。

2. Giraffe — 長いコンテキストLLM

Giraffeは、4k、16k、32kトークンのコンテキストウィンドウサイズを持つバリアントを含む、LLaMAとLLaMA2から派生した新しいモデルシリーズです。これらのモデルは、LLaMAとLLaMA2に基づいて微調整され、位置エンコーディングの変更を介したコンテキストウィンドウの拡大を含む実験を特徴としています。

3. 新しいLLM PlatypusがHuggingFaceのLLMリーダーボードでトップに

Platypusは、Open-Platypusデータセットを活用して、STEMと論理学で印象的なパフォーマンスを達成するHuggingFaceのOpen LLM Leaderboardで紹介されている最新のLLMです。LoRAモジュールとPEFTライブラリを利用して、トレーニング中のバイアスに効果的に対処します。ただし、英語以外の言語に対する課題は、その基礎となるモデルLLaMa-2に起因しています。

4. 思考のグラフ：大規模言語モデルで複雑な問題を解決する

思考のグラフ（GoT）は、チェーンオブ思考や思考のツリー（ToT）などのパラダイムを超えて、大規模言語モデル（LLM）のプロンプト機能を向上させるフレームワークです。GoTは、他の方法と比較して性能が向上し、ソート品質を向上させる（62％）、同時にコストを削減する（31％）ことが示されています。

5. QuIP：保証付き大規模言語モデルの2ビット量子化

この論文では、適応的な丸めを使用して言語モデルモデルの2ビット量子化を実現する、incoherence処理を伴う量子化（QuIP）の新しいアプローチを紹介しています。これは、理論的な分析とともに提供される最初のそのようなアルゴリズムであり、OPTQなどの他の量子化方法に与える影響を示しています。

これらの論文とニュースの要約を楽しんでいますか？毎日の要約がメールで届きます！

Learn AI Togetherコミュニティセクション！

今週のミーム！

neon8052が共有したミーム

Discordの注目コミュニティ投稿

DrDubは、「Tell-and-Show」という注目すべきプロジェクトを開始しました。このプロジェクトは、コミュニティが所有する機械学習の実験として機能します。このプロジェクトは、あなた専用の推薦プロファイルを作成します。また、他のフリーソフトウェアプロジェクトが採用できるツールやモデルも提供しており、これらの推薦プロファイルの有用性を高めます。こちらでチェックして、コミュニティメンバーを応援しましょう！個別の好みやボランティアとして参加することで、このプロジェクトを支援することができます。質問やフィードバックは、こちらのスレッドで共有してください。

今週のAI投票！

ディスコードでのディスカッションに参加しましょう。

TAIキュレーションセクション

今週の記事

Zoumana Keitaによる「大規模言語モデルを効率的に提供するためのフレームワーク」

大規模言語モデルの展開は、間違いなく最も難しいタスクの1つです。展開チームが無能だからではなく、単にこの種のモデルの複雑さが原因です。そこで、UC BerkeleyがApacheライセンスの下で開発したオープンソースライブラリであるvLLMが役立ちます。vLLMの哲学は、大規模言語モデルの提供と推論を、産業界と小規模研究チームの両方に手頃な価格で可能にすることです。

当社の必読記事

Stephen Bonifacioによる「ChatGPTなどのLLMの概念に対する直感の構築-パート1-ニューラルネットワーク、トランスフォーマー、事前学習、ファインチューニング」

Tan Pengshi Alvinによる「画像増強のための生成的対抗ネットワーク（GAN）」

Youssef Hosniによる「14/8〜20/8までの週の重要なコンピュータビジョン」

Towards AIで公開したい場合は、ガイドラインを確認してサインアップしてください。編集方針と基準に合致すれば、当社のネットワークにあなたの作品を公開します。

求人情報

ウェイトリスト：メンター-データエンジニアリングキャリアトラック@Springboard（パートタイム/リモート）

中級ソフトウェアエンジニア@Datacom（リモート）

リードソフトウェアデベロッパー@TherapyNotes.com（リモート）

ソフトウェアエンジニア@Sonovate（リモート）

リード機械学習エンジニア、推薦アルゴリズム@Multi Media LLC（リモート）

シニアソフトウェアエンジニア、アクションデプロイメント@GitHub（リモート）

ソフトウェアエンジニア-インターン@Bayut | dubizzle（ドバイ、UAE）

求人情報を共有したい場合は、[email protected]までお問い合わせください。

次の機械学習インタビューの準備をしている場合は、リーディングなインタビュー準備ウェブサイトのconfettiをぜひチェックしてください！

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!