このAIニュースレターは、あなたが必要とするすべてです #66

(Providing necessary information, this AI newsletter is a perfect fit for you #66)

ルイによる今週のAIニュース

AIの今週は、OpenAIが新たな音声および画像の機能をChatGPTに導入することを発表し、再び注目を集めました。また、AmazonがAnthropic AIへの大規模な投資を発表し、LLM競争も熱を帯び続けています。

Open AIは、GPT TurboおよびGPT-4の新しいマルチモーダルバージョン、さらにはChatGPTとの統合に新しいテキスト音声モデルWhisper（音声テキストモデル）およびDalle-3を追加展開しています。これにより、ChatGPTは見ること、聞くこと、話すことができるだけでなく、芸術的な能力も備えています。ChatGPTの新機能により、ユーザーは音声通話を行い、画像を使用して対話を豊かにすることができます。ユーザーは写真を撮ってそれについてのリアルタイムの対話を行うことができ、ランドマークの特定、冷蔵庫の中身に基づいた食事の計画、数学の問題の解決など様々な活動に役立てることができます。これらの機能は最初にPlusとEnterpriseユーザーに提供され、音声はiOSとAndroid、画像はすべてのプラットフォームで利用可能です。また、新しいイテレーション設計を通じてチャットによって生成される素晴らしいアートに期待しています。

OpenAIは、Google DeepmindのGeminiに先駆けてフルマルチモーダルモデルをリリースすることを意欲的に取り組んでいます（Bardにはすでに一部の画像機能があります）。また、LLMを搭載したテキスト音声チャットボットでは、AmazonのAlexaにも先を越す見込みです。Amazonは、音声、ビデオ、およびテキストの埋め込みを処理することができるマルチモーダルLLMを搭載した更新されたAlexaの発売を予告しています。AlexaのLLMのデモビデオでは主にテキスト生成タスクが紹介されていますが、AmazonはAlexaのLLMが数千のAPIに接続されて複雑なタスクの連続を実行できることを明らかにしています。他のAmazonのニュースでは、信頼性が高く、高性能な基礎モデルを開発するためにAnthropic AIに最大40億ドルの投資を発表しました。

AI競争はさらに加熱し、現在は主要なクラウドプロバイダーがそれぞれGoogle Cloud（Deepmind）、Microsoft Azure（OpenAI）、Amazon AWS（Anthropic）をバックアップするLLMラボのパートナーを揃えているようです。

– ルイ・ピーターズ — Towards AI共同設立者兼CEO

学び続けるための5つの5分読書/動画

1. Adept.aiが大規模トレーニング中に発生する興味深いエラーを共有

AI企業のAdept.aiが、大規模なトレーニング中に発生するエラーについての洞察を共有しています。これらのエラーは、学習曲線の問題を引き起こすことがあります。モデルは問題がないように見えるかもしれませんが、時間とともに蓄積された小さなエラーを修正する必要があります。

2. Claudeの長いコンテキストウィンドウに対するプロンプトエンジニアリング

この記事では、Claudeの10万トークンの長いコンテキストウィンドウを活用するためのプロンプティングのガイダンスを提供しています。引用の抽出と例の提供により、Claudeの長いコンテキストに対するリコールの向上に役立つ2つの技術についての定量的なケーススタディを共有しています。

3. DeepMindの共同創設者による発言：生成型AIは一時的なもの。次は対話型AI

DeepMindの共同創設者であるムスタファ・スレイマンは、技術が医療に与えるポジティブな影響を強調し、GoogleでAIポリシー開発チームをリードしています。影響力のある人物や企業の支援を受けて、スレイマンは社会的な影響を持つ対話型AIを提唱するフレンドリーなAI「Pi」を紹介しています。

4. 物体検出リーダーボード

Hugging Faceは、DETAとDETRアーキテクチャに基づくトップパフォーミングモデルを特集した物体検出リーダーボードを導入しました。このブログでは、物体検出に使用される人気のある指標、交差点合併（IoU）、平均精度（AP）、平均再現率（AR）について評価方法を解説しています。

5. GPT 3.5 vs. Llama 2 Fine-tuning：網羅的な比較

この投稿では、著者がSQLタスクと機能表現タスクでGPT 3.5とLlama 2の微調整をベンチマークしている実験結果を文書化しています。GPT 3.5はLlama 2よりわずかに優れていますが、GPT 3.5のトレーニングと展開には、Llama 2の4～6倍のコストがかかります。

論文とリポジトリ

1. LongLoRA：長いコンテキストの大規模言語モデルの効率的な微調整

LongLoRAは、人工知能のプレトレーニング言語モデル（LLM）のコンテキストサイズを効率的に拡張するための手法です。トレーニング中に疎なローカルアテンションを利用し、推論中には密なグローバルアテンションを利用することで、費用対効果の高い微調整と性能の維持が可能となります。さまざまなタスクで印象的な結果を示し、LLMで最大10万トークンのコンテキスト拡張を実現します。

2. 疎結合の基礎モデルにおけるスケーリング則

研究者たちは、基礎モデルにおける重みの疎さ、非ゼロのパラメータ、およびトレーニングデータの量の関係を示すユニークなスケーリング則を発見しました。また、より多くのデータに対しては、性能向上のための最適な疎さレベルが存在することも確認されています。

3. PDFTriage：長い構造化ドキュメント上の質問応答

研究者たちは、PDFTriageというソリューションを開発しました。これにより、PDFなどの構造化ドキュメント上で言語モデルに基づく質問応答システムのパフォーマンスが向上します。ドキュメントの構造と内容を組み込むことにより、PDFTriageはさまざまなカテゴリーの複雑な質問に応える能力で既存のモデルを上回ります。

4. Chain-of-Verification：大規模言語モデルにおける幻想の低減

Chain-of-Verification（CoVe）は、言語モデルベースのシステムにおいて幻想を最小化する直接的なアプローチです。 CoVeは、応答を生成し、検証し、提供するシステム的なプロセスを通じて、質問応答やテキスト生成などさまざまなタスクで幻覚を効果的に減少させています。

5. Connecting Large Language Models with Evolutionary Algorithms Yields Powerful Prompt Optimizers

EvoPromptは、GPT-3.5やAlpacaなどの言語モデルのための新しい進化的アルゴリズムフレームワークで、人間が設計したプロンプトや現在の方法を凌駕し、言語タスクにおける効果を示しています。

これらの論文とニュースの要約をお楽しみいただけましたか？毎日の要約をメールで受け取る！

The Learn AI Together Community section!

Upcoming Community Events

The Learn AI Together Discord communityは、毎週AIセミナーを開催しており、業界の専門家から学び、質問をすることができます。最新のAI研究に対するより深い洞察を得るため、無料で参加できる対話型のビデオセッションをDiscordでライブ配信しています。

Explaining AI Alignment

ウェビナーでは、Ruiqi ZhongがAIアラインメントについての講演を行い、Prompt Hackathonシリーズの一環としてサーバーでホストされます。講演の前に、RuiqiとAIアラインメントについての情報を「Explaining AI Alignment as an NLPer and Why I am Working on It」という彼の記事で学んでください。

日時： 2023年9月28日、午後12時（EST）

こちらでイベントに参加またはGoogleカレンダーに追加して、無料のAIイベントをすべて表示してください。

今週のミーム！

ミームはarchiesnakeが共有しました。

Discordからの注目のコミュニティ投稿

Kylejmichelは、リアルタイムのウェブデータと閲覧するウェブサイトからコンテキストを抽出するブラウザ拡張機能「Glimpse」を開発しています。キーポイントをハイライトし、質問や話題を提案し、ウェブサイト、ドキュメント、記事、ビデオのテキストをフィルター処理し、言い換えることができます。これは、学生、開発者、コンテンツ消費者に最も役立つでしょう。ぜひこちらをチェックして、コミュニティメンバーをサポートしてください！質問やフィードバックをスレッドに投稿して共有してください。

今週のAIポール！

Discordでディスカッションに参加してください。

TAI Curated section

今週の記事

PandasAIでのデータの自動的な探索とクリーニング方法 by Cornellius Yudha Wijaya

GPTモデルを使用することで、LLMの力をPandasと組み合わせたエキサイティングなアプリケーションの1つがあります。PandasAIは、PandasでLLM実装を提供するPythonパッケージで、Pandasを補完することを目的としています。PandasAIを使用することで、Pandasパッケージを会話ツールに変え、データの自動的な探索とクリーニングを行うことができます。