Search Results Claude

AIがあなたのように文章を書く方法（クロード2のチュートリアル）

「あなたはClaude 2の回答をChatGPTよりもずっと人間らしくすることができます」

このAIニュースレターは、あなたが必要とするすべてです #56

今週、オープンソースとクローズドモデルの両方で、LLMの世界にいくつかの新しい競合他社が登場しました印象的な機能を持つにもかかわらず、LLaMAモデルの最初のバージョンにはライセンスの問題がありました...

「ChatGPTの王座陥落：クロードが新しいAIリーダーとなった経緯」

世界を恥ずかしい思いさせる

Artificial Intelligence

新しいAI研究がGPT4RoIを紹介します：地域テキストペアに基づくInstruction Tuning大規模言語モデル（LLM）によるビジョン言語モデル

大型言語モデル（LLM）は最近、自然言語処理を必要とする会話タスクで驚異的なパフォーマンスを発揮し、大きな進歩を遂げています。商用製品のChatGPT、Claude、Bard、テキストのみのGPT-4、およびコミュニティオープンソースのLLama、Alpaca、Vicuna、ChatGLM、MOSSなどがその例です。彼らの前例のない能力のおかげで、彼らは汎用人工知能モデルへの潜在的なルートを提供しています。LLMの効果の結果として、マルチモーダルモデリングコミュニティは、ジョブの特徴空間を事前学習済み言語モデルの特徴空間に合わせるための普遍的なインターフェースとしてLLMを使用する新しい技術的な道を創造しています。 MiniGPT-4、LLaVA、LLaMA-Adapter、InstructBLIPなどのビジョンと言語のモデルは、代表的なタスクの1つとして画像とテキストのペアリングでの指示調整により、ビジョンエンコーダをLLMに合わせるようにアラインメントされます。アラインメントの品質は、指示調整の設計コンセプトに基づいてビジョンと言語のモデルのパフォーマンスに大きな影響を与えます。これらの作品は優れたマルチモーダルスキルを持っていますが、領域レベルのアラインメントにより、領域のキャプションや推論などのより複雑な理解タスクを超えることができません。彼らのアラインメントは画像とテキストのペアリングに限定されています。一部の研究では、MM-REACT、InternGPT、DetGPTなどの外部のビジョンモデルを使用して、ビジョン言語モデルで領域レベルの理解を提供しています。ただし、彼らの非エンドツーエンドの設計は、汎用マルチモーダルモデルにとってより良い可能性があります。この作品は、関心領域の細かい理解を提供するために、最初から終わりまでビジョン言語モデルを開発することを目指しています。画像全体を画像埋め込みとして圧縮し、特定の部分を参照するための操作を行わないこれらのモデルのモデルアーキテクチャでは、空間指示にオブジェクトボックスを形式として確立します。回答を得るために、LLMは空間教育と言語的指示によって抽出されたビジュアル要素を提供されます。たとえば、問い合わせが「これは何をしているのか？」という交互のシーケンスの場合、モデルは空間指示によって参照される領域の特徴で置き換えます。 RoIAlignまたは変形可能なアテンションは、空間指示のための柔軟な実装方法です。これらは、画像とテキストのデータセットから領域とテキストのデータセットにトレーニングデータを更新し、領域とテキストのペアリング間の細かいアライメントを構築するために、各アイテムの境界ボックスとテキストの説明が提供されます。COCOオブジェクト識別、RefCOCO、RefCOCO+、RefCOCOg、Flickr30Kエンティティ、Visual Genome（VG）、Visual Commonsense Reasoning（VCR）などの公開データセットが組み合わされます。これらのデータセットは、指示調整のための形式に変更されます。さらに、商業的に利用可能な物体検出器を使用して、画像からオブジェクトボックスを抽出し、空間指示として利用することができます。LLaVA150Kなどの画像とテキストのトレーニングデータを活用するために、棚からひとつオブジェクト検出器を使用することもできます。彼らのモデルは、LLMに影響を与えることなく、領域特徴抽出器を事前トレーニングするために使用されます。彼らのモデルは、これらの画像テキストデータセットから学習し、視覚的指示の調整に注意深く選択されたビジュアルインストラクションを持つため、対話品質が向上し、より人間らしい返答を生成します。収集されたデータセットは、テキストの長さに基づいて2種類に分けられます。まず、短いテキストデータにはアイテムのカテゴリや基本的な特徴に関する情報が含まれます。これらはLLMに影響を与えることなく、領域特徴抽出器を事前トレーニングするために使用されます。次に、より長いテキストには、複雑なアイデアや論理的思考が必要な場合があります。これらのデータには複雑な空間指示が提供され、エンドツーエンドの領域特徴抽出器とLLMの微調整が可能になります。これにより、実際の使用時に柔軟なユーザー指示をシミュレートすることができます。彼らの手法は、空間指示の調整から得られる利点により、ビジョン言語モデルのユーザーに、言語形式と空間指示形式の両方でモデルに問い合わせることができるユニークなインタラクティブな体験を提供します。図1は、これにより、複雑な領域推論や領域キャプションなど、画像レベルの理解を超える新たな能力が実現することを示しています。結論として、彼らの作品は以下の点に貢献しています： • LLMに地域テキストデータセットのトレーニングを与えることで、地域レベルのビジョン言語モデルを進化させます。彼らのモデルは、以前の画像レベルのモデルと比較して、領域キャプションや推論などの追加機能を備えています。 • 応答を得るために、関心領域を参照するための空間指示を導入し、ビジュアルエンコーダから回復した領域特性を言語指示と共にLLMに提供します。 • コーディング、データセットの指示調整形式、オンラインデモはすべてGitHubで利用可能です。図1: GPT4RoIと呼ばれるビジョン言語モデルは、領域とテキストのペアリングで大規模な言語モデル（LLM）を調整する指示調整に基づいて構築されています。単一の領域に口頭と位置情報を組み合わせたユーザーの指示を分析することができます。領域のキャプション付けや推論など、細かいマルチモーダル理解のタスクを達成します。

「クロード2の探索：アントロピックの次世代AIへの野心的な一歩」

人工知能の常に進化する世界において、元OpenAIのリーダーが共同設立したスタートアップ企業Anthropicは、産業の支配を目指してさらなる一歩を踏み出しました彼らは最近、AIチャットボットのClaude 2のデビューを発表し、これはOpenAIやGoogleのようなAIの巨人たちと並ぶ存在として自社を確立するための重要なマイルストーンとなりましたAnthropicの誕生は[…]

Anthropic

このAI論文では、LLMsの既存のタスクの新しいバリアントに適応する能力が評価されています

言語モデル（LM）の注目すべきパフォーマンスは、大規模な次の単語予測がテキストコーパスから知識を効果的に蒸留できることを示唆しています。LMは、さまざまな自然言語処理ベンチマークで印象的な結果を達成し、最先端の手法を上回り、複雑な推論を必要とするタスクでも人間を上回る成績を収めています。ただし、これらの成功は、タスクに一般的な推論スキルからくるものなのか、事前学習時に遭遇した特定のタスクを認識・回想することからくるものなのかを判断することが重要です。これまでの研究は、主にインスタンスレベルの一般化に焦点を当てており、データの汚染問題が複雑さを増しています。本研究では、研究者たちは、パフォーミングタスクが実行される条件やルールを変更することで、LMの一般化能力を新たなタスクバリアントに対して調査しました。これらのタスクの一般的な推論手順は変更せず、具体的な入出力マッピングのみが変更されます。これらの新しいタスクは、カウンターファクトタスクと呼ばれ、デフォルト条件から逸脱し、モデルのタスクレベルの一般化能力を測定します。研究者たちは、複数のカテゴリとドメインを網羅する11のカウンターファクト評価タスクのスイートを提案しています。これらのタスクには、演繹的な推論、コード生成、ドローイング、空間的な推論などが含まれます。元のタスクとそのカウンターファクトバリアント間の推論手順は一貫していますが、入出力マッピングは異なります。この評価は、LMの新しいタスクバリアントへの適応性を評価することを目的としています。 GPT-4、GPT-3.5、Claude、およびPaLM-2のパフォーマンスは、タスクのデフォルト条件とカウンターファクト条件の両方で評価されます。結果は、LMがランダム以上のカウンターファクトパフォーマンスを示す一方で、デフォルト設定と比較して一貫して性能が低下することを示しています。これは、これらのタスクにおけるモデルの成功が、抽象的で一般化可能な推論スキルではなく、デフォルト条件固有の振る舞いに一部帰属できることを示唆しています。研究結果は、デフォルトとカウンターファクトタスクのモデルの振る舞いにおける興味深い関係も明らかにしています。デフォルトとカウンターファクトのパフォーマンスの相関関係、ゼロショットの連鎖思考プロンプトの効果、およびタスクおよびインスタンスレベルの頻度効果の相互作用が観察されています。全体として、タスクのデフォルトの具体化にわずかな変動があることは、LMにとって課題を提供し、既存のモデルの成功は単に目標タスクへの一般的な能力にのみ帰せられるべきではないことを示しています。

「A.I. Doomerismの白熱の中心に入ってみよう」

安全を重視するA.I.スタートアップのAnthropicは、ChatGPTと競争しながらA.I.の黙示録を防ぐことを試みています少しストレスがたまっています

「GPT-4はこの戦いで449対28で敗北した」

過去2〜3年間に、新興企業のOpenAIやCohereからGoogleやMetaといった巨大企業まで、さまざまな会社によって基盤モデルの開発が左右されてきましたこれらの...

「OpenAIがGPT-4へのアクセスを提供」

今日、OpenAIの最先端のテキスト生成モデルであるGPT-4が一般に利用可能になりました。会社からの興奮したリリースによると、この画期的な技術に開発者がアクセスできるように、そのAPIを通じてビジネスが提供しています。GPT-4へのアクセスは、今月末までに新しい開発者にも開放されますが、成功した支払いの履歴を持つ既存のOpenAI API開発者は既にそれを利用することができます。OpenAIは、コンピューティングの可用性に基づいて、徐々に可用性の制約を引き上げる予定です。 GPT-4への需要の急増 3月以来、数百万人の開発者がGPT-4 APIの利用に興味を示し、OpenAIへのアクセスに対する膨大な需要が生まれています。GPT-4を利用する革新的な製品の多様性は急速に拡大しており、このモデルが持つ巨大なポテンシャルを明らかにしています。OpenAIによれば、GPT-4によって駆動されるチャットベースのモデルを使用したさまざまなユースケースが将来的にサポートされる可能性があります。詳細はこちら：GPT-4のマスタープラン強化された機能：テキスト、画像、およびコードの生成 GPT-3.5に比べて、GPT-4にはいくつかの改善があります。テキストだけでなく、画像入力も受け付け、コードを含むテキストを生成することができます。この増加した能力により、開発者はより多様で魅力的なアプリケーションを作成することができます。GPT-4の学術および専門的な基準におけるパフォーマンスは「人間レベル」であり、その優れた能力を示しています。詳細はこちら：GPT-4が初の書籍の共同執筆を行いました！画像理解：近日公開予定の機能まだすべてのOpenAIのクライアントが利用できるわけではありませんが、GPT-4の画像理解機能は、OpenAIがパートナーのBe My Eyesと積極的に探求しているものです。OpenAIはいつより多くの顧客に利用可能になるかは明言していませんが、この機能はさまざまなアプリケーションに多くの可能性を秘めています。 GPT-4とGPT-3.5 Turboの微調整 OpenAIは、プログラマが自分のデータを使用してGPT-4とGPT-3.5 Turboを最適化することができるようにする予定です。今年中に、この機能は、OpenAIの他のテキスト生成モデルの一部に現在備わっているように一般公開される予定です。ユニークなデータでモデルを微調整することで、開発者はユニークなニーズに合わせてモデルをカスタマイズし最適化することができ、創造性に新たな可能性を生み出すことができます。生成AIの競争の激化 3月にGPT-4がリリースされたことにより、生成AIの分野での競争が激化しました。リーディングのテキスト生成AIモデルであるAnthropicは、モデルClaudeのコンテキストウィンドウを9,000トークンから驚異的な100,000トークンに拡大しました。トークンは生のテキストの断片であり、コンテキストウィンドウは新しいテキストを作成する前にモデルが考慮するコンテンツです。検索、要約、執筆、コーディング、質問への回答など、Claudeはすべての作業に優れています。コンテキストウィンドウの利点：GPT-4が先導 GPT-4は競争の中で最も大きなコンテキストウィンドウを持ち、最大32,000トークンに達します。モデルのコンテキストウィンドウが大きいほど、より多くの情報を前回の対話から保持することで、より一貫性のある文脈に即した回答が可能となります。小さなコンテキストウィンドウでは、モデルが最近の対話を「忘れる」ことが多く、話題から外れた回答になることがあります。 OpenAIの拡大オファリング：DALL-E 2とWhisper GPT-4に加えて、OpenAIはDALL-E…

どのような要素が対話エージェントを有用にするのか？

ChatGPTの技術：RLHF、IFT、CoT、レッドチーミング、およびその他この記事は、中国語の簡体字で翻訳されています。数週間前、ChatGPTが登場し、一連の不明瞭な頭字語（RLHF、SFT、IFT、CoTなど）が公衆の議論を巻き起こしました。これらの不明瞭な頭字語は何であり、なぜそれらが重要なのでしょうか？私たちはこれらのトピックに関する重要な論文を調査し、これらの作品を分類し、達成された成果からの要点をまとめ、まだ示されていないことを共有します。まず、言語モデルに基づく会話エージェントの現状を見てみましょう。ChatGPTは最初ではありません。実際、OpenAIよりも前に、MetaのBlenderBot、GoogleのLaMDA、DeepMindのSparrow、およびAnthropicのAssistant（このエージェントの完璧な帰属なしでの継続的な開発はClaudeとも呼ばれています）など、多くの組織が言語モデルの対話エージェントを公開しています。一部のグループは、オープンソースのチャットボットを構築する計画を発表し、ロードマップを公開しています（LAIONのOpen Assistant）。他のグループも確実に同様の作業を進めており、まだ発表していないでしょう。以下の表は、これらのAIチャットボットを公開アクセス、トレーニングデータ、モデルアーキテクチャ、および評価方向の詳細に基づいて比較しています。ChatGPTには文書化された情報がないため、代わりにChatGPTの基礎となったと信じられているOpenAIの指示fine-tunedモデルであるInstructGPTの詳細を共有します。トレーニングデータ、モデル、およびファインチューニングには多くの違いがあることが観察されますが、共通点もあります。これらのチャットボットの共通の目標は、ユーザーの指示に従うことです。たとえば、ChatGPTに詩を書くように指示することなどです。予測テキストから指示の従属へ通常、ベースモデルの言語モデリング目標だけでは、モデルがユーザーの指示に対して有益な方法で従うことを学ぶには十分ではありません。モデル開発者は、指示の細かいチューニング（IFT）を使用して、ベースモデルを、感情、テキスト分類、要約などの古典的なNLPタスクのデモンストレーションによって微調整し、非常に多様なタスクセットにおける指示の書かれた方針を学びます。これらの指示のデモンストレーションは、指示、入力、および出力の3つの主要なコンポーネントで構成されています。入力はオプションです。一部のタスクでは、ChatGPTの例のように指示のみが必要です。入力と出力が存在する場合、インスタンスが形成されます。特定の指示に対して複数の入力と出力が存在する場合もあります。以下に[Wang et al.、’22]からの例を示します。 IFTのデータは通常、人間によって書かれた指示と言語モデルを用いた指示のインスタンスのコレクションからなります。ブートストラップのために、LMは（上記の図のように）いくつかの例を使用してフューショット設定でプロンプトされ、新しい指示、入力、および出力を生成するように指示されます。各ラウンドで、モデルは人間によって選択されたサンプルとモデルによって生成されたサンプルの両方からプロンプトを受け取ります。データセットの作成における人間とモデルの貢献の割合はスペクトラムです。以下の図を参照してください。一方は完全にモデル生成されたIFTデータセットであり、例えばUnnatural Instructions（Honovich et al.、’22）です。もう一方は手作りの指示の大規模な共同作業であり、Super-natural instructions（Wang et al.、’22）などです。これらの間には、Self-instruct（Wang et al.、’22）のような、高品質のシードデータセットを使用してブートストラップする方法もあります。IFTのデータセットを収集するもう1つの方法は、さまざまなタスク（プロンプトを含む）の既存の高品質なクラウドソーシングNLPデータセットを統一スキーマや多様なテンプレートを使用して指示としてキャストすることです。この研究の一環には、T0（Sanh et al.、’22）、自然言語指示データセット（Mishra et…

Learn more about Search Results Claude - Page 17