Search Results A

エネルギーフォレンジックスにおける高度なAIアルゴリズムの開発：消費パターンを通じたスマートグリッド盗難検出のためのTransformerモデルのPythonガイド

ドイツのエネルギーデータからの洞察：小規模設定における消費パターンとオンラインデータサポートアナリティクスに関するステファニー・ネスによるガイド広大なデータの海の中で、各キロワット時はその物語をささやきます複雑な消費パターンの奥深くには異常、エネルギー盗難の秘話が潜んでいるかもしれませんこれらの物語は、頻繁にありふれていることが多いですが、時には高らかに響くこともあります...消費パターンを通じたスマートグリッドの盗難検出のためのトランスフォーマーモデルに関するエネルギーフォレンジクスの高度なAIアルゴリズム開発：Pythonガイドを読む»

ChatGPTカスタム指示の使用方法（6つのユースケース）

「カスタム指示」は、ChatGPTが応答を生成する際に考慮してほしい個人の好みや要件を追加することができます

「犯罪者がWormGPT（ダークウェブのChatGPT）を利用する恐ろしい4つの方法」

「WormGPTは、倫理的な制約や制限を持たないダークウェブ上のAIパワードチャットボットです」

生成AI倫理’ (Seisei AI Rinri)

生成型人工知能（AI）に関する大騒ぎがある中で、この変革的な技術を責任を持って実装する方法について、未解決の問題が増えていますこの…

「OpenAIの関数呼び出しの使い方」

関数呼び出しは、大規模な言語モデルを活用したアプリ開発において、可能性を広げる革新ですしかし、私はそれが依然として誤解されていることに気付きました...

このAIニュースレターは、あなたが必要とするすべてです＃57

「AIの世界では、LLMモデルのパフォーマンス評価が注目の話題となりました特に、スタンフォードとバークレーの学生による最近の研究についての活発な議論がありました...」

「AIフィードバックループ：AI生成コンテンツの時代におけるモデルの製品品質の維持」

「AIのフィードバックループが、生成型AIの登場に伴い、モデルの品質維持、効率向上、パフォーマンス向上にどのように役立つかを探索してください」

新しいAIの研究は、事前学習済みおよび指示微調整モデルのゼロショットタスクの一般化性能を改善するために、コンテキスト内の指導学習（ICIL）がどのように機能するかを説明しています

Large Language Models (LLMs)は、few-shot demonstrations、またはin-context learningとしても知られるプロセスによって、推論中にターゲットタスクに適応できることが示されています。この能力は、モデルのサイズが拡大するにつれて、LLMsが新たな特徴を表示することでますます明らかになっています。その中でも、指示に従って未知のタスクに一般化する能力は注目されています。そのためには、Instruction tuning、またはRLHFと呼ばれる教示学習アプローチが、この能力を高めるために提案されています。しかしながら、これまでの研究は主にfine-tuningに基づく教示学習技術に焦点を当ててきました。モデルは、多くのタスクと指示に基づいてマルチタスクでfine-tuningされており、多くのバックプロパゲーション手順が必要です。 KAISTとLG Researchの研究者グループは、in-context learningを通じて推論中に指示に従う学習（ICIL）が、既存の事前学習モデルや特定の指示に従うように特別に調整されたモデルの両方にとって有利であることを示しています（図1参照）。ICILで使用されるプロンプトには、タスクの教育、入力、出力の各インスタンスである多くのクロスタスクの例が含まれています。デモンストレーションに使用される機能を評価セットから完全に除外し、すべての評価タスクに対して同じ一連のプロンプトを使用するため、ICILはゼロショット学習アプローチです（図2参照）。図1： SUPERNIベンチマークを使用して評価された119の評価ジョブの平均パフォーマンス。事前学習済みおよび指示に基づいたfine-tuningされたLLMsの両方がICILから利益を得ることができます。ICILのためのいくつかの例セットの標準偏差エラーバーと平均スコアを示しています。彼らは、さまざまなダウンストリームタスクやモデルサイズに適したシンプルなヒューリスティックベースのサンプリング方法を使用して、固定された例セットを作成します。すべてのジョブに対して同じ固定されたデモンストレーションセットを先頭に追加することで、新しいターゲットタスクやモデルのベースラインのゼロショットパフォーマンスを評価および複製することができます。図1は、指示に従うようにfine-tuningされていないさまざまな事前学習済みLLMsのゼロショットチャレンジでの一般化性能を大幅に向上させることを示しています。図2：コンテキスト学習教示（ICIL）の概要。すべてのタスクに対して事前学習済みおよび指示に基づいたfine-tuningされたLLMsを評価するために、指示、入力、出力の各インスタンスで構成される事前定義済みのデモンストレーションセットを構築します。デモンストレーションに含まれるタスクと評価されるタスクが厳密に留保されることにより、ゼロショットの一般化シナリオが保証されます。彼らのデータは、指示に明確な応答オプションを備えた分類タスクの選択が、ICILの成功の鍵であることを示しています。重要なことは、ICILを使用した小さいLLMsでも、ICILを使用しない大きな言語モデルよりも優れたパフォーマンスを発揮することです。たとえば、6BサイズのICIL GPT-Jは、175Bサイズの標準的なゼロショットGPT-3 Davinciよりも30以上優れています。さらに、ICILを教示に基づいたfine-tuningされたLLMsに追加することで、特に100B以上の要素を持つモデルに対するゼロショットの指示に従う能力が向上することを示しています。これは、ICILの影響が指示の修正の影響と加算的であることを示唆しています。これは、以前の研究がfew-shot in-context learningにはターゲットタスクと類似した例を取得する必要があると示唆していたのとは対照的に、生成ターゲットタスクにも当てはまります。さらに驚くべきことに、各例の入力インスタンス分布にランダムなフレーズを代わりに使用しても、パフォーマンスに顕著な影響はありません。このアプローチに基づいて、LLMsは指示中で提供される応答オプションと各デモンストレーションの生成との対応関係を推論中に学ぶため、指示、入力、出力の複雑な関係に依存するのではなく、ICILがLLMsを目標指示に集中させ、目標タスクの応答分布の信号を見つけるのを支援することが目的です。以下のPaperとGithubをご覧ください。この研究に関するすべてのクレジットは、このプロジェクトの研究者に帰属します。また、最新のAI研究ニュース、クールなAIプロジェクトなどを共有している15k+ ML SubReddit、Discordチャンネル、およびEmailニュースレターにもぜひご参加ください。…

「スタンフォード大学の新しいAI研究は、言語モデルにおける過信と不確実性の表現の役割を説明します」

自然言語システムが日常のシナリオでますます普及するにつれて、これらのシステムは適切に不確実性を伝える必要があります。人間はしばしば不確実性の表現に頼って、傘を持ってくるか、化学療法を始めるかなどの意思決定プロセスに情報を提供します。しかし、言語の不確実性が自然言語生成システムとどのように相互作用するかについての研究の必要性があり、モデルが自然言語との相互作用のこの重要な要素を理解する必要があります。最近の研究では、言語モデル（LM）が不確実性の表現を解釈する能力と、不確実性の表現を出力するように訓練された場合のその振る舞いの変化を探究しています。自然な不確実性の表現には、ためらいを示す、情報を帰属する、制限を認識するなどのディスコース行為が含まれます。従来の研究は、モデルの内部確率と言語的または数値的順序の出力とのマッピングの学習に重点を置いてきましたが、現在の研究では、ヘッジ、エピステミックマーカー、能動的な動詞、証拠マーカーなどの非一次元的な言語的特徴を自然言語生成モデルに組み込むことを目指しています。この研究は、質問応答（QA）タスクの文脈でプロンプトの中の不確実性を解釈して生成する大規模言語モデル（LM）の振る舞いを調査しています。この研究では、不確実性の効果を分離するためにゼロショット設定で実験を行い、不確実性の表現を学習することで生成にどのような影響があるかを文脈学習シナリオで調査しました。この研究では、高い確実性の表現を使用することが正確さとキャリブレーションの両方の欠点を引き起こす可能性があることがわかりました。具体的には、確実性の表現が前置詞を強めるため、正確さにシステマチックな損失が生じました。また、モデルに弱める表現を出力させることは、正確さを犠牲にすることなくキャリブレーションの改善につながりました。この研究では、言語的特徴がLMの生成にどのような影響を与えるかを評価するための不確実性の表現の分類法を紹介しました。結果は、非常に確かな言語を出力するモデルの潜在的な欠点から、言語的にキャリブレーションされたモデルの設計が重要であることを示唆しています。この研究の貢献は以下の通りです：不確実性の表現がLMとどのように相互作用するかについてのフレームワークと分析を提供する。不確実性の表現の分類法の導入。モデルが確実性の表現や慣用句を使用することで生じる正確性の問題を示す。最後に、この研究では不確実性の表現が確実性の表現よりもキャリブレーションが向上する可能性があることを示唆しています。結論この研究では、ゼロショットプロンプトと文脈学習における自然な不確実性の表現がモデルの振る舞いに与える影響を分析しました。研究者は、強化剤や能動的な動詞などの自然な確実性の表現や「１００％の確信」といった数値的な不確実性の慣用句を使用することが、ゼロショットプロンプトにおいて正確さを低下させることを発見しました。しかし、モデルに強める表現を出力させるのではなく、弱める表現を出力させることでキャリブレーションの改善が見られました。この研究では、モデルに確実性の表現を出力させるのではなく、不確実性の表現を出力させるように教えることが、人間とコンピュータの相互作用の安全な設計選択肢となる可能性があると示唆しています。これは、従来の研究がAI支援の意思決定が人間の意思決定単独よりも悪かったことを示しており、AIへの過度な依存を示唆しています。モデルに確実性の表現を出力させることで、モデルのキャリブレーションの悪さや脆弱性を考慮すると、この問題は悪化する可能性があります。研究者は、人間が生成された自然な表現をどのように解釈するかを調査するためにさらなる研究が行われる一方で、モデルに不確実性の表現を出力させるためのトレーニングに焦点を当てることを推奨しています。

PaLM-Eをご紹介します：新たな5620億パラメータの具現化された多モーダル言語モデルで、ロボットの操作計画やビジュアルQAなどのタスクを実行します

大容量の言語モデル（LLM）は、会話、ステップバイステップの推論、数学の問題解決、コードの作成など、さまざまな分野で強力な推論能力を示しています。LLMを膨大なテキストデータでトレーニングすることで、物理的な環境に関連する表現が生成されますが、それらの表現を現実世界の視覚的および物理的なセンサーモダリティに接続することは、コンピュータビジョンとロボティクスの現実世界の問題の幅広い範囲の解決に重要です。従来の研究では、LLMの出力を学習されたロボットポリシーや利用可能な機能関数と統合して意思決定を行う方法に制約がありました。従来の研究の制限は、LLMがテキスト入力のみを受け取ることであり、シーンの幾何学的な構成が重要な多くのタスクには不十分です。さらに、彼らの研究は、ビジュアルクエスチョンアンサリング（VQA）などの一般的なビジョン言語タスクでトレーニングされた最先端のビジュアル言語モデルが、直接的にロボティックな推論問題を解決することができないことを示しています。この研究では、GoogleとTU Berlinの研究者は、具体的な世界における連続的な入力を直接的に取り入れ、言語モデルが実際の世界での連続的な意思決定により正確な結論を導くことができるようにする具体的な言語モデルを提案しています。彼らはPaLM-Eを開発しました。これはシングルビッグな具体的な多モーダルモデルであり、異なる観察モダリティにおける数多くの具体的な推論問題を解決し、正の転送を示します。 PaLM-E LLMは、学習者の第一言語（L1）の知識やスキルを第二言語（L2）の学習に適用することで、L2のより迅速かつ効果的な習得をもたらす正の転送を実現します。たとえば、学習者のL1がL2と類似の文法構造を持つ場合、L1の文法の知識を使用してL2の文法のルールをより迅速に理解し適用することができるかもしれません。同様に、学習者のL1とL2が同じ綴りと意味を持つ語（両言語で同じ綴りと意味を持つ語）を共有している場合、これらの語を認識し記憶することでL2の語彙を迅速に拡大することができるかもしれません。正の転送は、学習者のL1の知識やスキルがL2の習得能力に干渉する場合に生じる負の転送とは対照的です。たとえば、学習者のL1の文法構造がL2のそれと大きく異なる場合、彼らはそれらを理解していてもL2の文法のルールを正しく適用することに苦労するかもしれません。言語トークンがTransformerベースのLLMのセルフアテンションレイヤーによって処理されるのと同様に、写真や状態推定などの入力も同じ潜在的な埋め込みに言語トークンとして組み込まれます。彼らは、連続的な入力をエンコーダを介して事前にトレーニングされたLLMに注入することから始めます。これらのエンコーダは、自然言語で順序判断を生成するためにエンドツーエンドでトレーニングを受けており、具体的な言語モデルが低レベルのルールを構成したり、具体的なクエリに応答したりすることで理解することができます。さまざまな入力表現（視覚入力の標準的なエンコーディングとオブジェクト中心のViTエンコーディングなど）を対比し、エンコーダのトレーニング中に言語モデルを凍結または微調整すること、および複数のタスクでの共同トレーニングが転送を可能にするかどうかを検証することにより、このアプローチをさまざまな文脈で評価します。彼らは、3つのロボット操作ドメイン（そのうち2つは実世界でクローズドループ）と、OK-VQAベンチマークなどの一般的なビジョン言語タスク、および言語タスクでこの手法の幅広さを決定するために、テクニックをテストします。彼らの調査結果によれば、マルチタスクトレーニングは単一のタスクのモデルをトレーニングする場合よりもパフォーマンスを向上させます。彼らは、タスク間のこの転送が、ロボティクスタスクにおけるデータの効率性を大幅に向上させること、新しいアイテムの組み合わせや未知のオブジェクトへのワンショットまたはゼロショットの一般化を展示し、少数のトレーニングサンプルからの学習パフォーマンスを大幅に向上させることを示しています。彼らの知識によれば、540BのPaLM LLMと22Bのビジョントランスフォーマー（ViT）を組み合わせて、これまでに公開された最大のビジョン言語モデルであるPaLM-Eを562Bのパラメータにスケーリングしています。タスク固有の微調整を使用せずに、PaLM-E-562BはOK-VQAベンチマークで最先端のパフォーマンスを実現しています。彼らはまた、PaLM-E-562Bがシングルイメージの例のみでトレーニングされているにもかかわらず、ゼロショットのマルチモーダルなCoT（Chain of Thought）の少数ショットの促進、OCRフリーの算術推論、およびマルチイメージ推論など、幅広いスキルを示すことを発見しています。彼らの知識によれば、ゼロショットのCoTは、タスク固有のプログラムを使用した多モーダルデータのエンドツーエンドモデルでまだ示されていないとのことです。彼らの主な貢献をまとめると、彼らは（1）具体的なデータをトレーニングに組み込むことで、多様なモダリティを持つ大規模言語モデルをトレーニングし、一般化された、転移学習された、多様な具現化の意思決定エージェントを作成する方法を提案し、示しています。彼らは、最先端の汎用的なビジュアル言語モデルが、ボックス外の具現化の問題を効果的に解決しないことを示していますが（ゼロショット）、有能な具現化の理解者である一般的なビジュアル言語モデルをトレーニングすることが可能であることも示しています。このようなモデルの最適なトレーニングに関する研究を行っています。彼らは（3）エンティティラベリングのマルチモーダルトークンやニューラルシーン表現など、新しいアーキテクチャの概念を提供しています。さらに、彼らは（4）PaLM-Eが具現化の理解者であるだけでなく、数量的に優れたビジョンと言語の一般的なモデリングも行えることを示し、（5）言語モデルのサイズを拡大することで、多様なモダリティの微調整がより壊滅的な忘却を伴わずに可能であることを示しています。さまざまなデモは、彼らのプロジェクトのウェブサイトで見ることができます。

Learn more about Search Results A - Page 349