Search Results A

大規模言語モデルの評価：包括的かつ客観的なテストのためのタスクベースAIフレームワーク、AgentSimsに会いましょう

LLMは、言語処理（NLP）の考え方を変えましたが、評価の問題は解決されていません。古い基準はやがて無意味になります。なぜなら、LLMは言語データを使用してNLUとNLGを人間レベルで実行できるからです（OpenAI、2023年）。クローズブック型の質問応答（QA）に基づく知識テスト、人間中心の標準化された試験、多回転の対話、推論、安全性評価など、新たな評価課題とデータセットが必要とされています。NLPコミュニティは、さまざまなスキルをカバーする新しい評価課題とデータセットを提案しました。ただし、これらの更新された基準には以下の問題が依然として存在します。課題の形式は評価可能な能力に制約を課しています。これらの活動のほとんどはワンターンのQAスタイルを使用しており、LLMの柔軟性を全体として評価するには適していません。ベンチマークの操作は簡単です。モデルの効果を決定する際には、テストセットがいかなる方法でも変更されていないことが重要です。しかし、既に訓練されたLLM情報が非常に多くあるため、テストケースが訓練データと混ざる可能性が高まっています。オープンエンドのQAには現在利用可能なメトリクスが主観的です。従来のオープンエンドのQAの評価には客観的および主観的な人間の評価が含まれていました。LLM時代には、テキストセグメントの一致に基づく測定はもはや関連性がありません。研究者は現在、GPT4などの適切に整列されたLLMに基づく自動評価者を使用して、人間の評価の高いコストを下げています。LLMは特定の特性に偏っていますが、この方法の最大の問題は、GPT4以上のモデルを分析できないことです。 PTA Studio、ペンシルバニア州立大学、北京航空航天大学、中山大学、浙江大学、東華師範大学による最近の研究では、AgentSimsという、LLMの評価課題をインタラクティブで視覚的に魅力的かつプログラムベースでキュレーションするアーキテクチャが紹介されています。AgentSimsの主な目標は、プログラミングの知識レベルが異なる研究者が直面する障壁を取り除き、タスク設計プロセスを容易にすることです。 LLMの分野の研究者は、AgentSimsの拡張性と組み合わせ性を活用して、複数の計画、メモリ、学習システムの組み合わせの効果を調査することができます。AgentSimsのマップ生成とエージェント管理のユーザーフレンドリーなインターフェースは、行動経済学や社会心理学など、さまざまな専門分野の専門家にもアクセスしやすくなっています。このようなユーザーフレンドリーな設計は、LLMセクターの持続的な成長と発展において重要です。研究論文によれば、AgentSimsは現在のLLMベンチマークよりも優れており、わずかなスキルのみをテストし、テストデータと基準が解釈の余地があるベンチマークよりも優れています。社会科学者や他の非技術的なユーザーは、グラフィカルインターフェースのメニューやドラッグアンドドロップ機能を使用して、環境を簡単に作成し、ジョブを設計することができます。抽象化されたエージェント、計画、メモリ、ツール使用のクラスのコードを変更することで、AIの専門家や開発者はさまざまなLLMサポートシステムを実験することができます。目標指向の評価によって、目的のタスク成功率を決定することができます。要するに、AgentSimsは、明確な目標を持つさまざまな社会シミュレーションに基づいた堅牢なLLMベンチマークの横断的なコミュニティ開発を促進します。

「アイデアからAIを活用したビジネスへ：AI＆自動化を活用する中小企業のための5つの重要なステップ」

人工知能（AI）は、中小企業（SMB）の世界に進出しています現在、AIと自動化技術は、大規模なグローバル企業に限定されるものではありません...

「Hugging Face Transformersを使用したBERT埋め込みの作成」

はじめに Transformersはもともと、テキストを一つの言語から別の言語に変換するために作られました。BERTは、人間の言語を学習し作業する方法に大きな影響を与えました。それはテキストを理解する元々のトランスフォーマーモデルの部分を改良しました。BERTの埋め込みを作成することは、特に複雑な意味を持つ文章を把握するのに適しています。これは、文章全体を調べ、単語のつながり方を理解することで行います。Hugging Faceのtransformersライブラリは、ユニークな文章コードを作成し、BERTを導入するための鍵です。学習目標 BERTと事前学習モデルの理解を深める。これらが人間の言語との作業にどれだけ重要かを理解する。 Hugging FaceのTransformersライブラリを効果的に使用する方法を学ぶ。これを使用してテキストの特殊な表現を作成する。事前学習されたBERTモデルからこれらの表現を正しく削除する様々な方法を見つける。これは、異なる言語タスクには異なるアプローチが必要なため重要です。実際にこれらの表現を作成するために必要な手順を実際に行い、実践的な経験を積む。自分自身でできることを確認する。作成したこれらの表現を使用して、テキストのソートやテキスト内の感情の把握など、他の言語タスクを改善する方法を学ぶ。特定の言語タスクにさらに適したように事前学習モデルを調整する方法を探索する。これにより、より良い結果が得られる可能性があります。これらの表現が言語タスクの改善にどのように使用され、言語モデルの正確性とパフォーマンスを向上させるかを調べる。この記事はデータサイエンスブログマラソンの一部として公開されました。パイプラインはトランスフォーマーのコンテキスト内で何を含むのか？パイプラインは、トランスフォーマーライブラリに含まれる複雑なコードを簡素化するユーザーフレンドリーなツールと考えてください。言語の理解、感情分析、特徴の抽出、質問に対する回答などのタスクにモデルを使用することを簡単にします。これらの強力なモデルとの対話を簡潔な方法で提供します。パイプラインにはいくつかの重要なコンポーネントが含まれます：トークナイザ（通常のテキストをモデルが処理するための小さな単位に変換するもの）、モデル自体（入力に基づいて予測を行うもの）、そしてモデルがうまく動作するようにするためのいくつかの追加の準備ステップ。 Hugging Face Transformersの使用の必要性は何ですか？トランスフォーマーモデルは通常非常に巨大であり、トレーニングや実際のアプリケーションで使用するために取り扱うことは非常に複雑です。Hugging Face transformersは、このプロセス全体を簡単にすることを目指しています。どれほど巨大であっても、どんなTransformerモデルでも、ロード、トレーニング、保存するための単一の方法を提供します。モデルのライフサイクルの異なる部分に異なるソフトウェアツールを使用することはさらに便利です。一連のツールでトレーニングを行い、その後、手間をかけずに実世界のタスクに使用することができます。高度な機能これらの最新のモデルは使いやすく、人間の言語の理解と生成、コンピュータビジョンや音声に関連するタスクにおいて優れた結果を提供します。…

テキストによる画像および3Dシーン編集の高精度化：『Watch Your Steps』に出会う

ニューラル放射場（NeRF）は、正確で直感的な視覚化を作成する能力により、大いに人気が高まっています。これにより、イメージを変更するためにNeRFを変更するというアイデアが生まれました。また、ノイズ除去拡散モデルは、テキストの説明から非常に良いイメージを生成でき、その効果的さから画像編集のために人気があります。拡散ベースの画像編集技術の将来性にもかかわらず、変更が必要な領域を特定するための自動化手法は明らかに不足しています。現在使用されている手法は、ユーザーが提供したマスクに依存したり、ノイズのある入力で見つかるグローバル情報を出発点としたり、入力データに依存してノイズ除去プロセスが行われる方法に依存しています。しかし、これらのアプローチは通常、過度に編集する傾向があります。NeRF編集のためのIN2Nアプリケーションでも、シーンの過剰な編集の問題に直面しています。IP2Pと同様に、DiffEditはキャプションによって導かれるノイズ予測を使用して編集ゾーンを特定しますが、この方法は遅くて効率が低いです。研究者チームは、特定のテキスト指示に従って変更が必要な画像内の正確な領域を特定およびローカライズするためのユニークな手法を発表しました。これはWatch Your Stepsとして知られ、この手法はテキスト指示によるローカルイメージおよびシーンの編集をサポートします。チームは、InstructPix2Pix（IP2P）の機能を利用して、IP2Pの指示ありと指示なしの予測の違いを明らかにしました。この違いは関連マップと呼ばれています。関連マップは基本的には道路地図の役割を果たし、特定のピクセルを変更して所望の変更を達成するための重要性を示します。これにより、変更を行う際には必要なピクセルのみを変更し、不要なピクセルは変更しないようにするためのガイドとして機能します。チームは、関連マップが基本的な画像編集に限らず、3Dシーンの文脈でのテキストによる指示による変更の精度を向上させるためにも役立つことを共有しています。これを行うために、異なるトレーニングビューに接続された関連マップを利用して、関連フィールドがトレーニングされました。この関連フィールドによって、意図した変更を達成するために変更すべき3D領域が効果的に定義され、このため、既定の関連フィールドから関連マップをレンダリングして、トレーニングビューを反復的に更新するためのガイドとして機能します。評価の結果、この手法はニューラル放射場（NeRF）の編集作業および画像編集において類を見ないパフォーマンスを達成したことがわかりました。これにより、画像とシーンの操作によって生じる困難を克服するためのこの手法の価値と優れた性能が示されました。

メタがコードラマをリリース：コーディングのための最新のAIツール

メタ社は、驚異的な技術的飛躍を遂げ、最新の作品であるCode Llamaをリリースしました。Code Llamaは、Llama 2言語モデルをベースにしたAIパワードツールです。この革新的なツールは、開発者にとってスーパーヒーローのような存在であり、コーディングをスムーズで高速、かつより利用しやすくしてくれます。経験豊富なプログラマであっても、コーディングの旅を始めたばかりでも、Code Llamaがあなたをサポートします。以下に、Metaの最新AIコード生成ツールについて知っておくべきことをまとめました。また読む: Anthropicがコーディングを革新する次世代AIチャットプログラムClaude 2を発表 Code Llamaでコードを解読する MetaのCode Llamaは、普通のAIではありません。これは大規模な言語モデル（LLM）であり、テキストのプロンプトを読み取り、コードの解決策を作成することができます。自分専用のコーディングの魔人をイメージしてください-望むものを入力すると、ぱっと出てきます！Code Llamaは、プロジェクトを輝かせることができる超効率的でエキスパートレベルのコードです。また読む: プログラマを助けるコードを生成する10のAIツールギャップを埋める: 初心者から忍者へコーディングを学ぶことは、異星語を解読するようなものかもしれません。しかし、Code Llamaがあなたのそばにいると、賢明なメンターがあなたの言葉とコードの言葉を話すようなものです。AIコード生成ツールは、あなたの説明に基づいてコードの行を作成し、複雑なアイデアを現実に変えることができます。Python、C ++、Java、または他の主要なプログラミング言語であっても、このAIは対応しています！コード生成ツール以上のもの Code Llamaは、コード生成ツールにとどまらず、コーディングのあらゆる段階で役立つ多目的なツールです。デバッグやコードの完成において、あなたの仮想のパートナーとなります。コードを書いていて行き詰まった場合、AIが提案してプロセスを案内し、行き詰まらないようにサポートしてくれます。また読む:…

DeepMindの研究者が、成長するバッチ強化学習（RL）に触発されて、人間の好みに合わせたLLMを整列させるためのシンプルなアルゴリズムであるReinforced Self-Training（ReST）を提案しました

大規模言語モデル（LLM）は、優れた文章を生成し、さまざまな言語的な問題を解決するのに優れています。これらのモデルは、膨大な量のテキストと計算を使用してトークンを自己回帰的に予測する確率を高めるためにトレーニングされます。しかし、先行研究は、高確率でテキストを生成することが、異なるタスクにおける人間の好みと一致することは稀であることを示しています。言語モデルは、適切に整列されていない場合、有害な効果をもたらす危険な素材を生成する可能性があります。また、LLMの整列は、他の下流操作のパフォーマンスを向上させます。フィードバックからの強化学習は、整列の問題を解決するために人間の好みを利用します。報酬モデルは通常、人間の入力によって学習され、その後、強化学習（RL）の目標として使用されるため、LLMを微調整するために使用されます。RLHF技術では、PPOやA2CのようなオンラインRL技術が頻繁に使用されます。オンライントレーニング中に変更されたポリシーをサンプリングする必要があり、サンプルは報酬モデルを使用して繰り返しスコアリングする必要があります。オンラインアプローチは、ポリシーと報酬ネットワークのサイズが拡大するにつれて、新鮮なデータの一定のストリームを処理するための計算費用に制約を受けます。また、これらのアプローチが攻撃を受けやすい「ハッキング」の問題に対処するために、以前の研究ではモデルの正規化を検討しています。代わりに、オフラインRLアルゴリズムは計算効率が高く、報酬ハッキングに対して脆弱性が低いため、事前に定義されたサンプルのデータセットから学習します。ただし、オフラインデータセットの特性は、オフラインで学習されるポリシーの品質に密接に関連しています。そのため、適切に選択されたデータセットは、オフラインRLの成功には重要です。そうでない場合、教師あり学習よりも性能の向上はわずかかもしれません。彼らはまた、DPO（Direct Preference Optimisation）という手法を提案しています。これは、オフラインデータを使用してLMを人間の好みに合わせることができます。Googleの研究者は、言語モデルの整列の問題を逐次的なRL問題として提示し、彼らのリンフォースドセルフトレーニング（ReST）技術は、2つのループから成り立っています。内側のループ（Improve）は、与えられたデータセット上でポリシーを改善します。一方、外側のループ（Grow）は、最新のポリシーからサンプルを取得してデータセットを拡張します（図1参照）。図1：ReSTアプローチ。ポリシーはGrowステップでデータセットを作成します。フィルタリングされたデータセットは、Improveステージで言語モデルを微調整するために使用されます。データセットの作成費用を分散するために、Improveフェーズは他の2つのプロセスよりも頻繁に行われます。この研究では、条件付き言語モデリングを考慮した後、ReSTのフェーズは次のようになります：1. Grow（G）：言語モデルポリシー（最初は教師付きポリシー）を使用して、各シナリオごとに数多くの出力予測を生成し、トレーニングデータセットを補完します。2. Improve（I）：学習報酬モデルで訓練されたスコアリング関数を使用して、エンリッチドデータセットをランク付けおよびフィルタリングします。フィルタリングされたデータセットは、オフラインRLの目標を持つ言語モデルを調整します。このプロセスをフィルタリングの閾値を増やすことで繰り返します。その後、次のGrowステップでは最終的なポリシーが使用されます。 ReSTは、Improveステップを実行する際に、内側のループでさまざまなオフラインRL損失を使用することを可能にする一般的なアプローチです。実践するためには、モデルから効果的にサンプリングする能力と、モデルのサンプルをスコアリングする能力が必要です。オンラインまたはオフラインのRLを使用する標準的なRLHFアプローチよりも、ReSTにはいくつかの利点があります： • Growフェーズの出力は、複数のImproveステージで使用されるため、オンラインRLと比較して計算コストが大幅に削減されます。 • Growステップ中に改善されたポリシーから新しいトレーニングデータがサンプリングされるため、ポリシーの品質は元のデータセットの品質に制約されません（オフラインRLとは異なります）。 • データ品質の検査や報酬のハッキングなど、成長と改善のステップが切り離されているため、アラインメントの問題を診断することが簡単です。 • 調整するハイパーパラメータはほとんどなく、技術は直感的で信頼性があります。機械翻訳は、通常、条件付き言語モデリングとして表現されるシーケンス・トゥ・シーケンス学習の問題であり、外国語のフレーズが条件付けコンテキスト（ソース）として使用されます。彼らは機械翻訳を選択する理由として、（a）堅実なベースラインと明確な評価プロセスを持つ有用なアプリケーションであること、および（b）信頼できるいくつかの現在のスコアリングおよび評価方法を報酬モデルとして使用できることを挙げています。彼らは、IWSLT 2014およびWMT 2020のベンチマーク、およびWebドメインのより難解な内部ベンチマークで、いくつかのオフラインRLアルゴリズムを比較します。ReSTは、試行中のテストセットと検証セットで報酬モデルの結果を劇的に向上させます。人間の評価者によれば、ReSTは教師あり学習のベースラインよりも品質の高い翻訳を生成します。

プロンプトエンジニアリング：AIを騙して問題を解決する方法

「これは、実践的な大規模言語モデル（LLM）の使用に関するシリーズの第4回目の記事ですここでは、プロンプトエンジニアリング（PE）について説明し、それを使用してLLM対応のアプリケーションを構築する方法について話しますまずは、...」

「AWSに基づいたカスケーディングデータパイプラインの構築方法（パート2）」

以前、私はAWS CloudFormationテクノロジーを使用してデータパイプラインを開発する際の経験を共有しましたただし、これは最適なアプローチではありませんなぜなら、3つの別の問題が残っているからです...

「NTU SingaporeのこのAI論文は、モーション表現を用いたビデオセグメンテーションのための大規模ベンチマーク、MeVISを紹介しています」

言語にガイドされたビデオセグメンテーションは、自然言語の記述を使用してビデオ内の特定のオブジェクトをセグメント化およびトラッキングすることに焦点を当てた発展途上の領域です。ビデオオブジェクトを参照するための現行のデータセットは通常、目立つオブジェクトに重点を置き、多くの静的属性を持つ言語表現に依存しています。これらの属性により、対象のオブジェクトを単一のフレームで特定することができます。しかし、これらのデータセットは、言語にガイドされたビデオオブジェクトセグメンテーションにおける動きの重要性を見落としています。 https://arxiv.org/abs/2308.08544 研究者は、私たちの調査を支援するために、Motion Expression Video Segmentation（MeViS）と呼ばれる新しい大規模データセットであるMeVISを紹介しました。 MeViSデータセットは2,006のビデオ、8,171のオブジェクト、および28,570のモーション表現で構成されています。上記の画像は、MeViSの表現を表示しており、これらの表現は主にモーションの属性に焦点を当てており、単一のフレームだけで対象のオブジェクトを特定することはできません。たとえば、最初の例では似たような外観を持つ3羽のオウムが特徴であり、対象のオブジェクトは「飛び去る鳥」と特定されます。このオブジェクトは、ビデオ全体のモーションをキャプチャすることでのみ認識できます。 MeVISデータセットがビデオの時間的なモーションに重点を置くようにするために、いくつかの手順があります。まず、静的属性だけで説明できる孤立したオブジェクトを持つビデオを除外し、モーションと共存する複数のオブジェクトを含むビデオコンテンツを注意深く選択します。次に、ターゲットオブジェクトをモーションの単語のみで曖昧さなく説明できる場合、カテゴリ名やオブジェクトの色などの静的な手がかりを含まない言語表現を優先します。 MeViSデータセットの提案に加えて、研究者はこのデータセットがもたらす課題に対処するためのベースラインアプローチであるLanguage-guided Motion Perception and Matching（LMPM）を提案しています。彼らのアプローチでは、言語によるクエリの生成を行い、ビデオ内の潜在的な対象オブジェクトを識別します。これらのオブジェクトはオブジェクト埋め込みを使用して表現され、オブジェクトの特徴マップと比較してより堅牢で計算効率の良いものです。研究者はこれらのオブジェクト埋め込みに対してMotion Perceptionを適用し、ビデオのモーションダイナミクスの時間的な文脈を捉え、ビデオ内の瞬間的なモーションと持続的なモーションの両方を把握することができます。 https://arxiv.org/abs/2308.08544 上記の画像はLMLPのアーキテクチャを表示しています。彼らはTransformerデコーダを使用して、モーションに影響を受けた組み合わせられたオブジェクト埋め込みから言語を解釈し、オブジェクトの移動を予測するのに役立ちます。それから、言語特徴を投影されたオブジェクトの動きと比較して、表現で言及されるターゲットオブジェクトを見つけます。この革新的な方法は、言語理解とモーション評価を統合して、複雑なデータセットの課題を効果的に処理します。この研究は、より高度な言語にガイドされたビデオセグメンテーションアルゴリズムの開発の基盤を提供しました。さらに、以下のようなより困難な方向に向けた道を開拓しました。視覚的および言語的モダリティにおけるより良いモーション理解とモデリングのための新しい技術の探索。冗長な検出されたオブジェクトの数を減らすより効率的なモデルの作成。言語と視覚信号の相補的な情報を活用するための効果的なクロスモーダル融合手法の設計。複数のオブジェクトと表現がある複雑なシーンを処理できる高度なモデルの開発。これらの課題に取り組むには、言語によるビデオセグメンテーションの現在の最先端を推進するための研究が必要です。

「生成AIの組織化：データサイエンスチームから得た5つの教訓」

「経営陣が曖昧な約束をした後、新しいGen AIの機能が組織全体に組み込まれることを利害関係者に約束した後、あなたのタイガーチームはMVPを作成するためにスプリントしました」

Learn more about Search Results A - Page 263