Search Results A

スタンフォード大学の研究者たちは、MLAgentBenchを提案しました：AI研究エージェントのベンチマーキングのためのマシンラーニングタスクのスイート

人間の科学者は未知の深みを探索し、さまざまな未確定の選択を要する発見をすることができます。科学的な知識に裏打ちされた状態で、人間の研究者は未知の領域を探索し、その過程で画期的な発見をします。今では、同様の能力を持つAI研究エージェントを構築することが可能かどうかが研究されています。オープンエンドの意思決定と環境との自由な相互作用は、パフォーマンス評価に困難をもたらします。これらのプロセスは時間がかかる、リソースを消費する、量化が難しいといった特徴を持っています。自由な形式の意思決定能力を持つAI研究エージェントを評価するために、スタンフォード大学の研究者らはMLAgentBenchを提案しています。MLAgentBenchの核となるアイデアは、よく範囲のある実行可能な研究課題において、研究エージェントを自動的に評価するための一般的なフレームワークを提供することです。具体的には、各研究課題にはタスクの説明と必要なファイルのリストが与えられます。これらを持つ研究エージェントは、読み書きやコード実行などのタスクを人間の研究者と同様に実行することができます。エージェントの行動と作業スペースの仮間スナップショットは、評価のための相互作用トレースの一部として収集されます。研究チームは、研究エージェントの以下の3つの観点で評価しています。1) 目標達成能力（成功率や平均改善量など）、2) 推論と研究プロセス（結果の達成方法やミス）、3) 効率性（目標達成に必要な時間や努力など）。チームは、さまざまな分野をカバーする15のMLエンジニアリングプロジェクトのコレクションを用意し、実行が簡単でコストが低い実験を行いました。エージェントが有効な提出を行えるように、これらの活動のいくつかのための単純な初期プログラムを提供しています。例えば、CIFAR10データセットで畳み込みニューラルネットワーク（CNN）モデルのパフォーマンスを10％以上向上させるといったチャレンジがあります。研究エージェントの汎化能力をテストするために、CIFAR10などのよく知られたデータセットだけでなく、数か月前のKaggleチャレンジや新しい研究データセットも含まれています。彼らの長期目標は、現在のタスクコレクションにさまざまな分野の科学的な研究課題を含めることです。最近の大規模な言語モデル（LLM）に基づく生成エージェントの進化を考慮して、チームは簡単なLLMベースの研究エージェントを設計しました。このエージェントは研究計画を自動的に作成し、スクリプトを読み書きし、実験を行い、結果を解釈し、次の実験に進むことができます。テキスト以外の行動やリアクションからもわかるように、LLMは日常的な常識から特定の科学領域まで幅広い前提知識を持ち、優れた推論とツール使用能力を持っています。高いレベルでは、利用可能な情報や前のステップに基づいて自動的に生成されるプロンプトを使って次のアクションをLLMに尋ねるだけです。このプロンプトのデザインは、目標達成のための他のLLMベースの生成エージェントの作成方法（推論、反省、ステップバイステップの計画、研究ログの管理など）から大いに影響を受けています。チームはまた、AI研究エージェントの信頼性と正確性を高めるために、階層的な行動と事実チェックのステージを使用しています。MLAgentBenchでAI研究エージェントをテストした結果、GPT-4を基にして高い解釈可能性の動的な研究計画を作成し、多くのタスクで優れたMLモデルを構築できることがわかりましたが、いくつかの欠点もまだあります。例えば、ogbn-arxivデータセット上でのモデルの改良など、確立されたタスクでは基準予測に対して平均48.18％の改善を達成しています。ただし、チームはKaggleチャレンジやBabyLMに対して研究エージェントの成功率が0〜30％に過ぎないことに注目しています。その後、他の変更が加えられたエージェントとの比較で研究エージェントのパフォーマンスを評価しました。結果は、記憶ストリームを継続することが単純なタスクのパフォーマンスを阻害する可能性があることを示しています。これは、それが気を散らされる要因となり、複雑な変更を探求するエージェントを奨励しているためかもしれません。

「UCSDとByteDanceの研究者が、アクターズネルフ（ActorsNeRF）を発表：未知の俳優にも対応するアニメータブルな人間アクターネルフモデルで、フューショット設定の環境に汎化する」という意味です

Neural Radiance Fields（NeRF）は、2D画像またはまばらな3Dデータから3Dシーンとオブジェクトをキャプチャするための強力なニューラルネットワーク技術です。NeRFは、「NeRF in」と「NeRF out」の2つの主要なコンポーネントから構成されるニューラルネットワークアーキテクチャを使用します。「NeRF in」ネットワークは、ピクセルの2D座標と関連するカメラのポーズを入力し、特徴ベクトルを生成します。「NeRF out」ネットワークは、この特徴ベクトルを入力として受け取り、対応する3Dポイントの3D座標と色情報を予測します。 NeRFベースの人物表現を作成するには、通常、さまざまな視点から人物被写体の画像またはビデオをキャプチャします。これらの画像はカメラ、深度センサー、または他の3Dスキャニングデバイスから取得できます。NeRFベースの人物表現には、ゲームや仮想現実のための仮想アバター、アニメーションや映画制作のための3Dモデリング、診断と治療計画のための患者の3Dモデル作成など、さまざまな応用があります。ただし、計算負荷が高く、大量のトレーニングデータが必要です。それには、同期したマルチビュービデオと特定の人物ビデオシーケンスでトレーニングされたインスタンスレベルのNeRFネットワークの組み合わせが必要です。研究者は、ActorsNeRFと呼ばれる新しい表現方法を提案しています。これは、見知らぬアクターにも対応するカテゴリレベルの人物アクターNeRFモデルであり、数枚の画像（例：30フレーム）のみでAIST ++データセットの見知らぬポーズで新しいアクターの高品質な新規ビューを合成します。研究者は、2つのレベルのカノニカル空間の方法に従っています。特定のボディポーズとレンダリング視点に対して、3D空間のサンプリングポイントは、スキンウェイトネットワークによって生成されるスキンウェイトを使用して最初にカノニカル空間に変換されます。スキンウェイトは、キャラクターをアニメーションする際に、キャラクターをどのように変形させるかを制御します。スキンウェイトネットワークは、3Dコンピュータグラフィックスでリアルなキャラクターの動きや変形を実現するために重要です。異なる個人間で汎化するために、研究者はカテゴリレベルのNeRFモデルをさまざまな被験者の多様なセットでトレーニングしました。推論フェーズでは、対象のアクターのわずかな画像のみを使用して、事前トレーニングされたカテゴリレベルのNeRFモデルを微調整しました。これにより、モデルをアクターの特定の特徴に適応させることができます。研究者は、ActorsNeRFがHumanNeRFアプローチを大幅に上回り、HUmanNeRFシステムと比較して未観測の体の部位に対して有効な形状を維持することを発見しました。ActorsNeRFは、カテゴリレベルを活用して、体の未観測部分をスムーズに合成することができます。ActorsNeRFは、ZJU-MoCapやAIST ++データセットなどの複数のベンチマークでテストされると、未知のポーズを持つ新しい人物アクターを複数のフューショット設定で上回ります。

サポートベクターマシンとScikit-Learn：フレンドリーな紹介

利用可能な機械学習モデルの中には、全てのデータサイエンティストが必須のツールとなるべき非常に多目的なモデルが存在しますサポートベクターマシン (SVM) ですSVMは強力で…

「Googleの研究者が球面上でのディープラーニングのためのJAX向けのオープンソースライブラリを紹介します」

ディープラーニングは、入力から複雑な表現を自動的に学習する機械学習の一部です。その応用は、言語処理のための画像と音声認識、オブジェクト検出、医療画像診断など、多くの分野で使用されています。金融業界ではアルゴリズム取引や詐欺検出、自動車ではリアルタイムの意思決定のための畳み込みニューラルネットワークを使用し、推薦システムではパーソナライズされたコンテンツを提供しています。畳み込みニューラルネットワーク（CNN）とビジョン変換（ViT）は、コンピュータビジョンのためのディープラーニングモデルの二つの例であり、平面的な領域を仮定してシグナルを分析します。例えば、デジタル写真は平面の表面上のピクセルのグリッドとして表現されます。しかし、これは科学的な応用で遭遇する多様なデータの一部に過ぎません。しかし、球面上のシグナルを平面的なアプローチで処理することで、いくつかの問題を改善することができます。まず、球面上の均一なグリッドを定義することは不可能であり、これは畳み込みニューラルネットワークやビジョン変換に必要ですが、歪曲が生じます。また、回転はしばしば球面上のシグナルや局所的なパターンを混乱させます。モデルが特徴を正確に学習するためには、3D回転に対する同変性が必要です。その結果、モデルのパラメータを効果的に使用し、少量のデータでの訓練が可能となります。直感的には、分子の特性予測と気候予測の問題の両方が球面上のCNNから恩恵を受けるべきです。分子の本質的な特性は、3D構造（原子の位置）の回転に対して不変であるため、回転変換に対応した表現はこの対称性をエンコードする自然な方法を提供します。そのため、研究者たちは球面上のディープラーニングのためのJAXのオープンソースライブラリを作成しました。これは分子の特性予測や天気予測といったベンチマークで従来のトランスフォーマーやグラフニューラルネットワークに比べて優れた結果を示しています。研究者たちは、これによりサンプリングと回転に対する頑健性の問題の両方を解決できると強調しています。これは球面畳み込みと相互相関操作を活用しています。球面CNNは医療研究と気候分析の二つの重要な領域で有望な応用を提供し、社会の変革的な進歩を促す可能性があります。球面CNNは、化学的な特性の予測や気候状態の理解に関連する課題に対処するために理論的な利点を持っています。大気データは自然に球面上に表示されるため、球面CNNはこのタスクに適しています。また、このようなデータのさまざまな場所と向きでの繰り返しパターンを効果的に管理することができます。研究者たちは、従来のCNNに基づくニューラル気象モデルと比較して、彼らのモデルが気象予測のいくつかのベンチマークで優れた性能を発揮することを示しました。このモデルは大気変数の値を6時間先まで予測し、テスト環境での結果が以下に示されています。その後、モデルは訓練中に5日先まで評価され、3日先まで予測を行います。さらに、これらのモデルは様々な気象予測シナリオで優れた性能を発揮し、球面CNNの効果を地理的に証明する画期的な業績です。この研究は、球面CNNの拡張方法についての最良の戦略を説明し、これらの特定の応用分野での適用性をサポートする実データを提供しています。

「1回目で期待する返答を引き出すための「5ワードのChatGPTプロンプト接頭辞」」

「信じられないかもしれませんが、シンプルな5語のプロンプトがChatGPTをプロフェッショナルのように考えさせ、一度目からより良い回答を見つけることができるのです驚いたことに、私は問題点を突き止めました...」

いつでもどんな人にでもメッセージを明確に伝えるためのシンプルなChatGPTプロンプト

「巧みに作り上げられたメッセージを想像してみてくださいしかし、それを様々な心の持ち主たちに向けて投げかけます - 年齢、職業、育ちなどが異なる人々に私の前回の『ペルソナプロンプトパターン』についての記事では、...」

Mistral-7B-v0.1をご紹介します：新しい大型言語モデルの登場’ (Misutoraru 7B v0.1 wo goshōkai shimasu Atarashii ōgata gengo moderu no tōjō)

“`html Mistral-7B-v0.1は、大規模な言語モデル（LLM）の人工知能（AI）の最新の進歩の一つです。Mistral AIの最新のLLMは、このモデルタイプの中で最も大きく、最も強力な例の一つで、70億のパラメータを誇っています。 Mistral-7B-v0.1はトランスフォーマーモデルであり、特にNLPアプリケーションに有用なタイプのニューラルネットワークです。テキストの生成、言語の翻訳、さまざまな形式のクリエイティブなコンテンツの作成、問いに対する具体的な回答などの能力は、大規模なテキストとコードでのトレーニングによって可能となりました。同じサイズの他のLLMと比較して、Mistral-7B-v0.1はいくつかのベンチマークでより優れたパフォーマンスを発揮します。これにはGLUE、SQuAD、SuperGLUEなどが含まれます。これは、おそらく現在利用可能な最も先進的で強力なLLMの一つであることを示しています。 Mistral-7B-v0.1トランスフォーマーモデルの作成には、以下のアーキテクチャオプションが使用されました。グループ化された質問処理絶えず変化するフォーカスバイトフォールバックを持つBPEトークナイザー Mistral-7B-v0.1が有用な例をいくつか紹介します。 Mistral-7B-v0.1は、機械翻訳、テキスト要約、質問応答などのさまざまな自然言語処理（NLP）アプリケーションに有用です。詩、コード、脚本、楽曲、メール、手紙など、クリエイティブライティング用に設計されたプログラムであるMistral-7B-v0.1を使用して生成することができます。 Mistral-7B-v0.1は、さまざまな言語でのコード生成に使用できます。 Mistral-7B-v0.1を使って、生徒たちに個別の授業を提供するために教室で利用することができます。カスタマーケアツールとして、Mistral-7B-v0.1はチャットボットやその他の支援アプリケーションの開発に使用できます。詳細はこちらをご覧ください。 Mistral-7B-v0.1はまだ開発中ですが、コンピュータや外の世界の利用方法を変革する可能性を既に持っています。Mistral-7B-v0.1は、ポジティブな変化のための巨大な潜在能力を持つ先進的なツールです。開発はまだ初期段階ですが、これまで良好な成果を上げています。Mistral-7B-v0.1は、AIの進化における大きな前進です。この開発により、コンピュータと私たちの周りの環境の利用方法が完全に変わる可能性があります。 “`

マンチェスター大学の研究者たちは、MentalLLaMAを導入しましたこれは、読みやすい精神健康分析のためのオープンソースLLMシリーズで、指導に従う能力を持っています

PTSDとその他の精神的健康問題は、グローバルに公衆衛生に影響を与えています。社会的な偏見のため、多くの人々は素早く精神科の援助を求めませんが、これには壊滅的な影響があります。オンライン技術の進歩により、ソーシャルメディアは人々の日常生活に浸透しています。ソーシャルメディアのテキストは、多くの精神的健康障害を抱えた人々がネガティブな感情を伝え、ストレスを表現するためにTwitterやRedditなどのサイトを利用するため、精神的健康分析の優れた情報源です。しかしながら、ソーシャルメディアのメッセージの急増により、ポストの手動分析は実現不可能です。そのため、多数の研究が自然言語処理（NLP）手法を使用して、ソーシャルメディアを精神的健康について自動的に分析しています。精神的健康に関する自然言語処理（NLP）の従来のアプローチでは、精神的健康のソーシャルメディア分析をテキスト分類の問題としてモデル化し、識別的なドメイン固有の事前学習済み言語モデル（PLM）が最先端のパフォーマンスを達成しました。その主な欠点の1つは、これらのアルゴリズムが解釈可能性が少なく、ブラックボックス的な予測結果を提供することであり、実際の使用時の信頼性を著しく低下させています。最新の大規模言語モデル（LLM）であるChatGPT2やLLaMAを含む効果的な精神的健康疾患の同定と、Chain-of-Thought（CoT）アプローチを使用したその選択の詳細な説明の評価も最近行われました。また、人間のテストも実施し、ChatGPTが正しい分類の説明を人間と同等のものとして提供できることを示し、精神的健康分析の可読性の向上の可能性を示しました。しかし、ChatGPTは現在、ゼロショットまたはフューショット学習環境で最先端の教師ありアルゴリズムのパフォーマンスには及びません。実際の状況での応用に制約を与えます。実用的な方法は、限られたデータで基盤のLLMを対象ドメインと整列させることにより、それらを微調整することです。理解可能な精神的健康分析のためのLLMの開発には、2つの主要な障壁があります。まず、LLMを最適化するために、良いトレーニングデータが必要です。ソーシャルメディア上の精神的健康の調査に関するいくつかのデータセットは、短い抽出のみを含みますが、検出結果に対する徹底した信頼性と正当性を提供するオープンソースのデータはまだ存在しません。繊細な研究対象と専門家によって書かれた説明の高い費用が、これらの主な原因です。次に、利用可能なインタープリタブルな精神的健康分析のオープンソースLLMはほんの一部しか存在しません。ただし、ChatGPTなどのクローズドソースのLLMを促進または微調整することは非常に高価です。高いコストとリソースの不足により、関連する研究コミュニティの成長を改善する必要があります。彼らは、これらのギャップを埋めるために、105,000件のデータサンプルを備えた初めてのマルチタスクおよびマルチソースの理解可能な精神的健康指導（IMHI）データセットを作成しました。まず、8つのタスクをカバーする10の既存のソースからトレーニングデータを収集しています。これらのタスクには、バイナリの精神的健康検出タスク、マルチクラスの精神的健康検出タスク、精神的健康原因/要因検出タスク、および精神的リスクとウェルネス要因検出タスクが含まれています。図1は、MentalLLaMAのパフォーマンスの一部を示し、精神的健康分析を含んでいます。また、MentalLLaMAのトレーニングデータと基礎モデルを要約しています。データには、ソーシャルメディアの投稿とそれに付随するラベルが含まれています。第二に、各ラベルには注釈付きで詳細な正当化が付けられます。専門家によって作成されたフューショットの質問と収集されたラベルを使用して、ChatGPTをインスパイアし、その返信から説明を引き出します。セルフインストラクトの成功から着想を得ています。すべての取得データに自動評価を行い、説明の品質を保証します。これらの評価では、予測の正確性、ラベルと説明の対応、および説明の総合的な品質を評価します。さらに、専門家による注意事項戦略で、一部の収集データに対して人間の評価も実施します。第三に、彼らはルールベースのアプローチを利用して、収集されたすべてのソーシャルメディアの投稿、ラベル、説明を命令ベースのクエリ-回答ペアに変換します。これらは、IMHIデータセットのトレーニングデータと評価ベンチマークの作成に使用されます。マンチェスター大学の研究者は、IMHIデータセットに基づいた解釈可能なメンタルヘルス分析のためのオープンソースLLMシリーズであるMentalLLaMAを紹介しています。LLLaMA2の基礎モデルは、MentalLLaMAモデルのトレーニングの基礎として機能します。具体的には、MentalLLaMA-7B、MentalLLaMA-chat-7B、およびMentalLLaMA-chat-13Bモデルを微調整しています。図1は、MentalLLaMAの優れた性能のいくつかのインスタンスを表示しています。さらに、彼らはMentalLLaMAモデルがIMHI評価基準に対してどれだけ優れているかを徹底的に評価しています。彼らは、分類結果を最先端の識別テクニックと他の生成言語モデルと比較することで、MentalLLaMAの予測精度を評価しています。研究結果によると、MentalLLaMA-chat-13Bは、テストセットの10個中7個で、最先端のレベルと同等かそれ以上の正確性を発揮します。生成される説明の質も評価しています。結果は、命令の調整、人間のフィードバックからの強化学習（RLHF）、およびモデルの拡大により、説明の品質が向上することを示しています。彼らは、ソーシャルメディア上の解釈可能なメンタルヘルス分析のための最初のマルチタスクおよびマルチソースの命令調整データセットであるInterpretable Mental Health Instruction（IMHI）データセットを作成しました。 • 彼らは、メンタルヘルスの理解可能な分析を行うためにオープンソースの最初の命令従順の大規模言語モデルであるMentalLLaMAを提案しています。MentalLLaMAはソーシャルメディアデータを使用して心理の分析を行うことができ、その結論に納得のいく根拠を提示することができます。 • 8つのタスクと10のテストセットを含む19Kのテストサンプルで、理解可能なメンタルヘルス分析のための最初の包括的な評価基準を提示しています。このベンチマークでは、現在使用されている技術とMentalLLaMAを比較しています。結果と分析から、MentalLLaMAが優れていることが示されており、将来の研究は理解可能なメンタルヘルス分析のためのLLMの改善に焦点を当てる予定です。

Uncategorized

「AI ソングカバージェネレーターのトップ10」

「人工知能（AI）がクリエイティブ分野と交差する時代において、AIを搭載した曲カバージェネレーターの出現が花開いていますこれらの最先端ツールは、テクノロジーとクリエイティビティの間のギャップを埋め、アーティストや愛好家が個人の個性とプロの技を兼ね備えた魅力的なカバーを制作することを可能にしていますあなたが経験豊富なミュージシャンであるかどうかに関わらず、」

「AWS上でクラウドネイティブなフェデレーテッドラーニングアーキテクチャを再発明する」

このブログでは、AWS上でクラウドネイティブなFLアーキテクチャを構築する方法を学びますAWSのインフラストラクチャとコード（IaC）ツールを使用することで、簡単にFLアーキテクチャを展開することができますまた、クラウドネイティブアーキテクチャは、確かなセキュリティと運用の優れたAWSサービスのさまざまな利点を最大限に活用し、FLの開発を簡素化します

Learn more about Search Results A - Page 165