Search Results 調査

AI研究でα-CLIPが公開されましたターゲテッドアテンションと強化された制御によるマルチモーダル画像分析の向上

さらなる焦点化と制御された画像理解および編集のために、どのようにCLIPを改善できるでしょうか？上海交通大学、復旦大学、香港中文大学、上海AI研究所、マカオ大学、およびMThreads Inc.の研究者は、点、ストローク、またはマスクで定義された指定領域を認識する能力を強化するために、コントラスティブランゲージ-イメージプリトレーニング(CLIP)の制限に対処することを目指すAlpha-CLIPを提案します。この改良により、Alpha-CLIPは、画像認識や2Dおよび3D生成タスクへの貢献を含む多様な下流タスクで、より良いパフォーマンスを発揮することができます。マスクCLIP、SAN、MaskAdaptedCLIP、およびMaskQCLIPなど、さまざまな戦略がCLIPに領域認識を持たせるために試されてきました。一部の方法は、切り抜きやマスクを用いて入力画像を変更します（ReCLIPやOvarNetなど）。他の方法は、赤い円やマスクの輪郭を使用してCLIPの注目を誘導します（Red-CircleやFGVPなど）。これらのアプローチは、CLIPのプリトレーニングデータセットのシンボルに依存することが多く、ドメインのギャップを引き起こす可能性がありますが、Alpha-CLIPは、画像コンテンツを変更せずに指定された領域に焦点を当てるための追加のアルファチャネルを導入し、一般化性能を保持しながら領域の焦点を強化します。 CLIPおよびその派生物は、下流タスクのために画像とテキストから特徴を抽出しますが、特定の領域に焦点を当てることは、より詳細な理解とコンテンツ生成において重要です。Alpha-CLIPは、コンテンツを変更せずに指定された領域に焦点を当てるためのアルファチャネルを導入し、画像認識、マルチモーダル言語モデル、および2D/3D生成などのタスクで、CLIPを強化します。Alpha-CLIPをトレーニングするには、セグメントアニシングモデルと画像キャプショニングのためのマルチモーダルな大規模モデルを使用して、領域-テキストペアのデータを生成する必要があります。 Alpha-CLIP方法は、コンテンツを変更せずに特定の領域に焦点を当てるための追加のアルファチャネルを導入したものであり、これによりコンテキスト情報が保持されます。データパイプラインは、モデルトレーニングのためにRGBA-領域テキストペアを生成します。分類データが領域-テキスト理解に与える影響を調査するために、グラウンディングデータのみで事前トレーニングされたモデルと分類およびグラウンディングデータの組み合わせを比較することによるデータ減衰の研究が行われます。ゼロショット実験では、リファリング表現の理解においてAlpha-CLIPがCLIPに代わり、競争力のある領域-テキスト理解の結果を達成します。 Alpha-CLIPは、点、ストローク、マスクを伴うタスクにおいてCLIPを改善し、焦点を当てることができる特定の領域を拡張します。ただし、グラウンディングのみのプリトレーニングを上回り、領域の知覚能力を向上させます。ImageNetなどの大規模な分類データセットは、そのパフォーマンスに大きく貢献しています。結論として、Alpha-CLIPモデルは元のCLIPを置き換え、領域焦点の機能を効果的に向上させることが実証されています。さらにアルファチャネルを組み込むことで、Alpha-CLIPはゼロショット認識の改善やリファリング表現理解タスクでベースラインモデルを上回る競争力のある結果を示しています。関連領域に焦点を当てるモデルの能力は、分類とグラウンディングのデータの組み合わせによる事前トレーニングによって向上されています。実験結果は、Alpha-CLIPが前景領域やマスクを持つシナリオで有用であり、CLIPの能力を拡張し、画像テキスト理解を改善する可能性があることを示しています。将来の課題として、この研究はAlpha-CLIPの制限を解決し、その能力と適用範囲を拡大するために解像度を向上させることを提案しています。研究は、領域-知覚能力を向上させるためにより強力なグラウンディングおよびセグメンテーションモデルを活用することを提案しています。研究者は、画像コンテンツをより良く理解するために、興味のある領域に焦点を当てることの重要性について強調しています。Alpha-CLIPは、画像コンテンツを変更せずに領域の焦点を当てることができます。研究は、Alpha-CLIPのパフォーマンスを改善し、応用範囲を広げ、領域に焦点を当てたCLIPの特徴の新しい戦略を探索するための継続的な研究を提唱しています。

AI2とワシントン大学の研究者が、LLMsの表面的な性質を明らかにし、チューニングフリーの新しい方法であるURIALを紹介した

ラージランゲージモデル（LLMs）は、人工知能（AI）やディープラーニングの分野での最近の革新です。GPT、PaLM、LLaMaなどのよく知られたLLMは、コンテンツの生成において非常に高いポテンシャルを示しています。質問応答やテキスト要約から言語翻訳やコード補完まで、これらのモデルは多くのことができます。ChatGPTを含むこれらのモデルは、広範な非監督テキストコーパスでの事前トレーニングを経ています。しかし、最近の研究は、従来のファインチューニングの採用方法が以前に考えられていたほど重要ではない可能性があると示唆しています。オープンドメインのAIアシスタントとしての基本LLMの改善プロセスであるアライメントチューニングは業界標準と認められています。これには、人間のフィードバックからの強化学習（RLHF）や監視付きファインチューニング（SFT）が含まれます。この標準は、LIMAという研究によって問われ、SFTのためのわずか1,000のサンプルでも意味のあるアライメントパフォーマンスを達成することができると示されました。 LIMAが提案したスーパーフィシャルアライメント仮説では、基本LLMの振る舞いを根本的に変えるのではなく、特定のデータ形式を選択するようにトレーニングすることで、アライメントチューニングが行われる可能性があります。これにより、わずかな例でも高品質なアライメントモデルが監視付きファインチューニングによって生成されることが示されました。スーパーフィシャルアライメント理論に確かな支持を見つけるための研究が不十分であるため、Allen Institute for Artificial Intelligenceおよびワシントン大学の研究チームは、最近の論文でアライメントチューニングの広く使用されている技術に取り組み、基本LLMを有用なオープンドメインのAIアシスタントにする方法を提案しています。選好チューニングは人間のフィードバックからの強化学習によって実現され、指導学習は監視付きファインチューニングによって実現されています。チームは、基本LLMとそのアライメントされたバージョン（例：Llama-2およびLlama-2-chat）のトークン分布の変化を調査し、アライメント調整の影響を研究しました。彼らは、基本LLMとそのアライメントされたバージョンが上位ランクされたトークンを共有し、ほとんどのトークン位置でデコーディングにおいてほぼ同じパフォーマンスを発揮することを発見しました。ディスコースマーカーやセーフティディスクレイマーなどのスタイルトークンは、最も分布の変動を経験しています。この研究は、アライメント調整が主にAIアシスタントの言語スタイルを同化することに焦点を当てており、基本LLMがユーザーの問い合わせに応えるために必要な情報を提供しているという仮説の説得力のある証拠を提供しています。チームはまた、SFTやRLHFなしで基本LLMをどの程度アラインできるかという研究トピックを提示しました。彼らは、URIAL（調整を必要としないLLMとコンテキスト内アライメント）というアライメント技術を提案しました。わずか3つの連続スタイルの例とシステムのプロンプトだけで、URIALは基本LLMとのコンテキスト内学習（ICL）のみを通じて効果的なアラインメントを達成します。チームは、Mistral-7b-Instruct（SFTで調整されたLLM）やSFT+RLHF（Llama-2-70b-chat）でアラインされたLLMsと同等またはそれ以上のパフォーマンスを提供するURIALを持つ基本LLMの詳細で理解しやすい分析を提供する、just-eval-instructと呼ばれる一連のインスタンスで、チューニングフリーおよびチューニングベースのアライメント戦略のギャップを劇的に縮小することが示されました。結論として、評価結果は浅いアライメントチューニングを強調し、基本LLMの言語スタイルの導入と既存の知識に委ねられることを示しています。

最近の人類学的研究によれば、クロード2.1の戦略的な促進を通じて、プロンプトに単一の追加をすることで、LLMsの記憶容量を70％増加させることができると報告されました

以下のHTMLコードを日本語に翻訳します（HTMLコードは結果に含めます）：この研究は、Claude 2.1の機能における固有の課題に取り組んでいます：200,000トークンの文脈ウィンドウ内での個々の文に基づく質問に対する抵抗力です。このため、モデルのリコール能力を最大化する上で重要なハードルとなり、解決策の探求を促しています。現在の手法を調査すると、Claude 2.1は、特に場違いとされる個々の文に関する質問に直面した際に躊躇することがわかります。これに対応して、Anthropicの研究者たちは、驚くほど効果的な解決策を提案しています：プロンプトの追加です。彼らは、「文脈内で最も関連のある文は次のとおりです：」という文をプロンプトに組み込むことを提案しています。この些細な調整は、メタコマンドに似ており、モデルのリコール能力を大幅に向上させます。追加されたプロンプトは、Claude 2.1に関連する文を優先的に処理するよう指示するため、効果的にモデルの質問に対する躊躇を解消します。200,000文脈ウィンドウの評価において、Claudeのスコアは27%から98%に驚異的に向上するなど、パフォーマンスの改善が実証されています。特に、このプロンプトを提供した後、単文のクエリの正確性が驚異的に90%増加しました。単文のクエリの正確性の増加は、追加されたプロンプトがClaude 2.1のパフォーマンスに与える重要な影響を示しています。この大幅な改善は、より広範な文脈内の単一の文の照会を処理する能力を高め、解決策の実用的な意義を示しています。まとめると、この革新的な手法はClaude 2.1の躊躇を解消し、単一のプロンプトの追加によってリコール能力が70%向上することを示しています。研究チームの調査結果は、プロンプトの微妙な動態と言語モデルの振る舞いへの重要な影響について貴重な示唆を提供しています。AIコミュニティは大規模言語モデルの精度を高めるために改善を追求していますが、この発見は機能性の向上に実用的な意義を持つ注目すべき進展となります。この記事はMarkTechPostの投稿から引用されました。

一時的なグラフのベンチマーク (Ichijiteki na gurafu no benchimāku)

最近では、公開データセットや標準化された評価プロトコルの提供により、静的グラフにおける機械学習において重大な進展がなされています

昨年、ビットコインマイニングはニューヨーク市よりも多くの水を使用しました

「ある調査によると、今年のビットコインマイナーによる水の使用量は5910億ガロンに達し、2021年の4150億ガロンから増加しました」

アジャイルなデータサイエンスプロジェクト管理を通じてAIコストを制御する

データサイエンスの世界は複雑で、予算的な制約を超える隠れたコストがありますデータサイエンティストは、どんな組織に対しても重要な投資です残念ながら、アイドル状態などの非効率さ…

「イギリス、ロシアが数年にわたり議員やその他の人々に対するサイバー攻撃を行っていたと発表」

「ロシアの情報機関につながるグループが、イギリスの政治システムへの信頼を損なうために持続的な活動を行っていたと政府は述べました」

ムーバブルインクのCEO兼共同創設者であるヴィヴェク・シャルマ氏についてのインタビュー・シリーズ

ビヴェクは2010年にムーバブルインクを共同設立し、急速な成長を遂げながら、600人以上の従業員を擁し、世界有数の革新的なブランドにサービスを提供しています彼のリーダーシップにより、ムーバブルインクはオムニチャネルデジタルマーケターを支援し、エンゲージメント時にデータ活性化され、行動に応じたクリエイティブを生成する力を与えていますムーバブルインクを共同設立する前に...

「このAI研究は、姿勢オブジェクト認識を次のトークン予測として新しいアプローチを提案します」という意味です

どのようにして効果的に物体認識にアプローチできるのでしょうか？ Meta AIとメリーランド大学の研究チームは、画像埋め込みからテキストトークンを予測してラベルを形成するために言語デコーダを利用する新しい手法を開発し、物体認識の問題に取り組みました。また、パフォーマンスを損なうことなく、より効率的なデコーダの作成戦略も提案しました。深層学習時代以前から存在した物体認識は、画像注釈に貢献してきました。領域のスライシングや単語の予測などの手法を用いて、領域と単語を語彙に基づいて結びつけました。画像とテキストを共有空間に共同埋め込みすることで、画像とテキストのマッチングに取り組み、フレーズのグラウンディングを強調しました。画像注釈はトピックモデルからトランスフォーマベースのアーキテクチャへ進化しました。GPTやLLaMAなどの言語モデルは視覚認識に貢献し、検出、フューショット認識、説明、推論などに応用されました。言語モデルからの建築的な概念、例えばプレフィックスのアイデアなどは、ビジョン-言語ドメインで影響を与え、探索されてきました。この研究は、画像エンコーダが埋め込みを生成し、言語デコーダが物体のラベルを予測するフレームワークを導入することによって、コンピュータビジョンにおける物体認識に取り組んでいます。従来の固定埋め込みを持つ従来の手法とは異なり、提案手法では認識を次のトークンの予測として扱い、画像の埋め込みからタグの自己回帰的なデコーディングを可能にします。この手法により、事前に定義されたラベルの必要性がなくなり、柔軟で効率的な認識が促進されます。非因果的な注意マスクやコンパクトなデコーダなどの主要な革新は、パフォーマンスを損なうことなく効率を向上させ、コンピュータビジョンにおける物体認識への新しい解決策を提供します。研究では、次のトークン予測に基づく物体認識に関する手法を提案し、画像埋め込みからテキストトークンを予測してラベルを作成する言語デコーダを使用します。デコーダは非因果的な注意マスクを組み込んで自己回帰を行い、画像トークンをプレフィックスとして扱います。推論時には、複数のラベルから並列トークンサンプリングを行い、確率に基づいてランキングします。効率性のために、事前学習された言語モデルから中間ブロックを削除するコンパクトなデコーダ構築戦略が提案されていますが、パフォーマンスは保持されます。研究はCLIP、Open Flamingo、LLaVA、BLIP-2、InstructBLIP、CaSEDと比較し、トップ-kの予測と適合率-再現率曲線を評価しています。提案手法はトップ10の予測で競合他社を一貫して上回り、ラベル生成の優れた関連性を示しています。適合率-再現率曲線は強い線形相関を示し、kが増加するにつれて高い再現率が得られ、データセット全体で予測品質が向上していることを示唆しています。デコーダの切り詰めによる摘出解析に関する研究では、CC3Mではわずかなパフォーマンスの低下が見られましたが、COCOとOpenImagesでは変化がありませんでした。これは、物体認識のための初期のLLaMA 7Bモデルブロックの重要性を強調し、よりコンパクトなデコーダのために11番目以降のブロックを削除することを示しています。結論として、提案された次のトークン予測を活用した自己回帰的な物体認識手法は、データセット全体でトップ10の予測を生成する他の手法よりも優れた関連性を示しています。適合率-再現率曲線で観察される強い線形相関は、すべてのテストデータセットで予測品質が向上していることを示唆しています。デコーダの切り詰めに関する摘出解析の研究では、CC3Mではわずかなパフォーマンスの低下が見られましたが、COCOとOpenImagesでは変化がありませんでした。また、LLaMAモデルの中間トランスフォーマーブロックを削除することで、よりコンパクトなデコーダが得られ、パフォーマンスも保持されました。これは、物体認識においてLLMの一部の知識の重要性を強調しています。さらなる研究では、一回のサンプリングでの競合の懸念に対処するため、緩和策を探索することに焦点を当てることができます。他の可能性としては、事前に定義されたサブセットや参照ピボットなしで、特にLLMと物体認識を直接的に結びつける生成モデルの直接のアライメントを調査することがあります。また、訓練データのボリュームを大幅に増やして、未知のデータや概念を解釈または認識するための依存度を減らす効果を検証することも有益であり、時間の経過とともに新しいラベルを増やしていくオープンワールドのパラダイムと一致しています。

「Power BI ビジュアライゼーションの究極ガイド」

イントロダクション Power BIは、データサイエンスの中でも強力なツールとして浮上しており、データに基づく洞察に根ざした情報を提供することで、企業が情報に基づいた意思決定を行うことを可能にしています。Microsoftによって開発されたPower BIビジュアライゼーションは、ユーザーがデータを視覚的に表現し、洞察を組織全体に円滑に伝達することを可能にします。また、広範なデータソースとの接続を確立しながら、アプリケーションやウェブサイトにシームレスに埋め込む能力も注目されています。間違いなく、データサイエンスの分野で最も重要な要素の一つは、データの可視化の実践です。これは、視覚的要素（チャート、グラフ、マップなど）を用いて情報やデータをグラフィカルに説明することを意味します。これらの視覚ツールを活用することで、データの可視化はデータをより理解しやすくし、傾向や外れ値、パターンを判断しやすくします。要するに、Power BIは生データを視覚的に一貫性のある語りに変換する能力を持つ、典型的なツールであり、複雑なデータセットの普遍的な理解を向上させます。 Power BIビジュアライゼーションの理解 Power BIビジュアライゼーションは、Power BIを使用してデータをグラフィカルに表現するプロセスです。これにより、複雑なデータセットをより直感的で視覚的な形式で理解することができます。Power BIビジュアライゼーションは重要であり、テキストベースのデータでは明らかではない複雑な概念を理解したり、新しいパターンを識別したりすることができます。 Power BIビジュアライゼーションのメリットは多岐に渡ります。データと対話することができ、詳細な情報を得るためにチャートやグラフを掘り下げたり、他の人とレポートを作成して共有したりすることができます。また、ユーザーはユニークな360度のビジネスビューを持つパーソナライズされたダッシュボードを作成することも可能です。 Power BIビジュアライゼーションの種類 Power BIは、データを異なる方法で表現するための幅広いビジュアライゼーションを提供しています。 A. チャートチャートは、Power BIでのデータのグラフィカル表現です。これを使用して、複雑なデータセットを簡素化し、データを理解しやすく解釈できるようにします。Power BIはさまざまなチャートの種類を提供しており、それぞれ異なる種類のデータやデータの可視化タスクに適しています。 1.…

Learn more about Search Results 調査 - Page 11