Search Results A

機械学習のオープンデータセットを作成中ですか？ Hugging Face Hubで共有しましょう！

このブログ投稿は誰のためですか？データ集中型の研究を行っている研究者ですか？研究の一環として、おそらく機械学習モデルの訓練や評価のためにデータセットを作成しており、多くの研究者がGoogle Drive、OneDrive、または個人のサーバーを介してこれらのデータセットを共有している可能性があります。この投稿では、代わりにHugging Face Hubでこれらのデータセットを共有することを検討する理由を説明します。この記事では以下を概説します：なぜ研究者はデータを公開共有すべきか（すでに説得されている場合は、このセクションはスキップしてください）研究者がデータセットを共有したい場合のHugging Face Hubのオファー Hugging Face Hubでデータセットを共有するための始め方のリソースなぜデータを共有するのですか？機械学習は、さまざまな分野でますます利用され、多様な問題の解決における研究効率を高めています。特にタスクやドメインに特化した新しい機械学習手法を開発する際には、データがモデルの訓練や評価において重要です。大規模な言語モデルは、生物医学のエンティティ抽出のような特殊なタスクではうまく機能せず、コンピュータビジョンモデルはドメイン特化の画像の分類に苦労するかもしれません。ドメイン固有のデータセットは、既存のモデルの限界を克服するために、機械学習モデルの評価と訓練に重要です。ただし、これらのデータセットを作成することは困難であり、データの注釈付けには相当な時間、リソース、およびドメインの専門知識が必要です。このデータの最大の影響を最大化することは、関係する研究者と各自の分野の両方にとって重要です。 Hugging Face Hubは、この最大の影響を実現するのに役立ちます。 Hugging Face Hubとは何ですか？ Hugging Face…

デジタルアート保護の革命：不正なAIウェブスクレイピングに対抗する新しいツール

アーティストたちがオンライン作品がAIのウェブスクレイピング作業によって無断で利用されるという深刻な問題に直面しています。これらの作業では、元の作成者の同意や報酬なしに多くのデジタルコンテンツが収集され、画像生成モデルのトレーニングに使用されます。この状況は、これらの画像をさまざまな目的で利用するテクノロジー企業に立ち向かうアーティストたちを無力な気持ちにさせています。この問題への懸念が高まっている一方で、既存の解決策は限られています。技術が法的・倫理的な考慮を上回る風景の中で、アーティストたちはデジタル作品を保護することに困難を抱えてきました。ウェブスクレイパーは、よく「オプトアウト」や「クロールしないでください」という指示を無視し、デジタルアートを保護するための手段がほとんどない状況を作り出しています。しかし、潜在的な解決策が現れました。研究者たちは、AI企業がオンラインアートワークを無断で使用することに対抗する革新的なツールを導入しました。このツールは、画像ピクセルを微妙に操作し、AIモデルのトレーニングプロセスに影響を与えるほとんど見えない変更を加えます。このツールによるクリエイティブな変容の可能性は非常に大きいです。例えば、モデルのトレーニング段階であるオブジェクトの画像が別の画像に変換されることで、予想外の結果をもたらすことがあります。ツールの作成者は、わずかな数の「攻撃」でも、テキストから画像を生成するモデルの基本的な特徴を不安定にすることができ、意味のある画像を生成できなくすることを実証しました。このツールの効率的な実現能力は、この解決策を他と一線を画すものとしています。スクレイピング作業を阻止するために、変更された画像を大量にアップロードする必要があるという一般的な認識に反し、このツールは指定された数以下の「汚染された」サンプルでの妨害を実現します。このツールは、個々のアーティストだけでなく、スタジオや開発者などの大規模なエンティティにとっても望みを与えます。彼らのデジタルアセットとクリエイティブな努力を保護するための彼らの武器として、このツールは非常に強力なツールとなります。例えば、象徴的なブランドは、キャラクターの革新的なコンセプトを探求しながら、クラシックなイメージを保護するためにこのツールを活用することができます。さらに、このツールは芸術的なスタイルを変換することもでき、その能力に興味深い次元を加えます。特定の方法でイメージのリクエストを行い、まったく異なるイメージを生成することができます。その多様性が、芸術的表現の限界を広げようとする人々にとって貴重なツールとなります。まとめると、この革新的なツールは、無断のAIウェブスクレイピング作業に対抗するためのアーティストやクリエイティブなエンティティの力を高めるゲームチェンジングな解決策です。画像ピクセルを微妙に操作し、トレーニングプロセスを妨害し、芸術スタイルを変換する能力を持つことで、この解決策は創造的表現のデジタル領域を守る優れたツールとなります。技術とアートの境界がますます曖昧になる時代において、アーティストたちにとってその作品がデジタルの風景で尊重され保護されることを示す希望の光となっています。

Uncategorized

「50以上の最新の最先端人工知能（AI）ツール（2023年11月）」

AIツールは急速に開発が進んでおり、定期的に新しいツールが導入されています。以下にいくつかのAIツールを紹介します。これらは日常のルーティンを強化することができます。 AdCreative.ai AdCreative.aiは、究極の人工知能ソリューションであることから、広告とソーシャルメディアの活動を強化することができます。 Hostinger AIウェブサイトビルダー Hostinger AIウェブサイトビルダーは、直感的なインターフェースと高度なAI機能を組み合わせ、どんな目的にも対応できるウェブサイトの作成をサポートします。 Motion Motionは、会議、タスク、プロジェクトを考慮した毎日のスケジュールを作成するためにAIを使用する賢いツールです。 Otter AI 人工知能を活用したOtter.AIは、共有可能で検索可能でアクセスしやすく安全な会議のメモのリアルタイムトランスクリプションを提供します。 Sanebox Saneboxは、AI駆動のメール最適化ツールです。SaneBoxのA.I.は重要なメールを特定し、残りを自動的に整理して集中力を高めるお手伝いをします。 Notion AI Notion AIは、Notionのワークスペース内で直接執筆、ブレインストーミング、編集、要約を手助けする執筆アシスタントです。 Pecan AI Pecan AIは、予測アナリティクスを自動化して、今日のビジネスの課題である予算縮小、コスト上昇、データサイエンスとAIリソースの限られた資源を解決します。Pecanの低コード予測モデリングプラットフォームは、データに基づいた意思決定を導き、ビジネスチームが目標を達成するのをサポートします。 Aragon Aragonを使用すると、最新のAI技術を活用して、迅速に自分自身の高品質のプロフェッショナルなヘッドショットを作成することができます。写真スタジオの予約やドレッシングアップの手間を省くことができます。…

ワシントン大学とプリンストン大学の研究者が、事前学習データ検出データセットWIKIMIAと新しい機械学習アプローチMIN-K% PROBを発表しました

“`html 大規模な言語モデル（LLMs）は、大量のテキストデータを処理できる強力なモデルです。彼らは数百ギガバイトからテラバイトに及ぶテキストコーパスで訓練されます。このようなデータの規模により、訓練データに著作権のあるテキストや個人を特定できる情報が含まれていないかを調べることが重要になります。また、訓練コーパスの成長速度のため、これらのLLMsの開発者はデータの完全な構成を開示することによりますます消極的になっています。ワシントン大学とプリンストン大学の研究者グループは、上記の問題について研究しました。テキストの一部とLLMへのブラックボックスアクセスを与えられた彼らは、モデルが提供されたテキストで訓練されたかどうかを判定しようとしました。彼らは、WIKIMIAというベンチマークを導入しました。このベンチマークには事前学習データと非事前学習データが含まれており、ゴールドデータとしてのサポートを提供しています。彼らはまた、LLMの下で確率が低いアウトライアーワードを特定する新しい検出方法であるMIN-K% PROBを導入しました。問題のある訓練テキストを特定するために信頼性のあるベンチマークを持つことは重要です。WIKIMIAは、新しくリリースされた事前学習済みLLMs上で検出方法を自動的に評価するダイナミックなベンチマークです。MIN-K% PROBメソッドは、未知のテキストはLLMがよく知らない単語を含んでいる可能性が高いという仮説に基づいています。MIN-K% PROBは、これらのアウトライアーワードの平均確率を計算します。 MIN-K% PROBの動作は以下のとおりです。テキストXがあり、LLMがXで訓練されたかどうかを判定する必要があります。このメソッドは、与えられたテキストの各トークンの確率をLLMを使用して計算します。次に、確率の最小値を持つk%のトークンを選択し、その平均対数尤度を計算します。同じ値が高ければ高いほど、テキストXが事前学習データにある可能性が高いことを意味します。研究者たちは、3つの実生活シナリオ（著作権侵害本の検出、汚染されたダウンストリームの例の検出、および機械を使ったプライバシーオーディティングのための）でこの方法を適用しました。彼らは、100冊の著作権のある本からの10,000のテキストスニペットのテストセットを使用し、その約90％が50％を超える汚染率を持っていることを発見しました。特に、彼らの調査によれば、GPT-3モデルには20冊の著作権のある本からのテキストが含まれていました。 LLMsから個人情報や著作権のあるデータを削除するためには、Machine unlearningメソッドを使用します。研究者たちはMIN-K% PROBメソッドを使用し、著作権のある本を削除した後でもLLMsは似たような著作権保護されたコンテンツを生成し続けることができるとわかりました。結論として、MIN-K% PROBはLLMが著作権や個人データで訓練されたかどうかを判定するための新しい方法です。研究者たちは、実世界のケーススタディを使用して自分たちの方法の有効性を検証し、GPT-3モデルが著作権のある本で訓練された可能性が強力な証拠を見つけました。彼らはこのメソッドが問題のある訓練テキストを検出するための一貫した有効な解決策であり、モデルの透明性と責任に向けた重要な進歩を示していると結論付けました。 “`

「AI生成応答を検出する2つの簡単な方法」

AI（人工知能）は私たちの耳を鳴らしていますはい、その強力な機能のために、今では人気のあるトピックになっていると私は同意します近い将来については、私はあなたに保証します...

「IntelのOpenVINOツールキットを使用したAI最適化と展開のマスタリング」

イントロダクション人間の労働力を置き換えるAIの影響が増しているため、私たちはほぼ毎日AIについて話題にしています。AIを活用したソフトウェアの構築は、短期間で急速に成長しています。企業やビジネスは、信頼性のある責任あるAIをアプリケーションに統合し、収益を増やすことを信じています。アプリケーションにAIを統合する最も困難な部分は、モデルの推論とモデル訓練に使用される計算リソースです。既に多くのテクニックが存在しており、モデルの推論時のパフォーマンスを最適化し、より少ない計算リソースでモデルを訓練します。この問題を解決するために、IntelはOpenVINO Toolkitを導入しました。OpenVINOは革新的なオープンソースツールキットであり、AIの推論を最適化して展開することができます。学習目標この記事では、以下の内容を理解します。 OpenVINO Toolkitとは何か、AIの推論モデルを最適化し展開するための目的を理解します。 OpenVINOの実用的なユースケース、特にエッジにおけるAIの将来における重要性を探求します。 Google ColabでOpenVINOを使用して画像内のテキスト検出プロジェクトを実装する方法を学びます。 OpenVINOの主な特徴と利点、モデルの互換性とハードウェアアクセラレータのサポート、およびさまざまな産業とアプリケーションに与える影響を探求します。この記事はData Science Blogathonの一環として公開されました。 OpenVINOとは何ですか？ OpenVINO（オープンビジュアル推論およびニューラルネットワーク最適化）は、Intelチームによって開発されたオープンソースツールキットで、ディープラーニングモデルの最適化を容易にするものです。OpenVINOツールキットのビジョンは、AIのディープラーニングモデルを効率的かつ効果的にオンプレミス、オンデバイス、またはクラウド上で展開することです。 OpenVINO Toolkitは特に価値があります。なぜなら、TensorFlow、PyTorch、Onnx、Caffeなどのような人気のあるディープラーニングフレームワークをサポートしているからです。好きなフレームワークを使用してモデルをトレーニングし、OpenVINOを使用してIntelのハードウェアアクセラレータ（CPU、GPU、FPGA、VPUなど）にデプロイするために変換と最適化を行うことができます。推論に関しては、OpenVINO Toolkitはモデルの量子化と圧縮のためのさまざまなツールを提供しており、推論の精度を損なうことなくディープラーニングモデルのサイズを大幅に削減することができます。なぜOpenVINOを使用するのですか？ AIの人気は現在も衰える気配がありません。この人気により、オンプレミスやオンデバイスでAIアプリケーションを実行するためのアプリケーションがますます開発されることは明らかです。OpenVINOが優れているいくつかの重要な領域は、なぜOpenVINOを使用することが重要かを理解するための理想的な選択肢となっています。 OpenVINOモデルズー OpenVINOは、安定した拡散、音声、オブジェクト検出などのタスクに対する事前トレーニング済みのディープラーニングモデルを提供するモデルズーを提供しています。これらのモデルはプロジェクトの出発点として利用することができ、時間とリソースを節約することができます。…

このAI論文は、深層学習を用いて大規模な記録の神経活動を解読する人工知能フレームワーク、POYO-1を紹介しています

ジョージア工科大学、Mila、モントリオール大学、マギル大学の研究者らは、多様な大規模な神経記録を横断的にモデリングするためのトレーニングフレームワークとアーキテクチャを紹介しています。個々のスパイクをトークナイズして細かい時間的なニューラル活動をキャプチャし、クロスアテンションとPerceiverIOを骨子として使用します。7 つの非人間性霊長類のデータを使用して構築される大規模な複数セッションモデルには、27,000 個以上のニューラルユニットと100 時間以上の記録が含まれています。このモデルは新しいセッションに迅速に適応し、神経データ解析のスケーラブルなアプローチを示すさまざまなタスクでのフューショットパフォーマンスを可能にします。彼らの研究では、トランスフォーマーを使用して多様な大規模な神経記録の神経集団ダイナミクスをモデル化するスケーラブルなフレームワークを紹介しています。以前のモデルとは異なり、このフレームワークは一連の固定セッションや単一のニューロンセットで操作するのではなく、さまざまな主体やデータソースのデータをトレーニングすることができます。PerceiverIOとクロスアテンション層を活用して、ニューラルイベントを効率的に表現し、新しいセッションでのフューショットパフォーマンスを可能にします。本研究は、トランスフォーマーの神経データ処理への潜在能力を示し、計算機能を向上させる効率的な実装を紹介しています。機械学習の最近の進歩は、GPT のような大規模な事前トレーニング済みモデルのスケーリングの可能性を示しています。神経科学では、脳機能のより包括的な理解のために、さまざまなデータセット、実験、および被験者を結びつける基礎モデルが求められています。POYO は、さまざまな神経記録セッション間で効率的なトレーニングを実現し、対応するニューロンセットが不明な場合でも、さまざまな神経記録セッションを処理するためのフレームワークです。独自のトークナイゼーションスキームとPerceiverIOアーキテクチャを活用してニューラル活動をモデル化し、その移植性とセッション間の脳デコーディングの改善を示しています。トークナイゼーションを使用して多様な記録にわたる神経活動のダイナミクスをモデル化し、時間の詳細をキャプチャし、クロスアテンションとPerceiverIOアーキテクチャを使用しています。広範な霊長類データセットでトレーニングされた大規模なマルチセッションモデルは、フューショット学習のための対応するニューロンのない新しいセッションに適応することができます。ローテーションポジションの埋め込みは、トランスフォーマーの注意メカニズムを強化します。このアプローチは神経活動に5ミリ秒のビニングを使用し、ベンチマークデータセットで詳細な結果を達成しています。フレームワークは、NLB-Maze データセットの神経活動デコーディング効果を示すため、フレームワークを使用してR2値0.8952を達成しました。事前トレーニング済みモデルは、重みの変更なしで同じデータセットで競争力のある結果を提供し、その汎用性を示しています。フューショットパフォーマンスのための新しいセッションに迅速に適応する能力が示されました。大規模なマルチセッションモデルはさまざまなタスクで有望なパフォーマンスを示し、フレームワークの包括的な神経データ解析の潜在能力を強調しています。結論として、神経集団デコーディングのための一体化かつスケーラブルなフレームワークは、フューショットパフォーマンスのための対応するニューロンのない新しいセッションへの迅速な適応能力を提供し、さまざまなタスクで強力なパフォーマンスを実現します。非人間霊長類のデータを用いてトレーニングされた大規模なマルチセッションモデルは、包括的な神経データ解析のフレームワークの潜在能力を示しています。このアプローチは、神経データ解析の進化を促進するための強力なツールを提供し、スケールでのトレーニングを可能にし、神経集団ダイナミクスに関する洞察を深めることができます。

「分析的に成熟した組織（AMO）の構築」

組織の分析の成熟度を理解することは、データ関連のプロとして強力な競争力を持つことができますそれにより、「非分析的」な意思決定（「プロジェクトの優先順位付け」など）がより情報に基づいて行われるでしょう

コロンビア大学とAppleの研究者が『フェレット』を紹介します画像の高度な理解と説明のための画期的な多モーダル言語モデルです

モデルの空間的知識を促進する方法は、ビジョン言語学習の主要な研究課題です。このジレンマは、参照と基線という2つの必要な能力を必要とします。基準化では、モデルは提供された意味的な説明に応じて領域をローカライズする必要があります。一方、参照は、モデルが特定の提供された領域の意味を完全に理解することを求めます。本質的に、地理情報と意味を一致させることが、参照と基礎化の両方に必要な知識です。しかし、参照と道徳は通常、現在のテキストでは別々に教えられています。一方、人間は参照/基礎化能力を日常的な議論と推論にスムーズに組み合わせることができ、一つの活動から学び、共有知識を他の仕事に難なく一般化することができます。この研究では、前述の格差を考慮して、3つの主要な問題を調査しています。 (i) 参照と基礎化を1つのフレームワークに組み合わせる方法と、お互いを補完する方法は何ですか？ (ii) 点、ボックス、落書き、自由形状など、人々が物を指すためにしばしば使用する多くの領域をどのように描写しますか？ (iii) 実用的なアプリケーションにおいて必要とされる参照と基礎化を、オープンボキャブラリー、指示に従う、頑健なものにするにはどうすればよいですか？コロンビア大学とApple AI/MLの研究者は、これらの3つの問題に対応するために、全く新しい参照-基礎化マルチモーダル大規模言語モデル（MLLM）であるFerretを提案します。彼らは、まず、Ferretの基盤としてMLLMを選択しました。その理由は、MLLMが強力なビジョン言語のグローバルな理解力を持っているからです。図1に示されているように、Ferretは最初に平文数値形式の領域の座標を符号化して、参照と基礎化を統一します。図3: 提案されたFerretモデルのアーキテクチャの概要。左側には、提案されたハイブリッド領域表現と空間認識ビジュアルサンプラーが表示されています。全体のモデルアーキテクチャ（右側）。画像エンコーダは学習できない唯一のパラメータです。ただし、ストローク、落書き、複雑なポリゴンなど、さまざまな地域の形式を単一の点または座標のボックスで表現することは実用的ではありません。これらの形式は、より正確で包括的な人間とモデルの相互作用に必要です。この問題に対処するために、彼らはまた、可変スパース性を考慮した任意の形式の領域の光学的な特性を取得するための空間認識ビジュアルサンプラーを提案しています。そして、入力の視覚的な領域は、離散的な座標と連続的な視覚的特徴からなるハイブリッド領域表現を用いてFerretで表現されます。上記の手法を用いることで、Ferretは自由形式テキストと参照された領域を組み合わせた入力を処理することができ、指定されたアイテムを自動的に地域化オブジェクトとテキストの座標を作成して出力します。彼らの知る限りでは、Ferretはフリーフォームの領域を持つMLLMsからの入力を処理する最初のアプリケーションです。彼らはGRITというGround-and-Refer Instruction-Tuningデータセットを収集し、Ferretのオープンボキャブラリー、指示に従う、頑健さを作り出します。GRITには、領域、接続、オブジェクト、複雑な推論など、さまざまなレベルの空間的知識が含まれています。入力と出力の両方に位置とテキストを組み合わせたデータ、さらには位置内テキストアウト（参照）およびテキスト内位置アウト（基礎化）のデータも含まれています。注意深く作成されたテンプレートの助けを借りて、データセットのほとんどは、現在のビジョン（言語）タスク、例えばオブジェクト識別とフレーズ基礎化から指示に従うように変換されています。指示に従う、オープンボキャブラリーの参照-基礎化一般主義を訓練するために、ChatGPT/GPT-4を使用して34,000の参照-基礎化指示調整チャットを収集しました。また、モデルの頑健性を高めるために、空間的認識に関するネガティブデータのマイニングも行っています。Ferretは、オープンボキャブラリーの空間認識とローカリゼーション能力を持っています。従来の参照と基礎化の活動と比較した場合、より優れたパフォーマンスを発揮します。さらに、参照-基礎化の能力は、例えば、人々が馴染みのない物事を指し、その機能について尋ねるときなど、日常的な人間の議論に組み込まれるべきだと考えています。この新しいスキルを評価するために、Ferret-Benchを提案しています。それは、参照記述、参照推論、会話中の基礎化という3つの新しいタイプのタスクをカバーしています。既に使用されている最高のMLLMと比較して、Ferretは平均で20.4%の性能向上を示すことができます。Ferretはまた、オブジェクトの幻覚を軽減する卓越した能力を持っています。彼らは全体的に3つの異なる貢献をしています。 (i) MLLMでの微細なグラウンディングとリファレンスを可能にするFerretを提案しています。Ferretは、ユニークな空間感知ビジュアルサンプラーを備えたハイブリッドな領域表現を使用しています。 (ii) 彼らはモデルのトレーニングのための大規模な調整データセットであるGRITを作成しました。また、モデルの抵抗力を強化するために余分な空間的なネガティブな例も含まれています。リファリング/グラウンディング、意味、知識、推論を同時に評価するタスクを評価するために、彼らはFerret-Benchを作成しました (iii)。彼らのモデルは、さまざまな活動で他のモデルよりも優れた性能を発揮し、オブジェクトの妄想が少ないです。

GoogleのAIにおける戦略的拡張：Anthropicへの20億ドルの賭け

テック大手のGoogleが人工知能（AI）への取り組みをさらに深化させる動きを示す中、最近Anthropicへの大規模な投資を発表しましたこの20億ドルの資金投入によって、Googleは急速に進化するAIのエリアでの地位を強化するだけでなく、業界のダイナミクスにも重大な変化をもたらすことを示していますAnthropicは、OpenAIに対する成長中のライバルであり、…

Learn more about Search Results A - Page 126