Search Results ML

データウェアハウスとデータレイクとデータマート：どれを選ぶべきか、助けが必要ですか？

データ倉庫、データレイク、およびデータマートの比較的な概要を通じて、データアーキテクチャのためのデータストレージソリューションを選択するための情報を提供します

Data Engineering

「Inside LlaVA GPT-4Vのオープンソースの最初の代替案」

数週間前、OpenAIはGPT-4で新しい画像および音声処理の機能を公開しました基本的に、AIラボはGPT-4 Vision（GPT-4V）という新しいモデルを発表しましたこれによってユーザーは指示をすることができます...

「2023年版AI音声生成器の究極ガイド」

導入人工知能（AI）の導入により、さまざまな産業で画期的な進歩が生まれています。AI音声生成器の登場は、AIが人間の振る舞いを模倣する能力をどの程度まで発展させたかの一例です。これらの音声生成器は、自然言語のパターン、イントネーション、微妙なニュアンスを理解するために、以前に記録された音声の大規模なデータセットでトレーニングされた深層学習アルゴリズムに依存しています。どのAI音声生成器が最適かは、目標によります。有名人の声を真似したいですか、それとも自分自身の声を再現したいですか？それとも独立した本物の声に興味がありますか？トップ10のAI音声生成器 1. ElevenLabs 声人工知能機能を備えたEleven Labsは非常に使いやすいです。そのVoice Libraryでは、他のユーザーが作成した数百の声が無料で提供されます。しかし、Eleven Labs最も注目すべき特徴はVoiceLabです。VoiceLabは、他のオプションでは20〜30分かかるところを、わずか60秒の録音で新しい声を合成したり、自分の声を再現したりすることができます。声の修正や調整も可能で、その結果は非常に素晴らしいものです。出力を調整するためにも、さまざまなオプションが利用できます。アクセスはこちら：ElevenLabs 2. Murf AI Murf AIは強力で柔軟な人工知能音声生成器です。さまざまな言語や方言で信じられないほど本物の声を提供します。生成される音声の品質は人間の話し声とほとんど区別がつかないほど優れています。音声のモデュレーション、ピッチ、速度、アクセントのツールを使用して声を変えることができます。このプラットフォームは、チャットボット、仮想アシスタント、オーディオブック、ポッドキャスト、ビデオの作成など、さまざまな目的で使用することができます。アクセスはこちら：h/Murf.ai/ 最終的なオーディオファイルを作成する前に、設定を変更してオーディオのプレビューを聴くことができます。また、Murf Studioでは、音声オーバーやBGMなどの機能を備えた独自のプラットフォームで説明動画やプレゼンテーションを作成することも可能です。 3. Resemble AI Resemble.aiは、さまざまなビジネス目的に活用される高度なAIテキスト音声合成器です。ツールの最小の遅延APIにより、開発者は独自のペースで音声を生成し、他の重要な開発作業を行うことができます。アクセスはこちら：Resemble…

機械学習のオープンデータセットを作成中ですか？ Hugging Face Hubで共有しましょう！

このブログ投稿は誰のためですか？データ集中型の研究を行っている研究者ですか？研究の一環として、おそらく機械学習モデルの訓練や評価のためにデータセットを作成しており、多くの研究者がGoogle Drive、OneDrive、または個人のサーバーを介してこれらのデータセットを共有している可能性があります。この投稿では、代わりにHugging Face Hubでこれらのデータセットを共有することを検討する理由を説明します。この記事では以下を概説します：なぜ研究者はデータを公開共有すべきか（すでに説得されている場合は、このセクションはスキップしてください）研究者がデータセットを共有したい場合のHugging Face Hubのオファー Hugging Face Hubでデータセットを共有するための始め方のリソースなぜデータを共有するのですか？機械学習は、さまざまな分野でますます利用され、多様な問題の解決における研究効率を高めています。特にタスクやドメインに特化した新しい機械学習手法を開発する際には、データがモデルの訓練や評価において重要です。大規模な言語モデルは、生物医学のエンティティ抽出のような特殊なタスクではうまく機能せず、コンピュータビジョンモデルはドメイン特化の画像の分類に苦労するかもしれません。ドメイン固有のデータセットは、既存のモデルの限界を克服するために、機械学習モデルの評価と訓練に重要です。ただし、これらのデータセットを作成することは困難であり、データの注釈付けには相当な時間、リソース、およびドメインの専門知識が必要です。このデータの最大の影響を最大化することは、関係する研究者と各自の分野の両方にとって重要です。 Hugging Face Hubは、この最大の影響を実現するのに役立ちます。 Hugging Face Hubとは何ですか？ Hugging Face…

「50以上の最新の最先端人工知能（AI）ツール（2023年11月）」

AIツールは急速に開発が進んでおり、定期的に新しいツールが導入されています。以下にいくつかのAIツールを紹介します。これらは日常のルーティンを強化することができます。 AdCreative.ai AdCreative.aiは、究極の人工知能ソリューションであることから、広告とソーシャルメディアの活動を強化することができます。 Hostinger AIウェブサイトビルダー Hostinger AIウェブサイトビルダーは、直感的なインターフェースと高度なAI機能を組み合わせ、どんな目的にも対応できるウェブサイトの作成をサポートします。 Motion Motionは、会議、タスク、プロジェクトを考慮した毎日のスケジュールを作成するためにAIを使用する賢いツールです。 Otter AI 人工知能を活用したOtter.AIは、共有可能で検索可能でアクセスしやすく安全な会議のメモのリアルタイムトランスクリプションを提供します。 Sanebox Saneboxは、AI駆動のメール最適化ツールです。SaneBoxのA.I.は重要なメールを特定し、残りを自動的に整理して集中力を高めるお手伝いをします。 Notion AI Notion AIは、Notionのワークスペース内で直接執筆、ブレインストーミング、編集、要約を手助けする執筆アシスタントです。 Pecan AI Pecan AIは、予測アナリティクスを自動化して、今日のビジネスの課題である予算縮小、コスト上昇、データサイエンスとAIリソースの限られた資源を解決します。Pecanの低コード予測モデリングプラットフォームは、データに基づいた意思決定を導き、ビジネスチームが目標を達成するのをサポートします。 Aragon Aragonを使用すると、最新のAI技術を活用して、迅速に自分自身の高品質のプロフェッショナルなヘッドショットを作成することができます。写真スタジオの予約やドレッシングアップの手間を省くことができます。…

ワシントン大学とプリンストン大学の研究者が、事前学習データ検出データセットWIKIMIAと新しい機械学習アプローチMIN-K% PROBを発表しました

“`html 大規模な言語モデル（LLMs）は、大量のテキストデータを処理できる強力なモデルです。彼らは数百ギガバイトからテラバイトに及ぶテキストコーパスで訓練されます。このようなデータの規模により、訓練データに著作権のあるテキストや個人を特定できる情報が含まれていないかを調べることが重要になります。また、訓練コーパスの成長速度のため、これらのLLMsの開発者はデータの完全な構成を開示することによりますます消極的になっています。ワシントン大学とプリンストン大学の研究者グループは、上記の問題について研究しました。テキストの一部とLLMへのブラックボックスアクセスを与えられた彼らは、モデルが提供されたテキストで訓練されたかどうかを判定しようとしました。彼らは、WIKIMIAというベンチマークを導入しました。このベンチマークには事前学習データと非事前学習データが含まれており、ゴールドデータとしてのサポートを提供しています。彼らはまた、LLMの下で確率が低いアウトライアーワードを特定する新しい検出方法であるMIN-K% PROBを導入しました。問題のある訓練テキストを特定するために信頼性のあるベンチマークを持つことは重要です。WIKIMIAは、新しくリリースされた事前学習済みLLMs上で検出方法を自動的に評価するダイナミックなベンチマークです。MIN-K% PROBメソッドは、未知のテキストはLLMがよく知らない単語を含んでいる可能性が高いという仮説に基づいています。MIN-K% PROBは、これらのアウトライアーワードの平均確率を計算します。 MIN-K% PROBの動作は以下のとおりです。テキストXがあり、LLMがXで訓練されたかどうかを判定する必要があります。このメソッドは、与えられたテキストの各トークンの確率をLLMを使用して計算します。次に、確率の最小値を持つk%のトークンを選択し、その平均対数尤度を計算します。同じ値が高ければ高いほど、テキストXが事前学習データにある可能性が高いことを意味します。研究者たちは、3つの実生活シナリオ（著作権侵害本の検出、汚染されたダウンストリームの例の検出、および機械を使ったプライバシーオーディティングのための）でこの方法を適用しました。彼らは、100冊の著作権のある本からの10,000のテキストスニペットのテストセットを使用し、その約90％が50％を超える汚染率を持っていることを発見しました。特に、彼らの調査によれば、GPT-3モデルには20冊の著作権のある本からのテキストが含まれていました。 LLMsから個人情報や著作権のあるデータを削除するためには、Machine unlearningメソッドを使用します。研究者たちはMIN-K% PROBメソッドを使用し、著作権のある本を削除した後でもLLMsは似たような著作権保護されたコンテンツを生成し続けることができるとわかりました。結論として、MIN-K% PROBはLLMが著作権や個人データで訓練されたかどうかを判定するための新しい方法です。研究者たちは、実世界のケーススタディを使用して自分たちの方法の有効性を検証し、GPT-3モデルが著作権のある本で訓練された可能性が強力な証拠を見つけました。彼らはこのメソッドが問題のある訓練テキストを検出するための一貫した有効な解決策であり、モデルの透明性と責任に向けた重要な進歩を示していると結論付けました。 “`

「AI生成応答を検出する2つの簡単な方法」

AI（人工知能）は私たちの耳を鳴らしていますはい、その強力な機能のために、今では人気のあるトピックになっていると私は同意します近い将来については、私はあなたに保証します...

「IntelのOpenVINOツールキットを使用したAI最適化と展開のマスタリング」

イントロダクション人間の労働力を置き換えるAIの影響が増しているため、私たちはほぼ毎日AIについて話題にしています。AIを活用したソフトウェアの構築は、短期間で急速に成長しています。企業やビジネスは、信頼性のある責任あるAIをアプリケーションに統合し、収益を増やすことを信じています。アプリケーションにAIを統合する最も困難な部分は、モデルの推論とモデル訓練に使用される計算リソースです。既に多くのテクニックが存在しており、モデルの推論時のパフォーマンスを最適化し、より少ない計算リソースでモデルを訓練します。この問題を解決するために、IntelはOpenVINO Toolkitを導入しました。OpenVINOは革新的なオープンソースツールキットであり、AIの推論を最適化して展開することができます。学習目標この記事では、以下の内容を理解します。 OpenVINO Toolkitとは何か、AIの推論モデルを最適化し展開するための目的を理解します。 OpenVINOの実用的なユースケース、特にエッジにおけるAIの将来における重要性を探求します。 Google ColabでOpenVINOを使用して画像内のテキスト検出プロジェクトを実装する方法を学びます。 OpenVINOの主な特徴と利点、モデルの互換性とハードウェアアクセラレータのサポート、およびさまざまな産業とアプリケーションに与える影響を探求します。この記事はData Science Blogathonの一環として公開されました。 OpenVINOとは何ですか？ OpenVINO（オープンビジュアル推論およびニューラルネットワーク最適化）は、Intelチームによって開発されたオープンソースツールキットで、ディープラーニングモデルの最適化を容易にするものです。OpenVINOツールキットのビジョンは、AIのディープラーニングモデルを効率的かつ効果的にオンプレミス、オンデバイス、またはクラウド上で展開することです。 OpenVINO Toolkitは特に価値があります。なぜなら、TensorFlow、PyTorch、Onnx、Caffeなどのような人気のあるディープラーニングフレームワークをサポートしているからです。好きなフレームワークを使用してモデルをトレーニングし、OpenVINOを使用してIntelのハードウェアアクセラレータ（CPU、GPU、FPGA、VPUなど）にデプロイするために変換と最適化を行うことができます。推論に関しては、OpenVINO Toolkitはモデルの量子化と圧縮のためのさまざまなツールを提供しており、推論の精度を損なうことなくディープラーニングモデルのサイズを大幅に削減することができます。なぜOpenVINOを使用するのですか？ AIの人気は現在も衰える気配がありません。この人気により、オンプレミスやオンデバイスでAIアプリケーションを実行するためのアプリケーションがますます開発されることは明らかです。OpenVINOが優れているいくつかの重要な領域は、なぜOpenVINOを使用することが重要かを理解するための理想的な選択肢となっています。 OpenVINOモデルズー OpenVINOは、安定した拡散、音声、オブジェクト検出などのタスクに対する事前トレーニング済みのディープラーニングモデルを提供するモデルズーを提供しています。これらのモデルはプロジェクトの出発点として利用することができ、時間とリソースを節約することができます。…

「分析的に成熟した組織（AMO）の構築」

組織の分析の成熟度を理解することは、データ関連のプロとして強力な競争力を持つことができますそれにより、「非分析的」な意思決定（「プロジェクトの優先順位付け」など）がより情報に基づいて行われるでしょう

コロンビア大学とAppleの研究者が『フェレット』を紹介します画像の高度な理解と説明のための画期的な多モーダル言語モデルです

モデルの空間的知識を促進する方法は、ビジョン言語学習の主要な研究課題です。このジレンマは、参照と基線という2つの必要な能力を必要とします。基準化では、モデルは提供された意味的な説明に応じて領域をローカライズする必要があります。一方、参照は、モデルが特定の提供された領域の意味を完全に理解することを求めます。本質的に、地理情報と意味を一致させることが、参照と基礎化の両方に必要な知識です。しかし、参照と道徳は通常、現在のテキストでは別々に教えられています。一方、人間は参照/基礎化能力を日常的な議論と推論にスムーズに組み合わせることができ、一つの活動から学び、共有知識を他の仕事に難なく一般化することができます。この研究では、前述の格差を考慮して、3つの主要な問題を調査しています。 (i) 参照と基礎化を1つのフレームワークに組み合わせる方法と、お互いを補完する方法は何ですか？ (ii) 点、ボックス、落書き、自由形状など、人々が物を指すためにしばしば使用する多くの領域をどのように描写しますか？ (iii) 実用的なアプリケーションにおいて必要とされる参照と基礎化を、オープンボキャブラリー、指示に従う、頑健なものにするにはどうすればよいですか？コロンビア大学とApple AI/MLの研究者は、これらの3つの問題に対応するために、全く新しい参照-基礎化マルチモーダル大規模言語モデル（MLLM）であるFerretを提案します。彼らは、まず、Ferretの基盤としてMLLMを選択しました。その理由は、MLLMが強力なビジョン言語のグローバルな理解力を持っているからです。図1に示されているように、Ferretは最初に平文数値形式の領域の座標を符号化して、参照と基礎化を統一します。図3: 提案されたFerretモデルのアーキテクチャの概要。左側には、提案されたハイブリッド領域表現と空間認識ビジュアルサンプラーが表示されています。全体のモデルアーキテクチャ（右側）。画像エンコーダは学習できない唯一のパラメータです。ただし、ストローク、落書き、複雑なポリゴンなど、さまざまな地域の形式を単一の点または座標のボックスで表現することは実用的ではありません。これらの形式は、より正確で包括的な人間とモデルの相互作用に必要です。この問題に対処するために、彼らはまた、可変スパース性を考慮した任意の形式の領域の光学的な特性を取得するための空間認識ビジュアルサンプラーを提案しています。そして、入力の視覚的な領域は、離散的な座標と連続的な視覚的特徴からなるハイブリッド領域表現を用いてFerretで表現されます。上記の手法を用いることで、Ferretは自由形式テキストと参照された領域を組み合わせた入力を処理することができ、指定されたアイテムを自動的に地域化オブジェクトとテキストの座標を作成して出力します。彼らの知る限りでは、Ferretはフリーフォームの領域を持つMLLMsからの入力を処理する最初のアプリケーションです。彼らはGRITというGround-and-Refer Instruction-Tuningデータセットを収集し、Ferretのオープンボキャブラリー、指示に従う、頑健さを作り出します。GRITには、領域、接続、オブジェクト、複雑な推論など、さまざまなレベルの空間的知識が含まれています。入力と出力の両方に位置とテキストを組み合わせたデータ、さらには位置内テキストアウト（参照）およびテキスト内位置アウト（基礎化）のデータも含まれています。注意深く作成されたテンプレートの助けを借りて、データセットのほとんどは、現在のビジョン（言語）タスク、例えばオブジェクト識別とフレーズ基礎化から指示に従うように変換されています。指示に従う、オープンボキャブラリーの参照-基礎化一般主義を訓練するために、ChatGPT/GPT-4を使用して34,000の参照-基礎化指示調整チャットを収集しました。また、モデルの頑健性を高めるために、空間的認識に関するネガティブデータのマイニングも行っています。Ferretは、オープンボキャブラリーの空間認識とローカリゼーション能力を持っています。従来の参照と基礎化の活動と比較した場合、より優れたパフォーマンスを発揮します。さらに、参照-基礎化の能力は、例えば、人々が馴染みのない物事を指し、その機能について尋ねるときなど、日常的な人間の議論に組み込まれるべきだと考えています。この新しいスキルを評価するために、Ferret-Benchを提案しています。それは、参照記述、参照推論、会話中の基礎化という3つの新しいタイプのタスクをカバーしています。既に使用されている最高のMLLMと比較して、Ferretは平均で20.4%の性能向上を示すことができます。Ferretはまた、オブジェクトの幻覚を軽減する卓越した能力を持っています。彼らは全体的に3つの異なる貢献をしています。 (i) MLLMでの微細なグラウンディングとリファレンスを可能にするFerretを提案しています。Ferretは、ユニークな空間感知ビジュアルサンプラーを備えたハイブリッドな領域表現を使用しています。 (ii) 彼らはモデルのトレーニングのための大規模な調整データセットであるGRITを作成しました。また、モデルの抵抗力を強化するために余分な空間的なネガティブな例も含まれています。リファリング/グラウンディング、意味、知識、推論を同時に評価するタスクを評価するために、彼らはFerret-Benchを作成しました (iii)。彼らのモデルは、さまざまな活動で他のモデルよりも優れた性能を発揮し、オブジェクトの妄想が少ないです。

Learn more about Search Results ML - Page 179