Search Results 22

GenAIの製品：速く進んで失敗する

2022年の秋、私はクールなプロジェクトに取り組んでいましたはい、あなたは正解です-企業固有のデータでLLMsを調整していましたしかし、それにもかかわらず、ChatGPTがリリースされ、世界中で話題となりましたそして、何が…

「UCバークレーの研究者が開発したALIA：微細分類タスクのための自動言語ガイド画像拡張の画期的なブレイクスルー」

細粒度イメージ分類は、大きなカテゴリ内のサブカテゴリに画像を分類するコンピュータビジョンのタスクです。これは、特定の、しばしば珍しい動物の繊細な同定を必要とします。しかし、より広範なトレーニングデータが必要であるというニーズにより、分類器は天候条件や地理的な場所の変化など、ドメインの異なる側面において適応に苦労しています。データ拡張は、細粒度分類のような特殊なタスクでは、困難に直面しています。ジェネレーティブモデルやフリップや切り抜きなどの従来の手法を使用したアプローチは、有望ですが、しばしば緻密な調整が必要であり、そのようなタスクには適さない画像を生成することがあります。これらの課題に対処しようとするさまざまな提案された手法にもかかわらず、この分野は、視覚的な一貫性と元のトレーニングデータとの関連性を維持しながら多様な変動を表現する拡張データセットを作成する上でのハードルに直面しています。新しいアプローチであるALIA（Automated Language-guided Image Augmentation）は、これらの持続的な課題を克服するために登場しました。ALIAは、データセットの領域についての自然言語の説明と大規模なビジョンモデルを組み合わせて、言語による画像編集を通じてトレーニングデータの多様な変化を自動的に生成します。通常の手法とは異なり、ALIAは高価な微調整やユーザーが提供するプロンプトに頼らない。代わりに、最小限の編集やタスクに関連する情報を破壊する可能性のある編集を賢くフィルタリングして、データセットの多様性を向上させ、細粒度分類のような特殊なタスクにおける分類器の一般化能力を改善する有望な解決策を提示します。このプロセスは次のようなものです：ドメインの説明の生成：イメージキャプションと大規模言語モデル（LLM）を使用して、10未満のドメインの説明にイメージのコンテキストを簡潔にまとめます。言語のガイダンスを使用した画像の編集：これらの説明に合わせて多様な画像を作成するために、テキストに依存する画像編集技術を使用します。失敗した編集のフィルタリング：セマンティックフィルタリングのためにCLIPを使用し、信頼度に基づいたフィルタリングのために分類器を使用して、失敗した編集を取り除き、タスクに関連する情報と視覚的な一貫性を保ちます。筆者によると、この方法はデータセットを20%〜100%拡張し、視覚的な一貫性を保ち、より広範なドメインを含んでいます。研究チームは、ALIAのデータ拡張手法の効果を評価するために、ドメインの一般化、細粒度分類、および鳥の分類におけるコンテキストバイアスなどの特殊なタスクについて大規模な実験を行いました。ResNet50モデルの微調整と画像編集のための安定した拡散を使用し、ALIAは従来の拡張技術や実データの追加さえもドメインの一般化のタスクで常に優れたパフォーマンスを発揮し、元のデータに比べて17%の改善を見せました。細粒度分類では、ALIAはドメインの変化がなくても精度を維持し、コンテキストバイアスを伴う機能においても、インドメインとアウトオブドメインの精度で優れたパフォーマンスを発揮しましたが、画像編集の品質やテキストのみの修正では課題がありました。これらの実験は、ALIAがデータセットの多様性とモデルのパフォーマンスを高める可能性を示していますが、モデルの品質と画像編集方法の選択にいくらか依存性があるということも明らかにしました。総括すると、筆者たちは、ALIAという、大規模言語モデルとテキストにガイドされた画像編集技術を活用する、データ拡張のための先進的な戦略を紹介しました。提供されたトレーニングセット内のドメインの説明と拡張データに対して、この手法はドメイン適応、バイアスの低減、さらにはドメインシフトがない場面でも優れた能力を発揮しました。今後の研究では、筆者たちは、キャプション作成、大規模言語モデル、および画像編集のさらなる進展が、このアプローチの効果と応用性を大幅に向上させると考えています。実際のトレーニングデータから派生した構造化されたプロンプトを使用することは、現在の手法で遭遇するさまざまな制約を改善し、データセットの多様性を向上させるために重要な役割を果たす可能性があります。これは、ALIAの広範な影響と潜在的な進化に関する有望な研究の方向性を示唆しています。

dbtコア、Snowflake、およびGitHub Actions データエンジニアのための個人のプロジェクト

これは、Data/Analyticsエンジニア向けの簡単で高速なプロジェクトですdbt Core、Snowflake、Fivetran、およびGitHub Actionsなどの最新のデータスタックツールを試してみたい方にお勧めですハンズオン形式で行います...

オープンLLMリーダーボード：DROPディープダイブ

最近、新たに3つの新基準がOpen LLM Leaderboardに追加されました。Winogrande、GSM8k、そしてDROPです。これらはEleutherAI Harnessの再現実装を使用しています。DROPのスコアをざっと見てみると、f1スコアでほとんどのモデルが10点以下という奇妙な現象が起こっていることがわかりました。私たちはこの問題を深く掘り下げ、何が起こっているのかを理解するために調査を行いました。一緒に調査結果を見ていきましょう！初期の観察結果 DROP（段落に対する離散的な推論）は、モデルが英語の段落から関連する情報を抽出し、それらに対して離散的な推論手法（例えば、ソートやアイテムの数え上げなどを行い、正解にたどり着く）を実行する必要がある評価です（例は下の表を参照してください）。使用される評価指標はカスタムのf1スコアと完全一致スコアです。 DROPをOpen LLM Leaderboardに3週間前に追加しましたが、事前学習モデルのf1スコアは予想外の傾向を示しました。DROPのスコアをARC、HellaSwag、TruthfulQA、MMLUのリーダーボードの元々の平均（モデル全体のパフォーマンスの合理的な代理）と比較したとき、優れたモデルほどDROPのスコアも良い関連性があると予想していました。しかし、それは一部のモデルにしか当てはまらず、他のすべてのモデルのDROPのf1スコアは10点未満でした。正規化の問い合わせこの驚くべき振る舞いに対する最初の深い調査中に、正規化ステップが意図した通りに機能していない可能性があることがわかりました。いくつかのケースでは、正規化が正しい数値の回答を無視してしまっていました。具体的には、数値の回答の後に空白文字（スペース以外の改行など）が続いていた場合に正規化が無視されていました。以下に例を示します。生成結果が10\n\nPassage: The 2011 census recorded a population of 1,001,360で、正解が10である場合を見てみましょう。正規化は生成結果と正解の両方に対して複数のステップで行われます：区切り文字での分割 |、-、または. を使って分割します。生成結果の先頭のシーケンス 10\n\nPassage:…

サークルブームのレビュー：最高のAIパワードソーシャルメディアツール？

「サークルブームの参考文献として、サークルブームの力を発見してみてくださいそれは最高のAIパワードソーシャルメディアツールですか？」

circleboom

「機械学習をマスターするための10のGitHubリポジトリ」

ブログは機械学習コース、ブートキャンプ、書籍、ツール、インタビューの質問、チートシート、MLOpsプラットフォームなどをカバーしており、MLをマスターし、夢の仕事を確保するための情報を提供しています

Machine learning

予測モデルの構築：Pythonにおけるロジスティック回帰

著者によるイメージ　機械学習を始めるとき、ロジスティック回帰は最初にツールボックスに追加するアルゴリズムの一つですこれはシンプルで頑健なアルゴリズムであり、主に2値分類の課題に使用されます0と1の2つのクラスを持つ二値分類問題を考えますロジスティック回帰はロジスティックまたは...

Machine learning

フリーMITコース：TinyMLと効率的なディープラーニングコンピューティング

日常のデバイスを最適化するAIに興味がありますか？MITのTinyMLとEfficient Deep Learning Computingコースの完全な概要に潜り込んでみてください小さなデバイスでより賢いAIを実現するための戦略を探求してください詳細な記事を読んで、徹底的に理解してください！

Machine learning

ディープシークLLM：中国の最新の言語モデル

最近の動向において、DeepSeek LLMは言語モデルの世界で力強い存在として現れ、驚異的な670億のパラメータを誇っています。英語と中国語の両方の2兆トークンからなる広範なデータセットを使って、DeepSeek LLMはその7B/67B Baseと7B/67B Chatバージョンをオープンソース化することで研究の連携に新たな基準を設けました。この記事では、モデルの優れた能力について詳しく探求し、複雑な評価におけるパフォーマンスを評価します。優れた総合能力 DeepSeek LLM 67B Baseは、推論、コーディング、数学、中国語理解などの重要な領域でLlama2 70B Baseを上回る実績を示しています。このモデルの力は、言語モデルの進化において大きな飛躍を示しています。コーディングと数学の熟練度 DeepSeek LLM 67B Chatの優れた特徴は、コーディングでの驚異的なパフォーマンスです。ヒューマン評価のPass@1スコアは73.78です。また、同様に優れた数学的能力も示しており、GSM8K zero-shotスコアは84.1、Math 0-shotスコアは32.6です。特に、難解なハンガリー国立高校試験での65点という優れたスコアは、モデルの汎用性を証明しています。中国語の習熟度 GPT-3.5との対比において、DeepSeek LLM 67B Chatは中国語の習熟度において最前線に立っています。評価結果はモデルの優位性を示しており、自然言語処理の大きな進歩を表しています。…

「DeepSeek：中国最新の言語モデルの支配」

In a recent development, the DeepSeek LLM has emerged as a formidable force in the realm of language models, boasting an impressive 67 billion…

Learn more about Search Results 22 - Page 15