Search Results T5

「UCバークレーの研究者が開発したALIA：微細分類タスクのための自動言語ガイド画像拡張の画期的なブレイクスルー」

細粒度イメージ分類は、大きなカテゴリ内のサブカテゴリに画像を分類するコンピュータビジョンのタスクです。これは、特定の、しばしば珍しい動物の繊細な同定を必要とします。しかし、より広範なトレーニングデータが必要であるというニーズにより、分類器は天候条件や地理的な場所の変化など、ドメインの異なる側面において適応に苦労しています。データ拡張は、細粒度分類のような特殊なタスクでは、困難に直面しています。ジェネレーティブモデルやフリップや切り抜きなどの従来の手法を使用したアプローチは、有望ですが、しばしば緻密な調整が必要であり、そのようなタスクには適さない画像を生成することがあります。これらの課題に対処しようとするさまざまな提案された手法にもかかわらず、この分野は、視覚的な一貫性と元のトレーニングデータとの関連性を維持しながら多様な変動を表現する拡張データセットを作成する上でのハードルに直面しています。新しいアプローチであるALIA（Automated Language-guided Image Augmentation）は、これらの持続的な課題を克服するために登場しました。ALIAは、データセットの領域についての自然言語の説明と大規模なビジョンモデルを組み合わせて、言語による画像編集を通じてトレーニングデータの多様な変化を自動的に生成します。通常の手法とは異なり、ALIAは高価な微調整やユーザーが提供するプロンプトに頼らない。代わりに、最小限の編集やタスクに関連する情報を破壊する可能性のある編集を賢くフィルタリングして、データセットの多様性を向上させ、細粒度分類のような特殊なタスクにおける分類器の一般化能力を改善する有望な解決策を提示します。このプロセスは次のようなものです：ドメインの説明の生成：イメージキャプションと大規模言語モデル（LLM）を使用して、10未満のドメインの説明にイメージのコンテキストを簡潔にまとめます。言語のガイダンスを使用した画像の編集：これらの説明に合わせて多様な画像を作成するために、テキストに依存する画像編集技術を使用します。失敗した編集のフィルタリング：セマンティックフィルタリングのためにCLIPを使用し、信頼度に基づいたフィルタリングのために分類器を使用して、失敗した編集を取り除き、タスクに関連する情報と視覚的な一貫性を保ちます。筆者によると、この方法はデータセットを20%〜100%拡張し、視覚的な一貫性を保ち、より広範なドメインを含んでいます。研究チームは、ALIAのデータ拡張手法の効果を評価するために、ドメインの一般化、細粒度分類、および鳥の分類におけるコンテキストバイアスなどの特殊なタスクについて大規模な実験を行いました。ResNet50モデルの微調整と画像編集のための安定した拡散を使用し、ALIAは従来の拡張技術や実データの追加さえもドメインの一般化のタスクで常に優れたパフォーマンスを発揮し、元のデータに比べて17%の改善を見せました。細粒度分類では、ALIAはドメインの変化がなくても精度を維持し、コンテキストバイアスを伴う機能においても、インドメインとアウトオブドメインの精度で優れたパフォーマンスを発揮しましたが、画像編集の品質やテキストのみの修正では課題がありました。これらの実験は、ALIAがデータセットの多様性とモデルのパフォーマンスを高める可能性を示していますが、モデルの品質と画像編集方法の選択にいくらか依存性があるということも明らかにしました。総括すると、筆者たちは、ALIAという、大規模言語モデルとテキストにガイドされた画像編集技術を活用する、データ拡張のための先進的な戦略を紹介しました。提供されたトレーニングセット内のドメインの説明と拡張データに対して、この手法はドメイン適応、バイアスの低減、さらにはドメインシフトがない場面でも優れた能力を発揮しました。今後の研究では、筆者たちは、キャプション作成、大規模言語モデル、および画像編集のさらなる進展が、このアプローチの効果と応用性を大幅に向上させると考えています。実際のトレーニングデータから派生した構造化されたプロンプトを使用することは、現在の手法で遭遇するさまざまな制約を改善し、データセットの多様性を向上させるために重要な役割を果たす可能性があります。これは、ALIAの広範な影響と潜在的な進化に関する有望な研究の方向性を示唆しています。

「AIに関するアレン研究所の研究者らが、大規模なデータセット上での2段階のトレーニングプロセスによって開発された、新しい科学文書の埋め込みモデルであるSPECTER2を開発しました」

科学的なドキュメント埋め込みの領域は、SPECTERやSciNCLのような既存のモデル内で適応性とパフォーマンスの課題に直面しています。これらのモデルは特定のドメインでは効果的ですが、引用予測タスクに焦点を絞った狭いトレーニングデータの制約などの制限には取り組んでいます。研究者たちはこれらの課題を確認し、これらの問題に対処し、科学的なドキュメント埋め込みの適応性と全体的なパフォーマンスを大幅に向上させる解決策を作成することを目指しました。 SPECTERやSciNCLといった現在の科学的なドキュメント埋め込みのモデルは、進歩を遂げていますが、トレーニングデータの多様性や引用予測に対する狭い焦点の制約に制約されている必要があります。そのため、AIのAllen Instituteに所属する研究チームが取り組み、画期的なSPECTER2モデルを紹介することで、課題形式に特化したアダプターを採用します。SPECTER2は、23の異なる研究分野を横断した9つのタスクにわたる広範なデータセットを活用します。この革新的な進展は、科学的なドキュメントのさまざまなタイプに適したタスク固有の埋め込みを生成するモデルの能力を大幅に向上させるものです。 SPECTER2は、SciBERTのチェックポイントとクエリ、ポジティブ、ネガティブの候補論文からなる三つ組を使用して引用予測の事前トレーニングから開始する緻密なトレーニングプログラムを実施します。その後の段階では、マルチタスクトレーニングのための課題形式固有のアダプターの統合が行われます。この戦略的な拡張により、モデルはさまざまな下流タスクに最適化されたさまざまな埋め込みを生成することが可能になります。このアプローチの洗練度は、以前のモデルに存在する制約を効果的に扱います。最近導入されたSciRepEvalベンチマークの評価によって、SPECTER2は汎用と科学的な埋め込みモデルよりも優れた性能を発揮していることが明らかになっています。特に、特定のタスク形式にカスタマイズされた単一のドキュメントに複数の埋め込みを提供するモデルの傑出した柔軟性と操作効率が強調されています。結論として、SPECTER2は科学的なドキュメント埋め込みの大きな進歩を象徴しています。既存のモデルの欠点を修正するための研究チームの苦闘は、その先駆者たちを超える頑強な解決策を生み出しました。SPECTER2の学際的な境界を超える能力、タスク固有の埋め込みの生成、ベンチマーク評価での常に最先端の結果を一貫して達成する能力により、これは多様な科学的な応用において貴重なツールとなります。このブレークスルーにより、科学的なドキュメント埋め込みの領域は豊かになり、将来の進歩の道を拓くことができます。この投稿は、Allen Institute for AIの研究者が大規模データセット上の2ステップトレーニングプロセスを経て新しい科学的なドキュメント埋め込みモデルSPECTER2を開発しました。

「Langchainを利用した半構造化データのためのRAGパイプラインの構築」

イントロダクション Retrieval Augmented Generation（RAG）は長い間存在しています。この概念を基にしたツールやアプリケーションが多数開発されており、ベクトルストア、検索フレームワーク、LLMなどがあり、カスタムドキュメント、特にLangchainを使用した半構造化データとの作業が容易で楽しくなっています。長くて密度のあるテキストとの作業はこれまでになく簡単で楽しいものとなりました。従来のRAGはDOC、PDFなどのドキュメントやファイル形式の非構造化テキストにはうまく対応していますが、PDFの埋め込みテーブルなどの半構造化データには対応していません。半構造化データとの作業時には通常2つの問題が生じます。従来の抽出およびテキスト分割方法ではPDFのテーブルを考慮していません。通常、テーブルが分割されてしまい、情報が失われます。テーブルの埋め込みは正確な意味ベースの検索には適さない場合があります。そのため、本記事ではLangchainを使用して半構造化データ用の検索生成パイプラインを構築し、これらの2つの問題に対処します。学習目標構造化、非構造化、半構造化データの違いを理解する。 RAGとLangchainの基本をおさらいする。 Langchainを使用して半構造化データを処理するためのマルチベクトル検索生成システムを構築する方法を学ぶ。この記事はData Science Blogathonの一環として公開されました。データの種類通常、データには構造化データ、半構造化データ、非構造化データの3つのタイプがあります。構造化データ：構造化データは標準化されたデータです。データは事前に定義されたスキーマ（行と列など）に従います。SQLデータベース、スプレッドシート、データフレームなどが該当します。非構造化データ：非構造化データは、構造化データとは異なり、データモデルに従いません。データはランダムな形式となっています。たとえば、PDF、テキスト、画像などです。半構造化データ：これは前述のデータタイプの組み合わせです。構造化データとは異なり、厳密な定義済みのスキーマを持ちませんが、データはいくつかのマーカーに基づいて階層的な順序を保持しています。これは非構造化データとは異なります。たとえば、CSV、HTML、PDFの埋め込みテーブル、XMLなどが該当します。 RAGとは何ですか？ RAGはRetrieval Augmented Generation（検索拡張生成）の略であり、大規模言語モデルに新しい情報を提供する最も簡単な方法です。RAGについて簡単に説明しましょう。…