Search Results arXiv

「知識の回復が中心舞台に登場する」

消費者からビジネス展開への転換をするために、GenAIにはリトリーバルセントリックジェネレーション（RCG）を使用したモデル外部の情報を主に基にしたソリューションが構築されるべきですジェネレーティブAIとして...

パレート、パワーロー、そしてファットテール

統計はデータサイエンスと分析の基盤ですそれは複雑な問題に客観的に答えるための強力なツールボックスを提供してくれますしかし、私たちのお気に入りの統計ツールの多くは、...の時に無力となります

In Japanese ゼファー7Bベータ：必要なのは良い教師だけです (Zefā 7B bēta Hitsuyō na no wa yoi kyōshi dake desu)

ミストラル7Bは、最高の事前学習済み大規模言語モデル（LLM）の1つですHugging Faceは、Zephyr 7B Alphaをリリースすることで、DPOで微調整されたミストラル7Bがチャットモデルよりも優れたパフォーマンスを発揮できることを示しています

「LLMの評価にLLMを使用する」

ChatGPTには何百万もの異なる方法で行動するように頼むことができます栄養士や言語講師、医者などとしての役割も果たしますOpenAI APIの上で多くのデモや製品がリリースされるのは驚くことではありませんしかし...

画像埋め込みのためのトップ10の事前訓練モデル、データサイエンティストが知っておくべきもの

「コンピュータビジョンの急速な進化– 画像分類のユースケースは、転移学習の台頭によってさらに加速されています大規模な画像データセットを使用してコンピュータビジョンニューラルネットワークモデルを訓練するには、多くの計算リソースと時間が必要です幸いなことに、この時間とリソースは…」

モデルアーキテクチャのための生成AIに向けて

「Attention is All You Need」というトランスフォーマー革命は、深層学習モデルのアーキテクチャの設計に深い影響を与えましたBERTが登場して間もなく、RoBERTa、ALBERT、DistilBERTが続きました...

「KOSMOS-2：Microsoftによるマルチモーダルな大規模言語モデル」

イントロダクション 2023年はAIの年となりました。言語モデルから安定した拡散モデルの強化にSegMind APIを使うまで、AI技術は進化し続けています。その中で、Microsoftが開発したKOSMOS-2が注目を浴びています。これはマイクロソフトによって開発されたマルチモーダルの大規模言語モデル（MLLM）であり、テキストと画像の理解力において画期的な能力を発揮しています。言語モデルを開発することは一つのことですが、ビジョンモデルを作成することは別のことです。しかし、両方の技術を組み合わせたモデルを持つことは、さらなるレベルの人工知能を実現することになります。この記事では、KOSMOS-2の特徴と潜在的な応用について掘り下げ、AIと機械学習への影響を解説します。学習目標 KOSMOS-2のマルチモーダル大規模言語モデルの理解 KOSMOS-2のマルチモーダルグラウンディングと参照表現生成の仕組みの学習 KOSMOS-2の現実世界での応用について洞察を得る KOSMOSを使ったColabでの推論の実行この記事はデータサイエンスブログマラソンの一部として公開されました。 KOSMOS-2モデルの理解 KOSMOS-2はマイクロソフトの研究チームによる研究成果で、そのタイトルは「Kosmos-2: Grounding Multimodal Large Language Models to the World（KOSMOS-2：マルチモーダル大規模言語モデルのグラウンディング）」です。テキストと画像を同時に処理し、マルチモーダルデータとの相互作用を再定義することを目指して設計されたKOSMOS-2は、他の有名なモデルであるLLaMa-2やMistral AIの7bモデルと同様にトランスフォーマーベースの因果言語モデルのアーキテクチャを採用しています。しかし、KOSMOS-2の特徴はその独自のトレーニングプロセスです。特殊なトークンとして画像内のオブジェクトへの参照を含むテキストである、GRITと呼ばれる巨大なデータセットでトレーニングされています。この革新的なアプローチにより、KOSMOS-2はテキストと画像の新たな理解を提供することができます。マルチモーダルグラウンディングとは何ですか？ KOSMOS-2の特徴的な機能の一つは、「マルチモーダルグラウンディング」の能力です。これは、画像のオブジェクトとその位置を記述するイメージキャプションを生成することができるという意味です。これにより、言語モデルにおける「幻覚」の問題を劇的に減少させ、モデルの精度と信頼性を向上させることができます。この概念は、テキストを画像内のオブジェクトに特殊なトークンを通じて接続し、実質的にはオブジェクトを視覚的な文脈に結びつけるというものです。これにより幻覚が減少し、正確なイメージキャプションの生成能力が向上します。…

「ヌガーで科学文書処理を高める」

イントロダクション自然言語処理および人工知能の分野では、科学的なPDFなどの非構造化データソースから価値ある情報を抽出する能力がますます重要になっています。この課題に対処するため、Meta AIは「Nougat」または「Neural Optical Understanding for Academic Documents」と呼ばれる最先端のトランスフォーマーベースのモデルを導入しました。Nougatは、科学的なPDFを一般的なMarkdown形式に転写するために設計されたモデルであり、Lukas Blecher、Guillem Cucurull、Thomas Scialom、Robert Stojnicによって「Nougat: Neural Optical Understanding for Academic Documents」というタイトルの論文で紹介されました。これにより、オプティカル文字認識（OCR）技術の画期的な変革が実現され、NougatはMeta AIの印象的なAIモデルの最新バージョンとなります。この記事では、Nougatの機能を探求し、そのアーキテクチャを理解し、このモデルを使用して科学的なドキュメントを転写する実践的な例を見ていきます。学習目標 Meta AIの最新トランスフォーマーモデルであるNougatを理解する。 Nougatが前任であるDonutを基に開発され、ドキュメントAIに対する最先端アプローチが導入されていることを学ぶ。…

「ULTRA 知識グラフ推論のための基礎モデル」

「任意のデータセットを解決するための単一の一般的なモデルを訓練することは、特に基盤モデルの時代において、機械学習の研究者にとって常に夢でしたこのような夢は知覚の領域で実現されていますが…」

「ナイトシェードの仕組み」

最近の「ナイトシェード」の出現は、混乱させる画像生成AIモデルに対する敵対的攻撃に関する議論に新たな息吹を与えましたナイトシェードは、毒入りデータの作成を可能にするアルゴリズムです

Learn more about Search Results arXiv - Page 5