Search Results こちらをご覧ください

オレゴン大学とアドビの研究者がCulturaXを紹介します：大規模言語モデル（LLM）の開発に適した167の言語で6.3Tのトークンを持つ多言語データセット

大規模言語モデル（LLM）は、幅広いタスクで最先端のパフォーマンスを劇的に向上させ、新たな新興スキルを明らかにすることにより、NLPの研究と応用に大きな影響を与えています。入力テキストを表現ベクトルにエンコードするためには、エンコーダのみモデルが調査されてきました。テキストを生成するためには、デコーダのみモデルが研究されてきました。また、シーケンスからシーケンスへの生成を実現するためには、エンコーダ・デコーダモデルが研究されてきました。最大のパフォーマンスを実現するために必要なモデルサイズとトレーニングデータセットの指数関数的な成長は、LLMの驚異的な能力の主要な要因となっています。例えば、BERTモデルは数億パラメータしか含まれていませんでしたが、最新のGPTベースのモデルでは数千億パラメータを含むようになりました。巨大なモデルサイズと膨大なトレーニングデータセットは、驚異的な学習能力を持つ大規模言語モデル（LLM）の進歩の主要な要素です。NLPの発展に伴い、一般の人々がさらなる研究と実用のためにLLMを利用できるようになってきました。ただし、これらのLLMのためのトレーニングデータセットは通常部分的にしか提供されておらず、特に最新の最先端モデルに対してはさらにその傾向が強いです。LLMのための高品質なトレーニングデータを作成するには、広範なデータのクリーニングと重複排除が必要です。このため、トレーニングデータに関するより多くのオープンさが求められることで、ホールシネーションやバイアスの研究の結果の再現や進展が妨げられています。これらの困難は、多言語学習のシナリオでは通常、十分な多言語テキストコレクションの収集とクリーニングが行われていないことによりさらに複雑化します。その結果、言語によるLLMのトレーニングに使用できる良質なオープンソースのデータセットは存在しません。この問題を解決するために、オレゴン大学とアドビリサーチの学術研究者の共同作業によって、6.3兆トークン、167ヶ国語で構成される巨大な多言語データセット「CulturaX」が開発されました。モデルトレーニングの最高品質を確保するために、データセットは厳格なパイプラインを通じてクリーニングと重複排除の数多くのステップを経ています。これらのプロセスには、データセット内の言語の特定、URLを使用したデータセットのフィルタリング、メトリクスを使用したデータセットのクリーニング、ドキュメントの改善、データの重複排除が含まれます。 CulturaXは、言語ごとに高品質なトレーニングLLM用に徹底的にクリーニングと重複排除が行われた、最大のオープンソースの多言語データセットです。主な特徴 CulturaXは、LLMとNLPの応用に徹底的にクリーニングと重複排除が行われた、今までで最も大規模なオープンソースの多言語データセットです。 CulturaXは、多言語のオープンソースで大規模なデータセットを提供し、即座に使用可能な高品質なデータを提供することで、現在のデータセットに関連する多くの問題を解決します。多言語のオープンソースのテキストデータが含まれるmC4などのデータセットは存在しますが、その品質とスケールは、特にGPTなどの生成モデルに効率的にLLMをトレーニングするための要件を満たしていません。例えば、前述のように、mC4やOSCARはドキュメントレベルの曖昧な重複排除を提供していません。mC4の言語認識にはcld3の結果が劣っており、これも欠点です。CC100には2018年以降のデータが含まれていますが、BigScience ROOTSは46ヶ国語のデータのサンプリングのみを提供しています。 HuggingFaceのCulturaXの完全な公開リリースは、多言語のLLMとその応用の研究をさらに進めるのに役立ちます。詳細はこちらをご覧ください：https://huggingface.co/datasets/uonlp/CulturaX 167言語のテキストデータを持つ新しい多言語データセットCulturaXをぜひご覧ください。このデータセットは徹底的なワークフローによってクリーニングされ、重複が削除された結果、6.3兆トークンが含まれています。巨大で高品質なデータセットであるCulturaXは、さまざまな言語で効果的なLLMを容易にトレーニングするために活用することができます。この情報は一般に無料で利用でき、研究者たちはさらなる言語習得の研究と実用的な応用の促進に役立つことを願っています。

「自然言語処理の解説：自然言語処理の基礎と技術を初心者向けに紹介するガイド」

自然言語処理（NLP）は、機械学習の中でも非常に興味深い分野であり、機械に人間の言語を理解・解釈・理解・生成する能力を与えます基本的には…

LLMの出力解析：関数呼び出し対言語チェーン

「LLMを使用したツールの作成には、ベクトルデータベース、チェーン、エージェント、ドキュメント分割ツールなど、複数のコンポーネントが必要ですしかし、最も重要なコンポーネントの1つはLLMです…」

「PCでAIを実行する？GeForceユーザーは先んじています」

AIが広大なデータセンターやエリート研究者の領域だった日々は終わりました。 GeForce RTXユーザーにとって、AIは今ではあなたのPC上で実行されています。それは個人的であり、すべてのキーストローク、フレーム、瞬間を向上させます。ゲーマーは既に300以上のRTXゲームでAIの恩恵を受けています。一方、コンテンツクリエイターは100以上のRTXクリエイティブおよびデザインアプリにアクセスでき、AIによるビデオ編集、写真編集、アセット生成など、あらゆる面で向上させることができます。そして、GeForce愛好家にとって、これは始まりに過ぎません。RTXは今日のプラットフォームであり、明日のAIのエンジンとなる加速器です。 AIとゲーミングの融合はどのように実現されましたか？ NVIDIAはAIとゲーミングの統合をDLSSで先駆けました。これはAIを使用してビデオゲームのピクセルを自動生成する技術であり、フレームレートを最大4倍に向上させました。そして、最近のDLSS 3.5の導入により、NVIDIAは世界のトップタイトルの視覚的品質を向上させ、より豊かで没入感のあるゲームプレイの新基準を打ち立てました。 NVIDIAのAI統合はここで終わりません。RTX Remixなどのツールは、高品質なテクスチャやAIによって生成された素材を使用して、ゲームモッダーがクラシックなコンテンツをリマスターすることを可能にします。 NVIDIA ACE for Gamesにより、AIの力を借りたアバターがPC上で生き生きと動き出し、没入型ゲームの新時代が訪れます。 RTXとAIはクリエイターをどのように支えていますか？クリエイターはAIを使用して新しいコンセプトを想像し、退屈な作業を自動化し、見事な芸術作品を作り出します。彼らはRTXに頼っています。なぜなら、RTXは世界で最も人気のある写真編集、ビデオ編集、放送、3Dなど、トップのクリエイターアプリケーションを加速するからです。現在、100以上のRTXアプリがAIに対応しており、クリエイターはより多くの作業をこなし、信じられない結果を提供することができます。そのパフォーマンス指標は驚くべきものです。 RTX GPUは、競合するプロセッサと比較して、Stable DiffusionなどのツールでAI画像生成のスピードを最大で4.5倍高速化させます。一方、3Dレンダリングでは、Blenderのスピードが5.4倍に向上します。 AIの力により、DaVinci Resolveでのビデオ編集のスピードが2倍になり、Adobe…

「人物再識別入門」

「人物再識別」は、異なる非重複カメラビューに現れる個人を識別するプロセスですこのプロセスは、顔認識に頼らずに、服装を考慮します...

「Retrieval Augmented GenerationとLangChain Agentsを使用して、内部情報へのアクセスを簡素化する」

この投稿では、顧客が内部文書を検索する際に直面する最も一般的な課題について説明し、AWSサービスを使用して内部情報をより有用にするための生成型AI対話ボットを作成するための具体的なガイダンスを提供します組織内に存在するデータのうち、非構造化データが全体の80％を占めています[...]

「AI規制、キャピトルヒルで初歩的な進展を見せる」

「その会議は、AIの立法に関する忙しい1週間の中で行われました」

「AIによる生成写真を用いた文学作品における信憑性のあるキャラクターの創造」

「空白のページを見つめながら、キャラクターに命を吹き込むことに苦労したことはありませんか？ AIが生成した写真を視覚化し、執筆にリアリティを与えるツールがあると想像してみてくださいAIが生成した写真を使って、文学作品の信憑性のあるキャラクターを作り上げる方法について詳しく説明します詳細はこちらをご覧ください」

Tech

MetaGPT 現在利用可能な最高のAIエージェントの完全ガイド

「なぜMetaGPTがAutoGPTやBabyAgiなどの他のAIエージェントよりも複雑なコーディングタスクで優れているのかを発見してください詳細な記事でセットアッププロセスを案内し、具体的な例を提供します1行のプロンプトでGPTを搭載したマイクロアプリを構築してください」

「Azure OpenAIを使用して、会社独自の安全でプライベートなChatGPTを展開しましょう」

「今ごろになって、おそらくChatGPTで機密の会社データを使用するのはあまり良い考えではないことに気付いているかもしれません会社の商業秘密や知的財産の漏洩の可能性は、技術界でも大きな懸念です...」

Learn more about Search Results こちらをご覧ください - Page 6