Search Results 3

トゥギャザーエーアイは、トレーニング用の大規模な言語モデルに向けた30兆トークンを持つオープンデータセット、RedPajama v2をリリースしました

高品質なデータは、Llama、Mistral、Falcon、MPT、およびRedPajamaモデルなどの最先端のオープンLLMの成功には不可欠です。ただし、HTMLからプレーンテキストへの変換による異常、一般的に低品質なソース、およびウェブ上でのコンテンツの拡散に固有のバイアスにより、このデータは洗練されておらず、LLMトレーニングに直接使用するには理想的ではありません。正しいデータセットとデータの組み合わせを収集することは、多くの時間、リソース、およびお金を要する骨の折れる作業です。C4、RedPajama-1T、Refinedweb（Falcon）、Dolma（AI2）、SlimPajamaなど、いくつかのコミュニティプロジェクトがこの取り組みを支えてきましたが、これらの多くはCommonCrawlの一部のクロールしかカバーしておらず、データフィルタリングの非常に狭い方法しか提供していません。 Together.aiの研究者たちは、今年3月にRedPajama-1Tという5TBのデータセットをリリースしました。このデータセットは190,000倍以上使用され、創造的な方法で使用されています。1兆個の高品質な英語のトークンを備えたRedPajama-1Tは、始まりにすぎませんでした。研究者たちはさらに一歩進んで、RedPajama-V2をリリースしました。これは巨大な30兆個のトークンのオンラインデータセットであり、学習ベースの機械学習システムに特化した最大の公開データセットです。チームは、RedPajama-Data-v2がLLMトレーニングのための高品質データセットの抽出の基盤と、LLMトレーニングデータへの深い研究の基盤を提供すると考えています。彼らはそのCommonCrawlのカバレッジ（84個の処理済みダンプ）が比類のないものであると主張しています。さらに重要なことに、彼らは40以上の品質注釈を含んでおり、データの品質に関する複数の機械学習分類器の結果、ファジーな重複削除またはヒューリスティクスに使用できるminhashの結果も含まれています。LLM開発者は、これらの注釈を使用して、公開されているデータをスライスしてフィルタリングし、独自の事前トレーニングデータセットを迅速かつ簡単に生成することができます。 RedPajama-V2の主眼はCommonCrawlです。RedPajama-V2は、84のCommonCrawlのクロールと他の公開されているウェブデータを使用して構築されています。このデータセットには、生のデータ（プレーンテキスト）、40以上の高品質な注釈、および重複削除クラスタが含まれています。このデータセットを組み立てるための最初のステップとして、各CommonCrawlスナップショットはCCNetパイプラインによって処理されます。このパイプラインは、データをできるだけ生の形式で保持し、パイプライン内のモデルビルダがフィルタリングや再重み付けを行うという大まかなアイデアによく合っています。このバージョンでは、CCNetの言語フィルタを使用して、英語、フランス語、スペイン語、ドイツ語、イタリア語のみを含めました。この処理の段階では、合計で1,000億件のテキストページが生成されます。研究者たちは、「head」と「middle」のバケツの40以上の人気のある品質注釈とCCNetによって処理されたテキストドキュメントを計算しています。これらの注釈の主な目的は、最適な使用方法の調査を促進し、下流で作業するモデル開発者がデータセットを自分の基準に応じてフィルタリングまたは再重み付けできるようにすることです。また、コミュニティの支援により、将来的により多くの高品質なシグナルを追加することを期待しています。ミンハッシュのシグネチャに加えて、チームはドキュメントのsha1ハッシュダイジェストにBloomフィルタを適用することで正確な重複削除も行っています。これらは別個の品質注釈ファイルとして保持され、元の非重複の分布を復元することでこのアプローチの研究を容易にします。 RedPajama-v2には、英語、ドイツ語、フランス語、スペイン語、イタリア語の1130億ドキュメントが含まれており、これは84のCommonCrawlクロールの処理の結果です。テールパーティションには推定80億件のドキュメントが保持されており、ヘッドとミドルパーティションのドキュメント数とトークン数は重複削除の前後で決定されます。トークン数は60％減少しますが、ドキュメント数は71％減少します。これは、テールの論文は通常短いものです。 Bloomフィルタを使用してヘッド+ミドルドキュメントを重複削除した結果、データセットは約40％削減されました。テキストドキュメントは、品質注釈と重複削除クラスタを含むデータセットの大部分を提供しています。レイアウトは、CCNetで指定されたものと非常に似ています。具体的には、各CommonCrawlスナップショットのページは5,000のシャードに分割され、キーにはシャード、言語、およびパープレキシティバケツ（パーティション）が示されます。チームは今後、広く利用されているLLMのベンチマークと比較した汚染アノテーション、各ドキュメントに対するトピックモデリングと分類アノテーション、そしてコミュニティの興味を引く追加のアノテーションなどを含めるため、現在の高品質なアノテーションのセットを拡大することを望んでいます。

データロボットとAWS Hackathon 2023でGenAI CVスクリーナーを構築する

この記事は、DataRobot＆AWS Hackathon 2023で第3位を獲得した音声AI履歴書スクリーナーの解決策について述べていますソリューションの設計には、DataRobotとAWS Bedrockが必要です...

「DALL-E 3とChatGPTを使って、私が一貫したキャラクターを作り出す方法」

このイントロダクションは個人的なものになるので、技術ガイドだけを求めている場合は飛ばしてくださいしかし、私の問題はここにあります：私はひどいデザイナーですイラストを作ることができません私は描いたり絵を描いたりします...

トップAIメールアシスタント（2023年11月）

人工知能の電子メールアシスタントは、電子メールの作成をより早く簡単にすることができます。自動タスク完了、メッセージの優先順位付け、そして即座で洞察に満ちた回答は、AIメールアシスタントがインボックスの管理の負担を軽減する方法です。結果として、ユーザーは最も緊急のメールに注力し、より少ない時間でより多くを成し遂げることができます。AIによって動作する自動化されたメールヘルパーは、あなたの代わりにメッセージを書いて送信することもできます。多くの分野の人々、例えば忙しいオフィスワーカーや会社のオーナー、個人所有者や学生など、人工知能とメールヘルパーを使用しています。AIメールアシスタントは、スケジュールがいっぱいのプロフェッショナルがインボックスの管理に上手く取り組むための素晴らしいツールです。AIメールアシスタントは起業家や会社のオーナーにとって時間と労力を節約するツールです。AIメールアシスタントを使用することは、学生が組織化され、教授と連絡を取るための素晴らしい方法です。この記事では、人気のあるAIメールアシスタントを比較します。 SaneBox SaneBoxのAIは重要なメールを特定し、他のメールを自動的に整理して焦点を合わせるための支援をします。SaneBoxは、賢明なAIアルゴリズムを利用して、メールの振る舞いを分析します。過去の相互作用から学び、重要なメールを特定し、重要でないメッセージを別のフォルダに移動し、ニュースレターやソーシャルメディアの通知を別のフォルダに集約します。要するに、カオスを秩序に変え、デジタルなやり取りを効率化します。 InboxPro AIと強力な自動化ツールを使って、Gmailの生産性を向上させましょう。InboxProは、セールスを増やし、カスタマーサポートを向上させるためのオールインワンソリューションです。 Lavender Lavenderは、既に数千の小売業者が利用しており、顧客へのメールへの返信の品質と速度を向上させています。Lavenderは広告代理店ではなく、プライベートなものです。クッキーのおかげで、ウェブサイトの基本的な機能、安全なログインやカスタムの同意設定などが可能です。ソーシャルメディアの共有機能やフィードバックの収集、他のサードパーティの統合などは、機能的なクッキーに依存して正しく機能します。分析クッキーは、訪問回数、跳ね返り率、トラフィックソースなどの変数に関するデータを収集し、ウェブサイトのユーザーの行動を把握するために使用されます。 Missive Missiveは、チームをうまく組織するためのさまざまな便利なツールを持つインテリジェントなメールヘルパーです。最近、OpenAIのGPT技術を組み込むことが可能になりました。これにより、Missiveはアプリを離れることなくメッセージを翻訳したり、電子メールのトーンを変更したりすることができます。ユーザーはプロンプトを使用してAIコードを自分の要件に合わせてカスタマイズすることもできます。顧客とのコンタクトの品質を向上させることは、この統合の主な目標であり、会社固有のデータをAIに与えることで適切な返答を提供する能力を向上させています。 Superflows Superflowsは、1クリックでアクセスできる事前に作成された文脈に関連した応答を提供することで、顧客がより早くインボックスに取り組めるように支援するAIパワードのメールヘルパーです。着信メールへの賢明な応答には、カレンダーリンクや他の関連情報が含まれています。これにより、ユーザーは他のソースからデータをコピー＆ペーストすることなく迅速にメールに対応することができます。 Superhuman Superhumanの直感的で素早いインターフェースは、キーボードショートカットや強力な検索機能など、多くの時間を節約できる機能によるものです。Superhumanの革新的なAIパワードのインボックスの整理機能は、忙しいプロフェッショナルにとって画期的なものです。そのAIエンジンは、ユーザーにとって最も重要なメッセージを学習し、インボックスの前面に表示することを優先します。同社はまた、各ユーザーがSuperhumanとの時間を最大限に活用することを保証するために個別のコーチングとトレーニングも提供しています。 Scribbly メールにはさまざまな方法で返信することができ、ユーザーは最適な選択肢を選ぶためにより自由度を持つことができます。Scribblyは、メールの文脈に基づいて関連する素材を提案することで、忙しいプロフェッショナルが時間を節約し、効果的にコミュニケーションを行うのを支援するAIパワードのメールアシスタントです。Scribblyのメール作成機能では、ユーザーはメールアシスタントにメールを代わりに書くための情報を提供するか、メールに返信する方法を最も象徴的に表す意図を選ぶことができます。 Tugan Tuganは、企業が情報を提供したURLやトピックに基づいて、会社が使用することのできるAIベースのメールアシスタントです。TuganはAIを使用して、会社の特定の興味とニーズに合わせてカスタマイズされたメールを生成します。受信者は、最も気に入ったメッセージを選んで送信することができます。時間の制約のあるプロフェッショナル、作家、コンテンツプロデューサーは、このメールヘルパーを最も活用するでしょう。Tuganは他の市場に比べてベータ版であり、お気に入りのビジネスの達人のようなメールの生成とFacebookやYouTubeへの広告テキストの制作が可能です。 AI Mailer AI Mailerは、企業やプロフェッショナルが高品質でターゲットに合わせたメールを簡単に送信できるようにするツールです。GPTとNLPの技術を使用して、顧客のメールにカスタマイズされたタイムリーな返信を生成し、コンテキストに応じたコンテンツを開発します。柔軟なインターフェースと複数の言語に対応しているため、学生やプロフェッショナルはメールコミュニケーションを向上させるために使用することができ、カスタマーサービスチームは返信のスピードアップと顧客対応のカスタマイズに使用することができます。 Nanonets…

「KaggleのAIレポート2023で未来にダイブしよう – ホットなトレンドをチェックしよう」

「AIの世界について学んだことについて、世界最大のデータサイエンスと機械学習コミュニティに飛び込んでください」

Artificial Intelligence

マシンラーニングの革命：光フォトニックアクセラレータでの3D処理の活用による高度な並列処理とエッジコンピューティングの互換性の実現

技術の進歩と機械学習の台頭により、データのボリュームは増加しています。世界のデータ生産は2020年には64.2ゼタバイトに達し、2025年までに181.0ゼタバイトに達すると予想されています。物理科学、コンピュータ科学、医学科学、音声認識、コンピュータビジョン、自然言語処理などは、この技術が大きな応用を持つ分野です。大規模なデータセットはハードウェアシステムに著しい計算要求を課します。現代のAIジョブに必要な処理能力が現在倍増する速度は非常に速く、平均して3.5ヶ月ごとに起こっています。この拡大に追いつくためには、ハードウェア容量を3.5ヶ月ごとに4倍する必要があります。このような技術が処理できるデータの次元性を向上させることが提案されています。2次元データを処理するために空間と波長の多重化が使用されてきましたが、3次元処理のハードウェア実装が必要です。そのため、オックスフォード大学、ミュンスター大学、ハイデルベルク大学、エクセター大学の研究者が、3次元（3D）データを処理するための光電子ハードウェアを開発しました。このブレークスルーにより、人工知能（AI）活動のデータ処理の並列性が大幅に改善されました。研究者は、光通信の並列化を増加させるために、無線周波数変調を使用し、データにさらなるレイヤーを追加しました。これは、波長多重化を利用し、空間に広がる非揮発性メモリを組み込むことで実現できました。空間と波長の変動だけを利用する手法と比較して、科学者たちはこのシステムで良好な並列性を達成し、100を達成し2つの次元を改善しました。研究チームは、多次元処理により、光フォトニックマトリックスベクトル乗算チップの処理能力をさらに向上させました。データを符号化するために多くの無線周波数を使用するこの改善は、高次元処理として知られ、これまでの成果を超えるレベルの並列性をもたらします。研究チームは、革新的なギアを使用して実世界の設定で心臓病患者の急死のリスクを検査することで、心電図で急死の可能性を93.5％の成功率で正しく特定することに成功しました。同時に100の心電図を分析しました。研究者はまた、このアプローチが最新の電子プロセッサを上回る可能性があると主張しました。入力と出力がわずかに増加しても、このスケーラビリティは計算密度とエネルギー効率の大幅な100倍の向上につながる可能性があります。

「ダレ恵３の翻訳に迷い込んで」

しかし、最近のメディアの報道と研究によれば、これらのAIモデルにはバイアスやステレオタイプの問題が付いてきます例えば、Stable DiffusionやMidjourneyなどのAI画像生成モデルは…

中国からのニューエーアイ研究は、GLM-130Bを紹介しますこれは、13兆のパラメータを持つバイリンガル（英語と中国語）のプリトレーニング言語モデルです

最近、大規模言語モデル（LLM）のゼロショットおよびフューショットの能力は大幅に向上し、100Bパラメータ以上を持つモデルは、さまざまなベンチマークで最先端のパフォーマンスを実現しています。このような進展はLLMにとって重要な課題も提起しており、透明性の問題があります。一般の人々にはこれらの大規模モデルとそのトレーニングプロセスに関するごくわずかな知識しか提供されておらず、この情報を公開することは、このスケールの高品質LLMのトレーニングを容易にするでしょう。清華大学と智匯AIの研究者グループは、130Bパラメータを持つオープンソースのバイリンガル（英語と中国語）のプリトレーニング言語モデルであるGLM-130Bを公開しました。この論文の研究者たちは、100BパラメータのGPT-3に匹敵するモデルをオープンソース化するために、モデルのトレーニングプロセスおよびその最適化方法を示しています。また、研究者たちは、トレーニングプロセスの成功と失敗の両側面を共有しています。 GLM-130Bは、基本として双方向の一般言語モデル（GLM）を使用しています。このアーキテクチャは、GPTスタイルのモデルと比較してコンテキストの理解を向上させるために、自己回帰的なブランク埋め込みをトレーニング目的としています。GLM-130Bは、LAMBADAのゼロショットで80.2%の正答率を達成することで、GPT-3とPaLM 540Bの両方を上回るパフォーマンスを発揮することができます。本論文の著者たちは、GLM-130Bのトレーニングプロセスを安定化させるために、さまざまなレイヤーノーマライゼーション（LN）テクニックを試しました。プレLN、ポストLN、サンドイッチLNなどの既存の手法は効果がありませんでしたが、DeepNormで初期化されたポストLNは有望な結果を示しました。モデルのプレトレーニングデータは、オンラインフォーラム、百科辞典などから抽出された2TB以上の英語と中国語のテキストコーパスからなるバランスの取れたデータセットです。先ほど述べたように、GLM-130BはLAMBADAデータセットで記録的な精度を達成しています。言語モデリングの一連のベンチマークであるPileテストセットでは、GLMモデルのパフォーマンスはGPT-3とJurassic-1と同等でした。また、モデルはMMLUベンチマークでも優れたパフォーマンスを発揮し、そのフューショットのパフォーマンスはGPT-3と同等です。さらに、BIG-benchベンチマークでは、GLM-130Bがゼロショット設定でGPT-3とPaLMを上回ることができました。モデルは重要なパフォーマンスを示しましたが、研究者たちは、フューショットサンプルに対する成長がGPT-3ほど大きくないことに気付きました。モデルの双方向性や、パラムと品質の面でPaLMと同等のデータセットの制約など、複数の理由があると仮説を立てています。研究者たちはまた、モデルのゼロショットパフォーマンスを中国のベンチマークでテストしました。GLM-130BはERNIE Titan 3.0を超える10以上のタスクでのパフォーマンスだけでなく、要約MRCの2つのデータセットでも少なくとも260%以上の改善を実現しました。これは、GLMのプレトレーニング目標が、要約MRCに類似した自己回帰的なブランク埋め込みを含んでいるためかもしれません。まとめると、GLM-130Bは強力なオープンソースのバイリンガルプリトレーニング言語モデルであり、さまざまなベンチマークでGPT-3およびPaLMと同等のパフォーマンスを発揮し、一部のタスクではそれを上回る性能を持っています。そのパフォーマンスに加えて、このモデルの特徴はその開発の透明性です。研究者たちは、モデルのトレーニングプロセスを公にし、成功と失敗の経験も共有しています。このアプローチは、LLMの分野でのオープンかつ包括的な研究への取り組みを反映しています。

テンセントAIラボは、進行的条件拡散モデル（PCDM）を紹介しましたこれにより、3つのステージを経て、ターゲットおよびソースのポーズ下のパーソンイメージ間のギャップを徐々に縮めます

ポーズガイドの人物画像合成の研究では、同じ外観を持つ人物の画像を異なるポーズで生成することに重点を置き、近年、大きな進歩が見られています。この技術は、電子商取引のコンテンツ生成において広範な応用があり、人物再識別などの下流のタスクの改善にも役立ちます。しかし、ソースとターゲットのポーズの不一致によるいくつかの課題があります。研究者たちは、ポーズガイドの人物画像合成の課題を解決するために、さまざまなGANベース、VAEベース、フローベースの手法を試みてきました。GANベースのアプローチは、安定したトレーニングを必要とし、非現実的な結果を生み出す場合があります。VAEベースの手法は、詳細をぼかしたり、ポーズを誤って配置する場合があります。一方、フローベースのモデルはアーティファクトを導入する可能性があります。一部の手法では解析マップを使用していますが、スタイルやテクスチャに苦労することがあります。拡散モデルは有望ですが、改善された結果のためにはポーズの不一致に関連する課題を解決する必要があります。これらの課題に取り組むために、最近公開された論文ではProgressive Conditional Diffusion Models（PCDMs）が紹介されており、高品質な画像を段階的に生成することができます。予測、密な対応の確立、およびテクスチャと詳細の整合性を向上させるための画像の改善の3つの段階を経て、高品質な画像を生成します。提案された手法は、ポーズガイドの人物画像合成の中で重要な貢献を提供します。ソースの画像の外観とターゲットのポーズの座標の整合性を明らかにすることで、単純な事前条件の拡散モデルを導入し、グローバルなターゲット画像特徴を生成します。画像の不整合を整列させる画期的なインペイント条件付き拡散モデルは、ソースとターゲットの画像とそれぞれのポーズが画像、ポーズ、特徴の複数のレベルで整列するようにします。さらに、改善条件付き拡散モデルによって画像の品質と忠実度が向上します。 PCDMは、全体の画像合成プロセスに貢献する3つのキーステージで構成されています： 1) 事前条件付き拡散モデル：最初のステージでは、モデルがポーズ座標と画像の外観の整合関係を活用して、ターゲット画像のグローバルな特徴を予測します。モデルは、ソースとターゲットの画像とソース画像のポーズに応じたトランスフォーマーネットワークを使用します。CLIPイメージエンコーダから得られたグローバル画像埋め込みは、ターゲット画像の合成をガイドします。このステージの損失関数は、モデルがノイズのない画像埋め込みを直接予測するように促します。このステージは、特徴レベルでソースとターゲットの画像間のギャップを埋める役割を果たします。 2) インペイント条件付き拡散モデル：インペイント条件付き拡散モデルは、2番目のステージで導入されます。前のステージで得られたグローバルな特徴を利用して、ソースとターゲットの画像間の密な対応を確立し、不整合のある画像から画像への生成タスクを整列させます。このステージでは、画像、ポーズ、特徴を含む複数のレベルでソースとターゲットの画像およびそれぞれのポーズが整列することを保証します。これは、ソースとターゲットの画像間の整列を改善し、現実的な結果を生成するために重要です。 3) 修正条件付き拡散モデル：前の段階で予備的な粗いターゲット画像を生成した後、修正条件付き拡散モデルが画像の品質と詳細のテクスチャを向上させます。このステージでは、前段階で生成された粗い画像を条件として使用して、画像の忠実度とテクスチャの整合性をさらに向上させます。このステージでは、最初の畳み込み層を修正し、ソース画像から特徴を抽出するために画像エンコーダを使用します。クロスアテンションメカニズムは、ネットワークにテクスチャ特徴を注入し、テクスチャの修復と詳細の強化を行います。この手法は、一連の公開データセットによる包括的な実験によって検証され、定量的なメトリック（SSIM、LPIPS、FID）を介して競争力のあるパフォーマンスを発揮します。ユーザースタディは、メソッドの有効性を更に検証しました。割愛研究は、PCDMsの個々のステージの影響を調査し、その重要性を明らかにしました。最後に、PCDMの人物再識別への適用可能性が示され、ベースライン手法と比較して改善された再識別パフォーマンスを示しました。まとめると、PCDMはポーズガイドの人物画像合成における顕著な飛躍を示しています。マルチステージアプローチを使用することで、PCDMは整列とポーズの整合性の問題に効果的に対処し、高品質で現実的な画像を生成します。実験は、パフォーマンスの優れた定量的なメトリクスとユーザースタディによるその優れたパフォーマンスを示し、人物再識別タスクへの適用可能性はその実用的な有用性をさらに強調しています。PCDMは、ポーズガイド画像合成のフィールドを進歩させる幅広い応用のための有望な解決策です。

「ジュニアデータサイエンティストのための3つのキャリアの重要な決断」

データサイエンスはまだ比較的新しい分野ですので、10年後の自分のキャリアがどのようになるのかわかりにくいかもしれません『Kaggle』の調査によれば、データサイエンスで働いている人々は...

Learn more about Search Results 3 - Page 16