Search Results Ford

一時的なグラフのベンチマーク (Ichijiteki na gurafu no benchimāku)

最近では、公開データセットや標準化された評価プロトコルの提供により、静的グラフにおける機械学習において重大な進展がなされています

「2023年のトップ8のAIトレンド：年間レビュー」

葉っぱが金色に変わり、12月の寒さが広がる中、人工知能の領域で目覚ましい進歩が見られた今年を振り返る時が来ました。2023年は単なる進歩の年ではありませんでした。それはトライアンフの年であり、AIが成し遂げられる限界が繰り返し押し広げられ、再定義された年でした。LLM（大規模言語モデル）の能力における画期的な進展から、前例のないほど世界とのナビゲーションや相互作用が可能な自律エージェントの登場まで、この年はこの変革的な技術の無限の可能性を示すものでした。この包括的な探求の中で、私たちは2023年のAIを定義した8つの主要なトレンドについて掘り下げ、産業を再構築し、未来を革命化する革新を明らかにしていきます。だから、AI愛好家の皆さん、私たちは技術史の記録に永遠に刻まれる一年についての旅に出発です。 RLHFとDPOの微調整 2023年は、大規模言語モデル（LLM）の能力を向上させるための重要な進展が見られました。2つの主要なアプローチが登場しました：人間のフィードバックに基づく強化学習（RLHF）：この手法は、人間のフィードバックを活用してLLMの学習プロセスをガイドし、持続的な改善と進化するユーザーのニーズや好みに対応させることができます。このインタラクティブなアプローチにより、LLMは複雑または主観的な領域において微妙な理解力と意思決定能力を開発することができます。直接的な選好最適化（DPO）：：DPOはよりシンプルな代替手法であり、明示的な強化信号を必要とせずにユーザーの選好に直接最適化します。このアプローチは効率性とスケーラビリティを重視し、より速い適応と展開を必要とするアプリケーションに最適です。そのすっきりした性格により、ユーザーフィードバックに基づいてLLMの振る舞いを迅速に調整することができ、進化する好みに合わせることができます。 RLHFとDPOはLLMの開発における重要な進展を表していますが、既存の微調整手法を置き換えるのではなく、補完するものです：事前学習：大規模なテキストとコードのデータセットを用いてLLMを訓練し、一般的な言語理解能力を学習させること。微調整：特定のタスクまたはデータセットに基づいてLLMをさらに訓練し、特定のドメインやアプリケーションに適した能力を調整すること。マルチタスク学習：LLMを複数のタスクに同時に訓練することで、共有表現を学習し、各タスクのパフォーマンスを向上させること。 LLMの効率性に対処する LLMの能力が向上するにつれて、計算上の制約とリソースの限界が重要な懸念事項となりました。その結果、2023年の研究はLLMの効率性の向上に焦点を当て、以下のような技術の開発をもたらしました： FlashAttention：この革新的なアテンションメカニズムは、LLMの計算コストを大幅に削減します。これにより、より速い推論と訓練が可能になり、LLMをリソースに制約のある環境でより実用的に利用し、実世界のアプリケーションに統合することができるようになります。 LoRA および QLoRA：LoRAやQLoRAなどの手法は、2023年にも提案された軽量かつ効率的なLLMの微調整方法を提供します。これらの手法は、既存のLLMアーキテクチャに追加された小さなモジュールであるアダプターに依存し、再トレーニングすることなくカスタマイズを可能にします。これにより、著しい効率の向上、より速い展開時間、さまざまなタスクへの適応性の向上が実現されます。これらの進展は、効率的なLLMへの需要の増大に対応し、この強力な技術への広範な導入の道を開き、結果としてこの技術へのアクセスを民主化することにつながります。検索補完生成（RAG）の浸透純LLMは巨大な可能性を秘めていますが、それらの正確性と実証的根拠に関する懸念は依然として存在しています。検索補完生成（RAG）は、既存のデータや知識ベースとLLMを組み合わせることで、これらの懸念に対処する有望な解決策として登場しました。このハイブリッドアプローチにはいくつかの利点があります：エラーの減少：外部情報から事実情報を取り込むことにより、RAGモデルはより正確で信頼性のある出力を生成することができます。拡張性の向上：RAGモデルは純LLMに必要な大規模なトレーニングリソースの必要性を排除し、大規模なデータセットに適用することができます。低コスト：既存の知識リソースを利用することにより、LLMのトレーニングおよび実行に関連する計算コストを削減することができます。これらの利点により、RAGは検索エンジン、チャットボット、コンテンツ生成など、さまざまなアプリケーションにおける貴重なツールとして位置付けられています。自律エージェント…

ヘルスケアの革新：医学における大規模言語モデルの影響と将来の探求

「GoogleのMed-PaLM 2やEPFLのMeditronなどの大規模言語モデルの変革的な影響を探求し、それらの応用、課題、患者ケアと臨床効率向上の潜在能力について検討する」

『データサイエンスをマスターするための5つの超便利シート』

「超便利なチートシートコレクションは、データサイエンス、確率・統計、SQL、機械学習、深層学習の基本的な概念を網羅しています」

Data science

「2024年にデータサイエンティストになるためのトップ10のKaggle機械学習プロジェクト」

「トップ10のKaggle機械学習プロジェクトでマスターデータサイエンスを学び、データサイエンティストになろう」

Machine learning

データサイエンスへのゲートの解除：GATE 2024 in DS＆AIの究極の学習ガイド

イントロダクション Graduate Aptitude Test in Engineering（GATE）は、インドで行われる大学院入学試験です。この試験は主に、工学と科学の学部の内容を総合的に理解できるかをテストします。もし、IIScバンガロールが導入するGATE 2024のデータサイエンスとAIに向けて準備をしているのであれば、正しい場所にいます。この記事は、あなたがこの新しくてエキサイティングなGATEペーパーを進む際の指針となるであろう、学習教材、講義ノート、標準的な参考書などをまとめた宝庫です。準備の基盤となる主要な科目には、確率と統計、線形代数、機械学習、AIなどがあります。これらはただの科目ではありません。これらこそがデータサイエンスとAIの基盤です。私が紹介する情報源は、IIScバンガロールの名声高い教授陣によってテストされ、推奨されたものです。確率と統計：チャンスとデータのゲーム確率と統計においては、挑戦されることを予想しなければなりません。この科目は、CSEのカリキュラムに比べて非常に重要な位置を占めており、追加のトピックが多く含まれています。この難関を乗り越えるためには、正しい参考書を手にする必要があります。私はまず、“A First Course in Probability”（シェルドン・ロス著）から始めることをおすすめします。これは学部レベルでも定番です。これに慣れたら、同じ著者による“Introduction to Probability Models”に進んでください。より高度な知識を求める方には、“Introduction to Probability Theory”（S.C. PortおよびC.J. Stone著）、さらにその後に続く“Introduction to…

アドビの研究者たちは、『DMV3D』という新しい3D生成手法を提案していますこの手法は、トランスフォーマーベースの3D大規模再構築モデルを用いて、マルチビューディフュージョンのノイズを除去します

拡張現実（AR）、仮想現実（VR）、ロボティクス、ゲームにおける3Dアセットの作成には共通の課題が存在します。複雑な3Dアセットの作成プロセスを簡素化する3D拡散モデルの人気が高まっていますが、それには注意が必要です。これらのモデルは、トレーニングのために正確な3Dモデルまたはポイントクラウドへのアクセスが必要であり、実際の画像では課題となる場合があります。さらに、潜在的な3D拡散アプローチは、多様な3Dデータセット上で複雑でノイズの多い潜在空間を生み出すことが多く、高品質なレンダリングが困難な課題となっています。既存の解決策では、多くの手作業や最適化プロセスが要求されることがよくあります。Adobe ResearchとStanfordの研究者チームは、3D生成プロセスをより迅速で現実的かつジェネリックにする取り組みを行っています。最近の論文では、DMV3Dという新しいアプローチが紹介されており、シングルステージのカテゴリー非依存型拡散モデルです。このモデルは、テキストまたは単一の画像入力条件から3Dニューラルラディアンスフィールド（NeRFs）を生成することができ、3Dオブジェクトを作成するのに必要な時間を大幅に短縮します。 DMV3Dの重要な貢献は、3D生成のためのマルチビュー2D画像拡散モデルを使用した画期的なシングルステージ拡散フレームワークです。彼らはまた、ノイズのないトライプレーンNeRFsをノイズの多いマルチビュー画像から再構築するマルチビューデノイザであるLarge Reconstruction Model（LRM）を導入しました。このモデルは、高品質なテキストから3D生成と単一画像再構築をするための一般的な確率的アプローチを提供し、シングルのA100 GPUでわずか30秒程度の直接モデル推論を実現します。 DMV3Dは、3D NeRFの再構築とレンダリングをデノイザに統合し、直接3D監視をせずに学習された2Dマルチビュー画像拡散モデルを作成します。これにより、潜在空間の拡散およびパーツごとの最適化プロセスに別個の3D NeRFエンコーダを個別にトレーニングする必要がなくなります。研究者たちは、オブジェクトを囲む4つのマルチビュー画像の疎なセットを戦略的に使用し、自己遮蔽の重要性を排除しながら3Dオブジェクトを効果的に表現しています。大規模なトランスフォーマーモデルを活用することで、研究者たちは疎なビューの3D再構築という困難な課題に取り組んでいます。最新の3D Large Reconstruction Model（LRM）を基に構築されたこのモデルは、拡散プロセスのさまざまなノイズレベルに対応できる革新的なジョイント再構築およびデノイズモデルを導入しています。このモデルは、マルチビュー画像拡散フレームワーク内のマルチビュー画像デノイザとして統合されます。合成レンダリングと実際のキャプチャを含む大規模なデータセットでトレーニングされたDMV3Dは、シングルのA100 GPUで約30秒でシングルステージ3Dを生成する能力を示しています。また、単一画像による3D再構築でも最先端の結果を達成しています。この研究は、2Dと3Dの生成モデルの領域を結びつけ、3D再構築と生成を統一することで、3Dビジョンとグラフィックスのさまざまな課題に取り組むための基盤モデルの開発の可能性を提供します。

VoAGIニュース、12月6日：機械学習をマスターするためのGitHubリポジトリ•データエンジニアリングをマスターするための5つの無料コース

今週のVoAGIでは、機械学習コース、ブートキャンプ、書籍、ツール、インタビューの質問、チートシート、MLOpsプラットフォームなどから、MLをマスターし夢の仕事を得るためのGitHubのリポジトリを発見しますデータエンジニアは、データ駆動の全体的なデータワークフローのために必要なインフラストラクチャとツールを準備・管理する必要があります...

NEWS

「プロダクションに適したRAGアプリケーションの12のチューニング戦略ガイド」

「実稼働のための検索増強生成（RAG）アプリケーションのパフォーマンス向上に調整できる戦略とパラメータ」

パフォーマンスの向上と最適化されたリソース使用のためのダイナミックなLoRAローディング

私たちは、拡散モデルに基づくLoRAのハブ内の推論速度を大幅に高速化することができました。これにより、計算リソースを節約し、より良いユーザーエクスペリエンスを提供することができました。モデルへの推論を行うには、2つのステップがあります：ウォームアップフェーズ – モデルのダウンロードとサービスのセットアップ（25秒）。推論ジョブ自体（10秒）。これらの改善により、ウォームアップ時間を25秒から3秒に短縮することができました。数百の異なるLoRAに対する推論を、たった5つのA10G GPU以下で提供することができます。さらに、ユーザーリクエストへの応答時間は35秒から13秒に短縮されました。一つのサービスで多くの異なるLoRAを動的に提供するために、Diffusersライブラリで開発された最近の機能を活用する方法についてもっと話しましょう。 LoRA LoRAは「パラメータ効率」（PEFT）メソッドの一環である、微調整技術です。このメソッドは、微調整プロセスによって影響を受けるトレーニング可能なパラメータの数を減らすことを試みます。微調整の速度を高めながら、微調整済みチェックポイントのサイズを減らすことができます。モデルの全ての重みに微小な変更を行うことによってモデルを微調整する代わりに、ほとんどの層を固定し、注意ブロック内の特定の一部の層のみをトレーニングします。さらに、これらの層のパラメータに触れず、二つの小さな行列の積を元の重みに加えることで、これらの層のパラメータを更新します。これらの小さな行列は微調整プロセス中に更新され、ディスクに保存されます。これにより、元のモデルのパラメータはすべて保存され、適応方法を使用してLoRAの重みを上にロードすることができます。 LoRA（Low Rank Adaptation）という名前は、先ほど言及した小さな行列から来ています。このメソッドについての詳細は、この記事または元の論文をご覧ください。上記の図は、LoRAアダプタの一部として保存される二つの小さなオレンジ色の行列を示しています。後でこれらのLoRAアダプタをロードし、青いベースモデルと結合して黄色の微調整モデルを取得することができます。重要なことは、アダプタをアンロードすることも可能なので、いつでも元のベースモデルに戻すことができるということです。言い換えると、LoRAアダプタは、必要に応じて追加および削除が可能なベースモデルのアドオンのようなものです。AとBの小さなランクのため、モデルサイズと比較して非常に軽量です。したがって、ロード時間は全体のベースモデルをロードするよりもはるかに高速です。例えば、多くのLoRAアダプタのベースモデルとして広く使用されているStable Diffusion XL Base 1.0モデルリポジトリを見ると、そのサイズは約7 GBです。しかし、このモデルのような典型的なLoRAアダプタは、わずか24 MBのスペースしか使用しません！…

Learn more about Search Results Ford - Page 3