Search Results GitHub

AMD + 🤗 AMD GPUでの大規模言語モデルの即戦力アクセラレーション

今年早些时候，AMD和Hugging Face宣布合作伙伴关系在AMD的AI Day活动期间加速AI模型。我们一直在努力实现这一愿景，并使Hugging Face社区能够在AMD硬件上运行最新的AI模型，并获得最佳性能。 AMD正在为全球一些最强大的超级计算机提供动力，其中包括欧洲最快的超级计算机LUMI，该计算机拥有超过10,000个MI250X AMD GPUs。在这次活动中，AMD公布了他们最新一代的服务器级GPU，AMD Instinct™ MI300系列加速器，很快将正式推出。在本博客文章中，我们将提供关于在AMD GPUs上提供良好开箱即用支持以及改进与最新服务器级别的AMD Instinct GPUs互操作性的进展报告。开箱即用加速你能在下面的代码中找到AMD特定的代码更改吗？别伤眼睛，跟在NVIDIA GPU上运行相比，几乎没有。 from transformers import AutoTokenizer, AutoModelForCausalLMimport torchmodel_id = "01-ai/Yi-6B"tokenizer…

より良いOCRパフォーマンスを得るためのEasyOCRの微調整方法

OCRは画像からテキストを抽出したいときに便利なツールですしかし、時には使用しているOCRが特定のニーズにうまく機能しないこともありますもしもそんな状況に直面しているのならば…

「2023年のトップ8のAIトレンド：年間レビュー」

葉っぱが金色に変わり、12月の寒さが広がる中、人工知能の領域で目覚ましい進歩が見られた今年を振り返る時が来ました。2023年は単なる進歩の年ではありませんでした。それはトライアンフの年であり、AIが成し遂げられる限界が繰り返し押し広げられ、再定義された年でした。LLM（大規模言語モデル）の能力における画期的な進展から、前例のないほど世界とのナビゲーションや相互作用が可能な自律エージェントの登場まで、この年はこの変革的な技術の無限の可能性を示すものでした。この包括的な探求の中で、私たちは2023年のAIを定義した8つの主要なトレンドについて掘り下げ、産業を再構築し、未来を革命化する革新を明らかにしていきます。だから、AI愛好家の皆さん、私たちは技術史の記録に永遠に刻まれる一年についての旅に出発です。 RLHFとDPOの微調整 2023年は、大規模言語モデル（LLM）の能力を向上させるための重要な進展が見られました。2つの主要なアプローチが登場しました：人間のフィードバックに基づく強化学習（RLHF）：この手法は、人間のフィードバックを活用してLLMの学習プロセスをガイドし、持続的な改善と進化するユーザーのニーズや好みに対応させることができます。このインタラクティブなアプローチにより、LLMは複雑または主観的な領域において微妙な理解力と意思決定能力を開発することができます。直接的な選好最適化（DPO）：：DPOはよりシンプルな代替手法であり、明示的な強化信号を必要とせずにユーザーの選好に直接最適化します。このアプローチは効率性とスケーラビリティを重視し、より速い適応と展開を必要とするアプリケーションに最適です。そのすっきりした性格により、ユーザーフィードバックに基づいてLLMの振る舞いを迅速に調整することができ、進化する好みに合わせることができます。 RLHFとDPOはLLMの開発における重要な進展を表していますが、既存の微調整手法を置き換えるのではなく、補完するものです：事前学習：大規模なテキストとコードのデータセットを用いてLLMを訓練し、一般的な言語理解能力を学習させること。微調整：特定のタスクまたはデータセットに基づいてLLMをさらに訓練し、特定のドメインやアプリケーションに適した能力を調整すること。マルチタスク学習：LLMを複数のタスクに同時に訓練することで、共有表現を学習し、各タスクのパフォーマンスを向上させること。 LLMの効率性に対処する LLMの能力が向上するにつれて、計算上の制約とリソースの限界が重要な懸念事項となりました。その結果、2023年の研究はLLMの効率性の向上に焦点を当て、以下のような技術の開発をもたらしました： FlashAttention：この革新的なアテンションメカニズムは、LLMの計算コストを大幅に削減します。これにより、より速い推論と訓練が可能になり、LLMをリソースに制約のある環境でより実用的に利用し、実世界のアプリケーションに統合することができるようになります。 LoRA および QLoRA：LoRAやQLoRAなどの手法は、2023年にも提案された軽量かつ効率的なLLMの微調整方法を提供します。これらの手法は、既存のLLMアーキテクチャに追加された小さなモジュールであるアダプターに依存し、再トレーニングすることなくカスタマイズを可能にします。これにより、著しい効率の向上、より速い展開時間、さまざまなタスクへの適応性の向上が実現されます。これらの進展は、効率的なLLMへの需要の増大に対応し、この強力な技術への広範な導入の道を開き、結果としてこの技術へのアクセスを民主化することにつながります。検索補完生成（RAG）の浸透純LLMは巨大な可能性を秘めていますが、それらの正確性と実証的根拠に関する懸念は依然として存在しています。検索補完生成（RAG）は、既存のデータや知識ベースとLLMを組み合わせることで、これらの懸念に対処する有望な解決策として登場しました。このハイブリッドアプローチにはいくつかの利点があります：エラーの減少：外部情報から事実情報を取り込むことにより、RAGモデルはより正確で信頼性のある出力を生成することができます。拡張性の向上：RAGモデルは純LLMに必要な大規模なトレーニングリソースの必要性を排除し、大規模なデータセットに適用することができます。低コスト：既存の知識リソースを利用することにより、LLMのトレーニングおよび実行に関連する計算コストを削減することができます。これらの利点により、RAGは検索エンジン、チャットボット、コンテンツ生成など、さまざまなアプリケーションにおける貴重なツールとして位置付けられています。自律エージェント…

「オンライン大規模な推薦のためのデュアル拡張二つのタワーモデル」

推薦システムは、ユーザーに個別にカスタマイズされた提案を提供するために設計されたアルゴリズムですこれらのシステムは、ユーザーが関連するアイテムを発見するのを助けるため、さまざまなドメインで使用されています

『TiDE：トランスフォーマーよりも打ちのめす「恥ずかしく」シンプルなMLP』

産業が進化し続ける中で、正確な予測の重要性は、電子商取引、医療、小売り、農業など、どの業界で働くにしても譲れない財産として存在します...重要性は...

『データサイエンスをマスターするための5つの超便利シート』

「超便利なチートシートコレクションは、データサイエンス、確率・統計、SQL、機械学習、深層学習の基本的な概念を網羅しています」

Data science

イリノイ大学の研究者は、コードのための完全なオープンソース大規模言語モデル（LLM）のシリーズであるマジコーダを紹介しました

イリノイ大学アーバナ・シャンペーン校と清華大学の研究者チームは、オープンソースのコードスニペットからの低バイアスと高品質なコーディングチャレンジの生成の課題に取り組むために、Magicoderを導入しました。Magicoderは、Pythonテキストからコードを生成する、多言語のコーディング、データサイエンスプログラムの言語モデルを含むさまざまなコーディングベンチマークで、既存のLLMよりも優れたパフォーマンスを発揮します。 CodeGen、CodeT5、StarCoder、CODELLAMAなどのような主要なベースモデルは、LLMのコード生成と理解の基本的な能力を確立しています。事前学習されたLLMを改善するためには、自己指導とEvol-Instructのような手法を使った指示の調整が提案されており、HumanEval、MBPP、APPS、およびCodeContestsなどの既存のコードベンチマークは、自然言語の説明から単一機能プログラムを開発する際のLLMの評価に利用されます。 Magicoderは、コードのための完全なオープンソースのLLMシリーズであり、OSS-INSTRUCTを使用して75,000件の合成指示データでトレーニングされています。これは、GitHubのシードコードスニペットから多様性と現実世界の関連性を確保しながら、LLMにコーディングの問題と解決策を引き起こすように促します。評価には、HumanEvalとMBPPのようなベンチマークが使用され、pass1メトリックに焦点が当てられます。INSTRUCTORは、埋め込みの類似性に基づいてOSS-INSTRUCT生成データを分類するために使用されます。データのクリーニング技術、含められているのは浄化とプロンプトのフィルタリングなどがあり、堅牢性が向上しています。 Magicoderは、最大でも70億を超える控えめなパラメータサイズで、優れたパフォーマンスを示しています。OSS-INSTRUCTを使用して75,000件の合成指示データをトレーニングしたMagicoderは、Pythonテキストからコードを生成する、多言語のコーディング、データサイエンスプログラムの言語モデリングなど、先進的なコードモデルよりも優れたパフォーマンスを発揮します。拡張版のMagicoderSは、コード生成性能をさらに向上させ、さまざまなベンチマークで同じまたはより大きなサイズの他のモデルを上回ります。MagicoderS-CL-7Bは、コードモデルの中で最先端の結果を同時に達成し、堅牢で優れたコード生成能力を示します。まとめると、この研究では、オープンソースのコードスニペットからコーディングチャレンジを生成するためにLLMを利用する効果的な手法であるOSS-INSTRUCTの有用性が強調されています。OSS-INSTRUCTを使用して訓練されたMagicoderは、大きなパラメータを持つ他のLLMよりもさまざまなコーディングベンチマークで優れたパフォーマンスを発揮します。また、Evol-Instructと組み合わせると、ChatGPTのような先進的なモデルと同様に、HumanEvalベンチマークで印象的なパフォーマンスを発揮するMagicoderSモデルを向上させます。この研究では、将来のLLMに関する研究や、OSS-INSTRUCTを拡大してより高品質なデータを生成するために、モデルの重み、トレーニングデータ、およびソースコードをオープンソース化することを推奨しています。

「自律AIエージェントを使用してタスクを自動化するための10の方法」

はじめにテクノロジーのダイナミックな風景の中で、自律型AIエージェントは変革的な存在として登場し、データと人工知能とのやり取りの方法を変えつつあります。この魅力的な領域に深入りするにつれて、これらのエージェントが単なるプログラム以上のものであり、私たちの日常生活におけるAIの統合においてパラダイムシフトを表していることが明らかになります。本記事では、現在利用可能な最も優れた自律型AIエージェントの中から10つを紹介します。これらのAIエージェントがあなたに何ができるのか、さらに詳しく知るために読み続けてください。自律型AIエージェントとは何ですか？自律型AIエージェントは、持続的な人間の介在なしにタスクを実行するために独立して動作する高度な人工知能システムです。これらのエージェントは、機械学習と自動化を活用して、異なる領域でタスクの分析、学習、および実行を行います。単純なタスク自動化ツールから、自然言語の理解、意思決定、および新しい情報への適応能力を持つ洗練されたシステムまで、さまざまな範囲のエージェントが存在します。自律型AIエージェントは、技術がさまざまな日常タスクとの相互作用を革新する上で重要な役割を果たしています。自律型AIエージェントはどのように動作するのですか？自律型AIエージェントが具体的に何をするか、またどのようにしてタスクを自己で実行できるのかを疑問に思っていましたか？これらの高度なAIモデルは、複雑な指示や目標をより小さな、シンプルなタスクに分解し、構造化されたプロセスでそれらを実行するように設計されています。また、特定のタスクの自動化やループでの操作も可能です。以下は、ほとんどの自律型AIエージェントの基本的なワークフローです。タスクの定義：まず、AIエージェントが明確な指示、締切、および優先順位を持つタスクを作成します。タスクの優先順位付け：次に、緊急性と重要性に基づいてタスクの優先順位を付けるためにAIアルゴリズムを使用します。タスクを自動化：重複するタスクを効率的に実行するために、それらをAIモデルに委任します。進捗の監視：プロセスの設定とタスクの実行後、これらのタスクの進捗状況を追跡し、リアルタイムで更新を受け取ります。相互作用：これらのエージェントは、自然言語のコマンドを使用して簡単にタスクを作成、変更、管理することもできます。トップ自律型AIエージェント以下に、10の最も優れた自律型AIエージェントとそれぞれの説明、利点、および具体例をご紹介します。 1. AgentGPT AgentGPTは、多機能でカスタマイズ可能なオープンソースの自律エージェントです。旅行の計画、メールの作成、クリエイティブなテキスト形式の生成など、幅広いタスクを実行することができ、さらに追加の機能や機能を追加することでカスタマイズすることができます。AgentGPTは、名前と目標を追加し、展開ボタンをクリックするだけで使用することができ、コーディングは不要です。複雑なタスクをより小さなサブタスクに分解し、最小限の人間の関与で主目標を達成するために反復的なプロンプトを使用します。利点時間と労力を節約：AgentGPTは、あなたがたくさんの時間と労力を要するタスクを自動化することができます。生産性の向上：タスクの自動化により、重要なことに集中するために時間を確保することができます。楽しむ時間を増やす：退屈でつまらないタスクを自動化することにより、楽しい時間を過ごすことができます。より創造的になる：新しいアイデアや可能性を生成することによって、より創造的になることができます。具体例ハワイ旅行の計画：AgentGPTは、フライト、宿泊施設、アクティビティなど、詳細なハワイ旅行を計画するのに役立ちます。メールの作成：件名、本文、署名を含めたメールの作成をサポートします。…

「部分情報分解とは何か、そして特徴がどのように相互作用するのか」

ターゲット変数が複数の情報源に影響を受ける場合、各情報源が全体的な情報にどのように寄与しているかを理解することは重要です（しかし、単純な問題ではありません）この中で...

「SageMakerエンドポイントとしてカスタムMLモデルを展開する」

「機械学習（ML）モデルを開発するには、データ収集からモデルの展開までの重要なステップがありますアルゴリズムの改善やテストを通じてパフォーマンスを確認した後、最後の重要なステップは...」

Learn more about Search Results GitHub - Page 9