Search Results Transformer

ハグ顔（Hugging Face）での最新技術の組み合わせであるミクストラル（Mixtral）へようこそ

Mixtral 8x7bは、ミストラルが本日リリースした刺激的な大型言語モデルで、オープンアクセスモデルの最新技術基準を上回り、多くのベンチマークでGPT-3.5を凌駕しています。私たちは、MixtralをHugging Faceエコシステムに包括的に統合してのローンチをサポートすることに興奮しています🔥！本日リリースされる機能と統合には以下があります：ハブ上のモデル、モデルカードとライセンス（Apache 2.0） 🤗 Transformers統合推論エンドポイントとの統合高速で効率的な本番推論のためのテキスト生成推論との統合 🤗 TRLを使用した単一のGPUでのMixtralの微調整の例目次 Mixtral 8x7bとは何ですか名前についてプロンプト形式分からないことデモ推論 🤗 Transformersを使用するテキスト生成推論を使用する 🤗…

「GPTの進化を探る ChatGPT-4の新機能と、コンバーショナルAIの再定義」

以前のバージョンをベースに、多様性と倫理的考慮を特徴とするConversational AIのChatGPT-4の進化を探求し、新たな可能性を解き放つ

「スピークAI転写ソフトウェアのレビュー（2023年12月）」

この詳細なSpeak AIレビューで、Speak AIについての真実を発見してくださいそれは最も優れたAI転写ソフトウェアですか？この記事で確認してください！

CMUとプリンストンの研究者がマンバを発表：多様なモードのディープラーニングアプリケーションにおいてトランスフォーマーの効率を超えるSSMアーキテクチャの画期的な進展

現代の機械学習において、ファウンデーションモデルは、大量のデータで事前に学習され、その後に下流のタスクに対して改変されることが成功のパラダイムとなっています。シーケンスモデルは、言語、画像、音声、オーディオ、時系列、ゲノムなど、様々なドメインからの任意のシーケンス入力に対応するもので、これらのファウンデーションモデルの基礎となっています。このアイデアは特定のモデル設計には依存していませんが、トランスフォーマーとその中心となるアテンション層は、ほとんどの現代のファウンデーションモデルの基盤となっています。セルフアテンションは、情報をコンテキストウィンドウ内で緊密にルーティングすることで、複雑な事実を表現することができるため、効果的です。しかし、この性質には2つの基本的な欠点があります。1つはウィンドウの長さに関する二次的なスケーリング、もう1つは制限されたウィンドウの外部の情報を記述することができないことです。これらの欠点を解決するために、より効果的なアテンションに関連する戦略についての研究が大量に行われていますが、それらはアテンションの成功をもたらす要素と同じ品質を犠牲にすることがしばしばあります。これらのバリエーションが異なるドメイン全体でスケールで実験的に成功したという証拠はまだありません。構造化された状態空間シーケンスモデルは、新しく興味深いシーケンスモデリングアーキテクチャの一族です。これらのモデルは、従来の状態空間モデルから影響を受けており、畳み込みおよび再帰型ニューラルネットワークのハイブリッドと見なすことができます。これらのモデルは、シーケンスの長さに対して線形またはほぼ線形なスケーリングを持ち、再帰または畳み込みによって非常に高速に計算することができます。また、ロングレンジアリーナなどのベンチマークを支配しており、特定のデータモダリティにおける長距離の相互依存関係のモデリングのためのツールとなっています。多くのSSM（構造化状態空間モデル）のバリエーションが、連続的な信号データを必要とする音声やビジョンなどの領域で効果を示していますが、テキストのような離散で情報密度の高い素材のモデリングにはまだ成功していません。カーネギーメロン大学とプリンストン大学の研究チームは、従来の研究をさまざまな側面で拡張し、シーケンスの長さとの線形関係を保ちながらトランスフォーマーのようなモデリング能力を向上させる選択された状態空間モデルの新しいカテゴリを提案しています。選択メカニズム。まず、以前のモデルの重要な欠点を指摘します。それは、入力に応じてデータを効果的に選択することができないことです。研究チームは、重要な合成タスク（セレクティブコピーと誘導ヘッドなど）から得られた理解に基づいてSSMパラメータを入力によってパラメータ化することにより、簡単な選択プロセスを提供しています。これにより、モデルは不要なデータを排除しながら関連する情報を永続的に保持することができます。ハードウェア対応コード。この簡単な修正は、モデルの計算を技術的に挑戦します。以前のSSMモデルは、計算が効率的に行われるために入力や時間の不変である必要がありました。異なるレイヤー間でのGPUメモリ階層のIOアクセスを防ぐために、ハードウェア対応アプローチを使用してモデルをスキャンに基づいて再帰的に計算します。ただし、拡張された状態は具現化されません。結果として得られる実装は、現在のハードウェア上の以前の技術よりも高速であり、理論的な設計の構築です。アーキテクチャ：特定の状態空間を組み込んだ簡単で均一なアーキテクチャ設計を提供するために、以前のSSMアーキテクチャの設計とトランスフォーマーのMLPブロックを1つのブロックに組み合わせ、以前の深いシーケンスモデルの設計を簡素化します。選択的SSMとMambaアーキテクチャの主要な特徴により、これらは完全な再帰モデルとして動作するより広範な基盤モデルの基盤となることができます：（i）高品質：遺伝学や言語などの密なモダリティにおいてセレクティビティは優れたパフォーマンスを発揮します。（ii）高速な推論とトレーニング：推論中、モデルを自己回帰的に展開するためのステップごとの時間は定数であり、過去のコンポーネントのキャッシュを必要としないため、計算とメモリのスケーリングはシーケンスの長さに比例します。（iii）長いコンテキスト：品質と効率の組み合わせにより、シーケンスの長さが100万に達するまで実際のデータでのパフォーマンス向上が得られます。研究チームは、実験的な証拠をもとに、Mambaの潜在能力を汎用性のあるシーケンスFMのバックボーンとして、さまざまなモダリティや状況における事前学習品質やドメイン特化のタスクパフォーマンスに関してサポートしています：・人工材料。Mambaは、巨大な言語モデルにとって重要とされるコピーや誘導ヘッドタスクなどの重要な合成タスクを容易に解決するだけでなく、無限に長い解を予測することもできます。・ゲノミクスとオーディオ。音声波形やDNA配列のモデリングにおいて、事前学習品質や下流のメトリクスに関して、MambaはSaShiMi、Hyena、Transformersなどの従来の最先端モデルを凌ぎます。そのパフォーマンスは、両方のコンテキストで100万文字長のシーケンスまでより多くの文脈を持つことで改善されます。 • モデリング言語。マンバは、下流で実施される評価と事前学習の複雑さの両方で本当にTransformerのようなパフォーマンスを実現する最初の線形時間シーケンスモデルを表しています。研究チームは、Mambaが、LLaMaに基づく高度なTransformerトレーニングレシピを含む多くのベースラインを上回り、1Bのパラメータまでのスケーリング則に従っています。同じサイズのTransformerと比較して、彼らのMamba言語モデルは5倍の世代スループットを持ち、Mamba-3Bの品質はその2倍のサイズのTransformerと同等です。

AMD + 🤗 AMD GPUでの大規模言語モデルの即戦力アクセラレーション

今年早些时候，AMD和Hugging Face宣布合作伙伴关系在AMD的AI Day活动期间加速AI模型。我们一直在努力实现这一愿景，并使Hugging Face社区能够在AMD硬件上运行最新的AI模型，并获得最佳性能。 AMD正在为全球一些最强大的超级计算机提供动力，其中包括欧洲最快的超级计算机LUMI，该计算机拥有超过10,000个MI250X AMD GPUs。在这次活动中，AMD公布了他们最新一代的服务器级GPU，AMD Instinct™ MI300系列加速器，很快将正式推出。在本博客文章中，我们将提供关于在AMD GPUs上提供良好开箱即用支持以及改进与最新服务器级别的AMD Instinct GPUs互操作性的进展报告。开箱即用加速你能在下面的代码中找到AMD特定的代码更改吗？别伤眼睛，跟在NVIDIA GPU上运行相比，几乎没有。 from transformers import AutoTokenizer, AutoModelForCausalLMimport torchmodel_id = "01-ai/Yi-6B"tokenizer…

「2023年のトップ8のAIトレンド：年間レビュー」

葉っぱが金色に変わり、12月の寒さが広がる中、人工知能の領域で目覚ましい進歩が見られた今年を振り返る時が来ました。2023年は単なる進歩の年ではありませんでした。それはトライアンフの年であり、AIが成し遂げられる限界が繰り返し押し広げられ、再定義された年でした。LLM（大規模言語モデル）の能力における画期的な進展から、前例のないほど世界とのナビゲーションや相互作用が可能な自律エージェントの登場まで、この年はこの変革的な技術の無限の可能性を示すものでした。この包括的な探求の中で、私たちは2023年のAIを定義した8つの主要なトレンドについて掘り下げ、産業を再構築し、未来を革命化する革新を明らかにしていきます。だから、AI愛好家の皆さん、私たちは技術史の記録に永遠に刻まれる一年についての旅に出発です。 RLHFとDPOの微調整 2023年は、大規模言語モデル（LLM）の能力を向上させるための重要な進展が見られました。2つの主要なアプローチが登場しました：人間のフィードバックに基づく強化学習（RLHF）：この手法は、人間のフィードバックを活用してLLMの学習プロセスをガイドし、持続的な改善と進化するユーザーのニーズや好みに対応させることができます。このインタラクティブなアプローチにより、LLMは複雑または主観的な領域において微妙な理解力と意思決定能力を開発することができます。直接的な選好最適化（DPO）：：DPOはよりシンプルな代替手法であり、明示的な強化信号を必要とせずにユーザーの選好に直接最適化します。このアプローチは効率性とスケーラビリティを重視し、より速い適応と展開を必要とするアプリケーションに最適です。そのすっきりした性格により、ユーザーフィードバックに基づいてLLMの振る舞いを迅速に調整することができ、進化する好みに合わせることができます。 RLHFとDPOはLLMの開発における重要な進展を表していますが、既存の微調整手法を置き換えるのではなく、補完するものです：事前学習：大規模なテキストとコードのデータセットを用いてLLMを訓練し、一般的な言語理解能力を学習させること。微調整：特定のタスクまたはデータセットに基づいてLLMをさらに訓練し、特定のドメインやアプリケーションに適した能力を調整すること。マルチタスク学習：LLMを複数のタスクに同時に訓練することで、共有表現を学習し、各タスクのパフォーマンスを向上させること。 LLMの効率性に対処する LLMの能力が向上するにつれて、計算上の制約とリソースの限界が重要な懸念事項となりました。その結果、2023年の研究はLLMの効率性の向上に焦点を当て、以下のような技術の開発をもたらしました： FlashAttention：この革新的なアテンションメカニズムは、LLMの計算コストを大幅に削減します。これにより、より速い推論と訓練が可能になり、LLMをリソースに制約のある環境でより実用的に利用し、実世界のアプリケーションに統合することができるようになります。 LoRA および QLoRA：LoRAやQLoRAなどの手法は、2023年にも提案された軽量かつ効率的なLLMの微調整方法を提供します。これらの手法は、既存のLLMアーキテクチャに追加された小さなモジュールであるアダプターに依存し、再トレーニングすることなくカスタマイズを可能にします。これにより、著しい効率の向上、より速い展開時間、さまざまなタスクへの適応性の向上が実現されます。これらの進展は、効率的なLLMへの需要の増大に対応し、この強力な技術への広範な導入の道を開き、結果としてこの技術へのアクセスを民主化することにつながります。検索補完生成（RAG）の浸透純LLMは巨大な可能性を秘めていますが、それらの正確性と実証的根拠に関する懸念は依然として存在しています。検索補完生成（RAG）は、既存のデータや知識ベースとLLMを組み合わせることで、これらの懸念に対処する有望な解決策として登場しました。このハイブリッドアプローチにはいくつかの利点があります：エラーの減少：外部情報から事実情報を取り込むことにより、RAGモデルはより正確で信頼性のある出力を生成することができます。拡張性の向上：RAGモデルは純LLMに必要な大規模なトレーニングリソースの必要性を排除し、大規模なデータセットに適用することができます。低コスト：既存の知識リソースを利用することにより、LLMのトレーニングおよび実行に関連する計算コストを削減することができます。これらの利点により、RAGは検索エンジン、チャットボット、コンテンツ生成など、さまざまなアプリケーションにおける貴重なツールとして位置付けられています。自律エージェント…

『TiDE：トランスフォーマーよりも打ちのめす「恥ずかしく」シンプルなMLP』

産業が進化し続ける中で、正確な予測の重要性は、電子商取引、医療、小売り、農業など、どの業界で働くにしても譲れない財産として存在します...重要性は...

パーソナライズされたAIの簡単な作成方法：GPTの適応に向けたノーコードガイド

OpenAIは、カスタムChatGPTを作成するためのコード不要のアプローチで個人のAIカスタマイズを革新しています

Artificial Intelligence

マイクロソフトの研究者が提案するTaskWeaver：LLMを活用した自律エージェントの構築のためのコード優先の機械学習フレームワーク

大規模言語モデル（LLMs）は、印象的な自然言語生成および解釈能力を示しています。これらのモデルの例には、GPT、Claude、Palm、Llamaがあります。チャットボット、バーチャルアシスタント、コンテンツ生成システムなど、様々な応用でこれらのモデルが広く使用されています。LLMsは、より直感的かつ自然な体験を提供することで、人々がテクノロジーとのインタラクションを完全に変えることができます。エージェントは、自律的なエンティティであり、タスクの計画、環境の監視、適切な対応策の実施が可能です。LLMsやその他のAI技術を使用するエージェントも、このカテゴリに該当します。 Langchain、Semantic Kernel、Transformers Agent、Agents、AutoGen、およびJARVISなど、多くのフレームワークがタスク指向の対話にLLMsを使用しようと試みています。これらのフレームワークを使用すると、ユーザーは自然言語で質問をして回答を得ることで、LLMパワードのボットと対話することができます。ただし、多くのフレームワークには、データ分析活動や特定の領域に固有の状況にうまく対応できる機能が制約されているという欠点があります。現在のほとんどのフレームワークには、洗練されたデータ構造を処理するためのネイティブサポートの不足がその主な欠点の一つです。データ分析アプリケーションや他の多くのビジネスシナリオでは、LLMパワードエージェントはネストされたリスト、辞書、またはデータフレームなどの複雑なデータ構造を処理する必要があります。ただし、現在の多くのフレームワークは、特にデータを複数のプラグインやチャットラウンド間で共有する場合に、これらの構造の管理に支援が必要です。これらの状況では、フレームワークは複雑な構造を文字列またはJSONオブジェクトとしてエンコードし、プロンプトに保持するかデータをディスクに永続化します。これらの手法は機能しますが、特に大規模なデータセットで作業する場合には困難になり、エラーレートを上げることがあります。現在の方法がドメイン知識を組み込むために設定可能ではないという別の欠点もあります。これらのフレームワークは、迅速なエンジニアリングツールとサンプルを提供する一方で、ドメイン固有の情報を計画とコード生成プロセスに組み込むための体系的な手段を提供する必要があります。特定のドメインニーズに合わせて計画とコード生成プロセスを制御することは制約のために難しいです。現在の多くのフレームワークには、ユーザーの要件の広範な範囲に対応することが困難になる可能性があるという別の問題もあります。プラグインは一般的な要件を処理できますが、臨時の要求を処理するためには支援が必要です。臨時のクエリごとに別のプラグインを作成することは現実的ではありません。ユーザーのクエリを実行するために独自のコードを開発できるエージェントの能力は、これらの場合には重要になります。この問題を解決するには、独自のコードの実行とプラグインの実行をスムーズに統合するソリューションが必要です。これらの欠点を克服するために、Microsoftの研究チームはTaskWeaverというLLMパワードの自律エージェントを作成するためのコードファーストフレームワークを提案しました。TaskWeaverの特徴的な機能は、ユーザー定義のプラグインを呼び出し可能な関数として扱うことで、各ユーザーリクエストを実行可能なコードに変換することができることです。TaskWeaverは、洗練されたデータ構造のサポート、柔軟なプラグインの使用、および動的なプラグインの選択を提供し、他のフレームワークの制約を克服するのに役立ちます。TaskWeaverはLLMsのコーディング能力を活用して複雑なロジックを実装し、例を通じてドメイン固有の知識を統合します。さらに、TaskWeaverは開発者に直感的なインターフェースを提供し、作成されたコードの安全な実行を大幅に向上させています。研究チームは、TaskWeaverのアーキテクチャと実装について説明し、さまざまなジョブをどのようにうまく処理するかを示すいくつかの事例研究を紹介しています。TaskWeaverは、課題の多いジョブを処理し、特定のドメイン条件に適合するために変更することが可能な知能を持つ会話エージェントを作成するための強力で柔軟なフレームワークを提供しています。

「自律AIエージェントを使用してタスクを自動化するための10の方法」

はじめにテクノロジーのダイナミックな風景の中で、自律型AIエージェントは変革的な存在として登場し、データと人工知能とのやり取りの方法を変えつつあります。この魅力的な領域に深入りするにつれて、これらのエージェントが単なるプログラム以上のものであり、私たちの日常生活におけるAIの統合においてパラダイムシフトを表していることが明らかになります。本記事では、現在利用可能な最も優れた自律型AIエージェントの中から10つを紹介します。これらのAIエージェントがあなたに何ができるのか、さらに詳しく知るために読み続けてください。自律型AIエージェントとは何ですか？自律型AIエージェントは、持続的な人間の介在なしにタスクを実行するために独立して動作する高度な人工知能システムです。これらのエージェントは、機械学習と自動化を活用して、異なる領域でタスクの分析、学習、および実行を行います。単純なタスク自動化ツールから、自然言語の理解、意思決定、および新しい情報への適応能力を持つ洗練されたシステムまで、さまざまな範囲のエージェントが存在します。自律型AIエージェントは、技術がさまざまな日常タスクとの相互作用を革新する上で重要な役割を果たしています。自律型AIエージェントはどのように動作するのですか？自律型AIエージェントが具体的に何をするか、またどのようにしてタスクを自己で実行できるのかを疑問に思っていましたか？これらの高度なAIモデルは、複雑な指示や目標をより小さな、シンプルなタスクに分解し、構造化されたプロセスでそれらを実行するように設計されています。また、特定のタスクの自動化やループでの操作も可能です。以下は、ほとんどの自律型AIエージェントの基本的なワークフローです。タスクの定義：まず、AIエージェントが明確な指示、締切、および優先順位を持つタスクを作成します。タスクの優先順位付け：次に、緊急性と重要性に基づいてタスクの優先順位を付けるためにAIアルゴリズムを使用します。タスクを自動化：重複するタスクを効率的に実行するために、それらをAIモデルに委任します。進捗の監視：プロセスの設定とタスクの実行後、これらのタスクの進捗状況を追跡し、リアルタイムで更新を受け取ります。相互作用：これらのエージェントは、自然言語のコマンドを使用して簡単にタスクを作成、変更、管理することもできます。トップ自律型AIエージェント以下に、10の最も優れた自律型AIエージェントとそれぞれの説明、利点、および具体例をご紹介します。 1. AgentGPT AgentGPTは、多機能でカスタマイズ可能なオープンソースの自律エージェントです。旅行の計画、メールの作成、クリエイティブなテキスト形式の生成など、幅広いタスクを実行することができ、さらに追加の機能や機能を追加することでカスタマイズすることができます。AgentGPTは、名前と目標を追加し、展開ボタンをクリックするだけで使用することができ、コーディングは不要です。複雑なタスクをより小さなサブタスクに分解し、最小限の人間の関与で主目標を達成するために反復的なプロンプトを使用します。利点時間と労力を節約：AgentGPTは、あなたがたくさんの時間と労力を要するタスクを自動化することができます。生産性の向上：タスクの自動化により、重要なことに集中するために時間を確保することができます。楽しむ時間を増やす：退屈でつまらないタスクを自動化することにより、楽しい時間を過ごすことができます。より創造的になる：新しいアイデアや可能性を生成することによって、より創造的になることができます。具体例ハワイ旅行の計画：AgentGPTは、フライト、宿泊施設、アクティビティなど、詳細なハワイ旅行を計画するのに役立ちます。メールの作成：件名、本文、署名を含めたメールの作成をサポートします。…

Learn more about Search Results Transformer - Page 12