Search Results Gin

ハグ顔（Hugging Face）での最新技術の組み合わせであるミクストラル（Mixtral）へようこそ

Mixtral 8x7bは、ミストラルが本日リリースした刺激的な大型言語モデルで、オープンアクセスモデルの最新技術基準を上回り、多くのベンチマークでGPT-3.5を凌駕しています。私たちは、MixtralをHugging Faceエコシステムに包括的に統合してのローンチをサポートすることに興奮しています🔥！本日リリースされる機能と統合には以下があります：ハブ上のモデル、モデルカードとライセンス（Apache 2.0） 🤗 Transformers統合推論エンドポイントとの統合高速で効率的な本番推論のためのテキスト生成推論との統合 🤗 TRLを使用した単一のGPUでのMixtralの微調整の例目次 Mixtral 8x7bとは何ですか名前についてプロンプト形式分からないことデモ推論 🤗 Transformersを使用するテキスト生成推論を使用する 🤗…

「Unblock Your Software Engineers With Unblocked（アンブロックドでソフトウェアエンジニアを活用しましょう）」

「AIは、私たちのフィールドでますます重要な役割を果たしており、私たち開発者の生産性を大きく向上させる能力を持っていますこれまでに経験したことのない方法で生産性を向上させることができます」

「Huggingface 🤗を使用したLLMsのためのRLHFトレーニングパイプライン」

今や、誰もが話しているのは生成AIや大規模言語モデルですChatGPTやGrokなどのモデルは、今日ではすっかりおなじみの名前になり、多くの人々が解決策を取り入れたいと考えています...

「HuggingFaceへの入り口」

「HuggingFaceは、学習を始めるためのスタート地点が分からないと、複雑で難解になることがありますHuggingFaceリポジトリへの入り口の一つは、run_mlm.pyとrun_clm.pyスクリプトですこの記事では、私たちはさらに進んでいきます...」

Zephyr-7B：HuggingFaceのハイパーオプティマイズされたLLM、Mistral 7Bの上に構築

「Zephyr-7B」という画期的な大型言語モデルを詳しく見てみましょう「知識の蒸留」を活用して、AIの効率性とアクセシビリティの新基準を確立し、会話AIの未来を形作っている方法を発見しましょう

「Amazon SageMaker JumpStart、Llama 2、およびAmazon OpenSearch Serverless with Vector Engineを使用して、金融サービス向けのコンテキスト重視のチャットボットを構築する」

「金融サービス（FinServ）業界は、ドメイン固有のデータ、データセキュリティ、規制コントロール、業界のコンプライアンス基準に関連する独自の生成AIの要件を持っています加えて、顧客は最も高性能かつ費用対効果の高い機械学習（ML）モデルを選択し、ビジネスユースケースに合わせて必要なカスタマイズ（ファインチューニング）を行うための選択肢を求めていますアマゾン[...]」

「GiskardはHuggingFaceにGiskard Botをリリースします：HuggingFace Hubにプッシュした機械学習モデルの問題を自動的に検出するボットです」

2023年11月8日に発表された画期的な開発では、Giskard Botが機械学習（ML）モデルのゲームチェンジャーとして登場し、大規模言語モデル（LLM）や表形式のモデルに対応しています。このオープンソースのテストフレームワークは、モデルの整合性を確保するために専用されており、HuggingFace（HF）プラットフォームとシームレスに統合された多くの機能を提供しています。 Giskardの主な目標は明確です。脆弱性の特定。ドメイン固有のテストの生成。 CI/CDパイプライン内でのテストスイートの自動化実行。 Giskardは、Hugging Faceのコミュニティベースの哲学に沿ったAI品質保証（QA）のオープンプラットフォームとして機能します。導入された最も重要な統合の1つは、HFハブ上のGiskardボットです。このボットにより、Hugging Faceのユーザーは、新しいモデルがHFハブにプッシュされるたびに自動的に脆弱性レポートを公開することができます。これらのレポートは、HFディスカッションおよびモデルカードでプルリクエストを介して表示され、バイアス、倫理的な懸念、堅牢性などの潜在的な問題の即座の概要を提供します。記事の中で示されている魅力的な例は、Giskardボットの能力を示しています。Twitter分類にRobertaを使用した感情分析モデルがHF Hubにアップロードされたとします。Giskardボットは、テキスト特徴で特定の変換を行うことで予測を大幅に変更する5つの潜在的な脆弱性を迅速に特定します。これらの調査結果は、トレーニングセットの構築時にデータ拡張戦略を実装する重要性を強調し、モデルの性能に深く入り込むものです。 Giskardの特徴は、量だけでなく品質にもコミットしていることです。このボットは脆弱性を定量化するだけでなく、定性的な洞察も提供します。モデルカードに変更を提案し、バイアス、リスク、または制約事項を強調します。これらの提案は、HFハブ内のプルリクエストとしてシームレスに表示され、モデル開発者のレビュープロセスを効率化します。 Giskardスキャンは、標準的なNLPモデルに限定されるものではありません。これはLLMにも対応し、IPCCレポートを参照するLLM RAGモデルの脆弱性スキャンを展示します。スキャンは、幻想、誤情報、有害性、機密情報の開示、および堅牢性に関連する懸念を明らかにします。たとえば、IPCCレポートの作成に使用される方法論に関して機密情報を明らかにしない問題が自動的に特定されます。しかし、Giskardは識別にとどまることはありません。ユーザーには、Hugging Face Spacesの専門ハブにアクセスすることができ、モデルの障害についての具体的な洞察を得ることができます。これにより、ドメインの専門家との協力や、独自のAIユースケースに合わせたカスタムテストの設計が容易になります。 Giskardによってデバッグテストが効率的に行われます。このボットは、問題の根本原因を理解し、デバッグ中に自動化された洞察を提供します。テストを提案し、予測への単語の寄与を説明し、洞察に基づいた自動アクションを提供します。 Giskardは一方通行ではありません。ドメインの専門家からのフィードバックを「招待」機能を通じて奨励しています。この集約されたフィードバックは、モデルの精度と信頼性を高めるために開発者をガイドする、潜在的なモデルの改善の包括的なビューを提供します。

「Zephyr-7Bの内部：HuggingFaceの超最適化LLM、より大きなモデルを上回り続けている」

ZEPHYR-7Bは、AIコミュニティで非常に好評を得ている新世代の大型言語モデル（LLM）の1つですHugging Faceによって作成されたこのモデルは、効果的に最適化されたバージョンです...

「HuggingFaceのデータ収集者たち」

「HuggingFaceを学び始めた時、データコレーターは私にとって最も直感的でない要素の1つでした彼らを理解するのに苦労し、十分な説明が提供されているリソースを見つけることができませんでした...」

プロデジーHFをご紹介します：Hugging Faceと直接連携

プロディジーは、Explosionという会社が作成したアノテーションツールです。この会社はspaCyのクリエイターとしてよく知られています。プロディジーは、スクリプトから完全に操作可能な製品であり、その周りには大きなコミュニティが存在しています。この製品には、spaCyとの緊密な連携やアクティブ・ラーニング機能など多くの機能があります。しかし、この製品の主な特徴は、Pythonでプログラム的にカスタマイズ可能であることです。このカスタマイズ性を促進するために、Explosionはプラグインのリリースを開始しました。これらのプラグインは、ユーザーが独自のアノテーションワークフローに取り組むことを奨励するオープンな方法で、サードパーティのツールと統合されます。しかし、特にこのカスタマイズについては明示的に称賛される価値があります。先週、ExplosionはProdigy-HFを導入しました。これはHugging Faceスタックと直接統合するコードレシピを提供します。これはProdigyサポートフォーラムで多く要望された機能であり、我々はとても興奮しています。特徴最初の主な特徴は、このプラグインにより、アノテーションしたデータでHugging Faceモデルをトレーニングして再利用できることです。つまり、名前付きエンティティ認識のために当社のインターフェースでデータをアノテーションしている場合、それに対してBERTモデルを直接ファインチューニングできます。これがプロディジーNERインターフェースの見た目です。プラグインをインストールした後、コマンドラインからhf.train.nerレシピを呼び出して、独自のデータ上でトランスフォーマーモデルを直接トレーニングすることができます。 python -m prodigy hf.train.ner fashion-train,eval:fashion-eval path/to/model-out --model "distilbert-base-uncased" これにより、distilbert-base-uncasedモデルがProdigyに保存されたデータセットについてファインチューニングされ、ディスクに保存されます。同様に、このプラグインはテキスト分類用のモデルも非常に似たインターフェースでサポートしています。 python -m prodigy hf.train.textcat fashion-train,eval:fashion-eval path/to/model-out --model…

Learn more about Search Results Gin