Search Results 比較

「このAIニュースレターは、あなたが必要とするすべてです #77」

今週のAIのニュースは、Google（ジェミニ）とミストラル（8x7B）による新しい大規模言語モデルのリリースが主でしたモデルの発表におけるアプローチは、プレスイベントとデモによるもので、非常に異なっていました...

ミストラルAI (8x7b)、専門家（MoE）モデルの初のオープンソースモデルをリリース

ミストラルは、最初の560億トークンモデル（8モデル、各70億トークン）をトレント経由でリリースすることによって、オープンソースの世界への取り組みを続けます！数日前、私たちはGPT4が...

「LLMアプリを作成するための5つのツール」

「経験豊富なMLエンジニアであろうと、新しいLLMデベロッパーであろうと、これらのツールはあなたの生産性を高め、AIプロジェクトの開発と展開を加速させるのに役立ちます」

language models

イントロダクション Hugging Faceは、自然言語処理の愛好家や開発者にとって宝庫となり、さまざまなアプリケーションに簡単に統合できる事前学習済み言語モデルの幅広いコレクションを提供しています。Large Language Models（LLM）の世界で、Hugging Faceは頼りになるプラットフォームとして際立っています。この記事では、Hugging Faceで利用可能なトップ10のLLMモデルを紹介し、言語理解と生成の進化する景色に貢献します。さあ、始めましょう！ Mistral-7B-v0.1 Mistral-7B-v0.1は、70億のパラメータを誇る大規模言語モデル（LLM）です。これは事前学習済みの生成テキストモデルとして設計されており、Llama 2 13Bが検証されたドメインで設定したベンチマークを上回ることで知られています。このモデルは、グループ化されたクエリアテンションやスライディングウィンドウアテンションなどの注意機構に特定の選択を行ったトランスフォーマーアーキテクチャに基づいています。Mistral-7B-v0.1は、Byte-fallback BPEトークナイザーも組み込んでいます。ユースケースとアプリケーションテキスト生成：Mistral-7B-v0.1は、コンテンツ作成、創造的な文章作成、または自動ストーリーテリングなど、高品質のテキスト生成を必要とするアプリケーションに適しています。自然言語理解：高度なトランスフォーマーアーキテクチャと注意機構を備えたこのモデルは、感情分析やテキスト分類などの自然言語理解を必要とするタスクに適用することができます。言語翻訳：生成能力と大規模なパラメータサイズを考慮すると、このモデルはニュアンスのある文脈に即した正確な翻訳が重要な言語翻訳タスクで優れたパフォーマンスを発揮するかもしれません。研究開発：研究者や開発者は、さまざまな自然言語処理プロジェクトでのさらなる実験や微調整のためにMistral-7B-v0.1をベースモデルとして活用することができます。このLLMにはこちらでアクセスできます。 Starling-LM-11B-alpha この大規模言語モデル（LLM）は、110億のパラメータを持ち、NurtureAIから生まれました。このモデルは、その基盤としてOpenChat 3.5モデルを利用し、AIのフィードバックからの強化学習（RLAIF）によるfine-tuningを経ています。このアプローチでは、ヒトによってラベル付けされたランキングのデータセットを利用してトレーニングプロセスを誘導します。ユースケースとアプリケーション Starling-LM-11B-alphaは、マシンとの対話方法を革新する潜在的な大規模言語モデルであり、オープンソースの性質、優れたパフォーマンス、多様な機能を備えており、研究者、開発者、クリエイティブプロフェッショナルにとって貴重なツールです。…

「ベクターデータベースは、生成型AIソリューションの未来をどのように形作るのか？」

紹介生成AIの急速に進化する風景において、ベクトルデータベースの重要な役割がますます明らかになってきました。本記事ではベクトルデータベースと生成AIソリューションとのダイナミックな相乗効果について探求し、これらの技術的基盤が人工知能の創造性の将来を形作っているかを紐解きます。革新的なAIソリューションの最先端にもたらすベクトルデータベースの変革的な影響を解き放つため、この強力な連携の複雑さを旅してください。学習目標この記事では以下のベクトルデータベースの側面を理解するのに役立ちます。ベクトルデータベースの重要性とその主要な構成要素従来のデータベースとのベクトルデータベースの詳細比較応用の観点からのベクトル埋め込みの探求 Pineconeを使用したベクトルデータベースの構築 langchain LLMモデルを使用したPineconeベクトルデータベースの実装この記事はData Science Blogathonの一部として公開されました。ベクトルデータベースとは何ですか？ベクトルデータベースとは、空間に格納されたデータの集合の形式です。しかし、ここでは数学的な表現で格納されているため、AIモデルが入力を覚えるのに便利であり、オープンAIアプリケーションが認知検索、推奨、テキスト生成を使用してさまざまなユースケースで活用できるようになっています。データの格納と検索は「ベクトル埋め込み」と呼ばれます。また、これは数値配列形式で表されます。トラディショナルなデータベースと比べて、非常に大規模でインデックス化された機能を持つAIの観点での検索ははるかに容易です。ベクトルデータベースの特徴これらのベクトル埋め込みのパワーを活用し、巨大なデータセット全体でのインデックス作成と検索を実現します。あらゆるデータ形式（画像、テキスト、データ）と互換性があります。埋め込み技術と高度なインデックス化された機能を採用しているため、与えられた問題のデータと入力の完全なソリューションを提供できます。ベクトルデータベースは、数百の次元を含む高次元ベクトルを通じてデータを整理します。これらは非常に迅速に構成できます。各次元は、それが表しているデータオブジェクトの特定の特徴または属性に対応しています。従来のデータベースとベクトルデータベースの比較図は従来のデータベースとベクトルデータベースのハイレベルなワークフローを示しています。フォーマルなデータベースのやり取りはSQLステートメントを通じて行われ、データは行ベースおよび表形式で格納されます。…

メタAIは、オープンで創造的なAIモデルを使って倫理的に建設するために、パープルラマをコミュニティの支援として発表しました

<img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/12/Screenshot-2023-12-12-at-12.34.25-AM-1024×710.png”/><img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/12/Screenshot-2023-12-12-at-12.34.25-AM-150×150.png”/>データの増加、モデルサイズ、自己回帰言語モデリングのための計算能力の向上により、対話型AIエージェントは過去数年で驚くべき進化を遂げました。チャットボットは、自然言語処理、推論、ツールの習熟度など、多くの有用なスキルで知られる大規模な言語モデル（LLM）を使用することがよくあります。これらの新しいアプリケーションは、潜在的な危険を軽減するために徹底的なテストと慎重な展開が必要です。したがって、生成AIによって動作する製品には、ポリシーに違反する高リスクなコンテンツの生成を防ぐための保護策を実装することが推奨されます。さらに、アドバーサリアルな入力やモデルのジェイルブレイクの試みを防ぐためにも、これらはLlama 2 Responsible Use Guideなどのリソースで確認できます。オンラインのコンテンツを管理するためのツールを探している場合、Perspective API1、OpenAI Content Moderation API2、およびAzure Content Safety API3はすべて良い出発点です。ただし、これらのオンラインモデレーション技術は、入出力のガードレールとして使用した場合にはいくつかの理由で失敗します。最初の問題は、ユーザーとAIエージェントの危険性を区別する方法が現在存在しないことです。結局のところ、ユーザーは情報や援助を求めますが、AIエージェントはそれを提供する可能性が高いです。さらに、すべてのツールは設定されたポリシーを強制するため、ユーザーはツールを新しいポリシーに合わせて変更できません。第三に、個々のユースケースに合わせて微調整することは不可能です。最後に、すべての既存のツールは控えめな伝統的なトランスフォーマーモデルに基づいています。より強力なLLMと比較すると、これは彼らのポテンシャルを大幅に制限します。新しいメタ研究は、会話型AIエージェントのプロンプトとレスポンスの潜在的な危険を分類するための入出力保護ツールを明らかにします。これにより、LLMを基にしたモデレーションが可能となり、この分野でのニーズを満たします。彼らの分類ベースのデータは、ロジスティック回帰に基づく入出力保護モデルであるLlama Guardをファインチューニングするために使用されます。 Llama Guardは関連する分類ベースをモデルの入力として受け取り、指示義務を適用します。ユーザーは、ゼロショットまたはフューショットのプロンプティングを使用してモデルの入力を個別のユーズケースに適した分類ベースでカスタマイズすることができます。推論時間では、複数のファインチューニングされた分類ベースの中から選択し、適切にLlama Guardを適用することができます。彼らは、LLMの出力（AIモデルからの応答）とヒューマンリクエスト（LLMへの入力）のラベリングに異なるガイドラインを提案しています。したがって、ユーザーとエージェントの責任の意味差をLlama Guardが捉えることができます。 LLMモデルがコマンドに従うという能力を利用することで、彼らはたった1つのモデルでこれを実現することができます。彼らはまた、Purple Llamaを発表しました。将来的には、これはリソースと評価をまとめたプロジェクトとなり、オープンで創造的なAIモデルを倫理的に構築するためのコミュニティを支援します。サイバーセキュリティと入出力保護ツールおよび評価は、最初のリリースの一部となり、さらに多くのツールが追加されます。彼らは業界で初めてのLLMのための包括的なサイバーセキュリティ安全評価を提供しています。これらのガイドラインは、セキュリティの専門家と共同で開発され、業界の推奨事項や基準（CWEやMITRE ATT&CKなど）に基づいています。この最初のリリースでは、ホワイトハウスが責任あるAIの創造を約束した中で、以下のような危険を緩和するのに役立つリソースを提供することを目指しています。<ul><li>LLMサイバーセキュリティの脅威を数量化するためのメトリック。</li><li>安全でないコード提案の普及を評価するためのツール。</li><li>LLMをより安全に書き換えることやサイバー攻撃の実行を助けるための手段。</li></ul>これらのツールにより、LLMが安全でないAI生成コードを提案する頻度を減らすことによって、サイバー攻撃者へのLLMの有用性が低下すると予想されます。彼らの研究では、LLMが安全でないコードを提案したり、悪意のあるリクエストを受け入れたりする場合に、深刻なサイバーセキュリティの懸念があることがわかっています。 LLMへのすべての入力と出力は、Llama…

Google Researchがジェネレーティブな無限語彙トランスフォーマー（GIVT）を発表 – AIにおける先駆的な実数値ベクトルシークエンス

トランスフォーマーは最初に導入され、自然言語処理の主要なアーキテクチャとして急速に台頭しました。最近では、コンピュータビジョンでも非常に人気があります。Dosovitskiyらは、画像をパッチのシーケンスに分割し、それらのパッチを線形に埋め込み、その結果得られる特徴のシーケンスをトランスフォーマーエンコーダに供給することで、CNNベースのアーキテクチャに勝る効果的な画像分類器を作成する方法を示しました。セグメンテーション、検出、および分類などの多くの区別的なビジョンタスクにおいて、このアプローチは現在の標準です。ただし、生成トランスフォーマーデコーダはある事前定義された有限のボキャブラリーから離散的なトークンを消費して予測するため、画像を（非量子化された）特徴ベクトルのシーケンスにマッピングすることは、トランスフォーマーベースの画像生成には適切ではありません。このような構造は自然言語に自然に適合し、デコーダーモデル単体では、効果的なトレーニングがインストラクターフォースと強力な連続生成モデリングを介して可能です。最近の取り組みでは、ベクトル量子化変分オートエンコーダ（VQ-VAE）を使用して画像を離散トークンのシーケンスにマッピングし、その後、トランスフォーマーデコーダを使用して潜在的な離散トークンの分布をモデル化するための手法を採用しています。このアプローチは、画像を利用した多走的生成モデルも容易にします。しかし、2段階のメソッドは画像とマルチモーダルコンテンツの作成には適していますが、いくつかの問題があります。 VQ-VAE内のボキャブラリーサイズによって、潜在的なモデリングや画像の細部調整の調整が困難になるため、潜在的なコードの情報量が減少します。また、トークンを使用して密度予測や低レベルの区別的なタスクにトークンを使用するアプリケーションの品質にも影響を与えます。ボキャブラリーサイズの拡大はこの問題の解決に役立ちますが、それによってボキャブラリーの使用が不十分になる場合があります。したがって、高品質なVQ-VAEセットアップでは、エントロピー損失やコードブックの分割などの洗練された方法に頼る必要があります。さらに、巨大なボキャブラリーは記憶容量を多く消費する埋め込み行列をもたらし、異なるモダリティのボキャブラリーが混在するマルチモーダルシナリオでは、問題が発生する可能性があります。研究チームは、これらの問題を回避するために、デコーダーモデルを変更して、離散的なトークンと、したがって、固定された有限のボキャブラリーを必要としない連続した実数値のベクトルシーケンスで動作する生成トランスフォーマーデコーダを提案しています。特に、Google DeepMindとGoogle Researchの研究チームは、実数値のベクトルシーケンスを用いて機能する生成型無限ボキャブラリートランスフォーマー（GIVT）を提案しています。実数値のベクトルは無限ボキャブラリーと見なすことができるため、研究チームはこれをGIVTと呼んでいます。図1に示されているように、研究チームはトランスフォーマーデコーダの設計をわずかに変更しました（合計2つの変更）。1）入力では、研究チームは離散的なトークンの代わりに連続した実数値のベクトルシーケンスを線形に埋め込む。2）出力では、研究チームは有限のボキャブラリー上のカテゴリカル分布のパラメータを予測するのではなく、連続した実数値のベクトル上の連続した分布のパラメータを予測します。研究チームは、教師強制と因果関係注意マスクを使用してこのモデルをトレーニングしました。また、研究チームはMaskGITに類似した高速進行マスクバイダイレクショナルモデリングも調査しました。図1は、連続した無限ボキャブラリーのバリエーション（右側のGIVT）を典型的な離散トークン生成トランスフォーマー（左側）と比較するための同じデコーダーモデルを使用しています。 GIVTは、入力時に斜めに並んだ連続した実数値ベクトルのシーケンスで離散トークンを置き換えます。有限のボキャブラリー上のカテゴリカル分布を予測する代わりに、GIVTは出力時に連続した実数値ベクトル上の連続した分布のパラメータを予測します。高解像度の画像を平坦化して生成されるRGBピクセルの系列は、理論的には任意の特徴ベクトルの系列にGIVTを適用することができるものの、直接的にモデル化するのは難しい例です。それは長くて複雑な分布を持っていることもあります。したがって、研究チームはまず、ガウス事前VAEを使用して低次元の潜在空間をトレーニングし、次にGIVTでモデル化します。これは、VQ-VAEと類似した2段階のテクニックに似ています。研究チームはまた、シーケンスモデリングの文献からいくつかの推論戦略（温度サンプリングや分類器フリーガイディングなど）を転用しました。注目すべきは、実数値トークンだけを使って、これによってVQベースの技術と同等か優れたモデルが生成されることです。以下に彼らの主な貢献を簡潔に述べます： 1. UViMを使用して、研究チームはGIVTが密な予測タスク（セマンティックセグメンテーション、深度推定、ピクチャーシンセシスなど）において、通常の離散トークン変換デコーダーよりも同等または優れたパフォーマンスを達成することを示しています。 2. 研究チームは、連続ケースにおける従来のサンプリング方法の効果（温度サンプリング、ビームサーチ、分類器フリーガイディング）の派生と有効性を導き出し、証明しました。 3. KL項の重み付けを使用して、研究チームはVAE潜在空間の正規化レベルと現れるGIVTの特性との関連性を検討しました。研究チームは、VQ-VAE文献の洗練されたトレーニング方法（潜在表現への補助損失、コードブックの再初期化、専用の最適化アルゴリズムなど）はVAEおよびGIVTのトレーニングでは使用されていないことを強調しており、単純に通常の深層学習ツールボックスのアプローチに依存していると述べています。

「エキスパートのミックスについて解説」

ミクストラル8x7Bのリリース（発表、モデルカード）により、トランスフォーマのクラスがオープンAIコミュニティで最も話題となっています。それがエキスパートの混合（Mixture of Experts、略してMoEs）です。このブログ記事では、MoEsの構成要素、トレーニング方法、および推論時の考慮事項について見ていきます。さあ、深く掘り下げてみましょう！目次ミクストラルとは何ですか？ MoEsの簡潔な歴史スパース性とは何ですか？ MoEsのトークンのロードバランシング MoEsとトランスフォーマスイッチトランスフォーマルータZ損失によるトレーニングの安定化エキスパートは何を学ぶのですか？エキスパートの数をスケーリングすると事前トレーニングにどのような影響を与えるのですか？ MoEsの微調整スパースMoEsと密なモデルの使用時期はいつですか？ MoEsを効果的に活用するためにエキスパート並列処理能力係数と通信コストサービングテクニック効率的なトレーニングオープンソースのMoEs ワークのエキサイティングな方向性いくつかのリソース…

ハグ顔（Hugging Face）での最新技術の組み合わせであるミクストラル（Mixtral）へようこそ

Mixtral 8x7bは、ミストラルが本日リリースした刺激的な大型言語モデルで、オープンアクセスモデルの最新技術基準を上回り、多くのベンチマークでGPT-3.5を凌駕しています。私たちは、MixtralをHugging Faceエコシステムに包括的に統合してのローンチをサポートすることに興奮しています🔥！本日リリースされる機能と統合には以下があります：ハブ上のモデル、モデルカードとライセンス（Apache 2.0） 🤗 Transformers統合推論エンドポイントとの統合高速で効率的な本番推論のためのテキスト生成推論との統合 🤗 TRLを使用した単一のGPUでのMixtralの微調整の例目次 Mixtral 8x7bとは何ですか名前についてプロンプト形式分からないことデモ推論 🤗 Transformersを使用するテキスト生成推論を使用する 🤗…

「GPTの進化を探る ChatGPT-4の新機能と、コンバーショナルAIの再定義」

以前のバージョンをベースに、多様性と倫理的考慮を特徴とするConversational AIのChatGPT-4の進化を探求し、新たな可能性を解き放つ

Learn more about Search Results 比較 - Page 14