Search Results arXiv

すべての開発者が知るべき6つの生成AIフレームワークとツール

この記事では、トップのジェネラティブAIフレームワークとツールについて探求しますあなたの想像力を解き放ち、ジェネラティブAIの可能性を探究するために必要なリソースを発見してください

グーグルの研究者たちは、差分プライバシーを持つ機械学習システムの監査において、新たなシングルランアプローチを発表しました

差分プライバシー（DP）は、モデルの訓練に使用される個人データのプライバシーを保護するための機械学習のよく知られた技術です。これは、モデルの出力が入力データの個人の存在または不在に影響されないことを保証する数学的な枠組みです。最近、このようなモデルのプライバシー保証を柔軟かつ効率的な方法で評価するための新しい監査手法が開発されました。この手法は、基礎となるアルゴリズムに対して最小限の仮定を置いた多目的かつ効率的な評価を可能にします。グーグルの研究者たちは、個別のトレーニングランに焦点を当てた差分プライバシーを持つ機械学習システムの監査手法を紹介しました。この研究では、差分プライバシーと統計的一般化の関係に重点が置かれており、提案された監査手法の重要な側面となっています。 DPは個別のデータが結果に重大な影響を与えないことを保証し、計算可能なプライバシー保証を提供します。プライバシーの監査は、DPのアルゴリズムにおける分析や実装のエラーを評価します。従来の監査は計算コストが高く、複数の実行を必要とすることがしばしばあります。この手法は、トレーニング例の追加または削除を並列に行うことで計算コストを最小限に抑え、アルゴリズムに最小限の仮定を課すことができ、ブラックボックスおよびホワイトボックスのシナリオに適応することができます。 https://arxiv.org/abs/2305.08846 この研究で示される手法は、アルゴリズムを最小限の仮定で追加または除外の例を独立して含め、意思決定のためのスコアを計算することで、統計的一般化と差分プライバシーの関係を分析しています。このアプローチは、ブラックボックスおよびホワイトボックスのシナリオに適用可能です。アルゴリズム3であるDP-SGDオーディターは、具体的な具現化です。それは、異なるパラメータの評価や分布内の例の考慮を含む、さまざまな差分プライバシーアルゴリズムに対して彼らの監査手法の一般化可能性を強調しています。この監査手法は、数学的な分析やエラー検出の評価を支援する計算可能なプライバシー保証を提供します。提案された監査手法は、さまざまな差分プライバシーアルゴリズムに適用可能であり、分布内の例やパラメータの評価などの考慮事項があります。これにより、計算コストを削減しながら効果的なプライバシー保証が実現されます。提案された監査手法により、単一のトレーニングランで差分プライバシーを持つ機械学習技術を評価し、個別にトレーニング例を追加または削除することで並列処理を活用することができます。この手法は、従来の監査に比べて計算コストを削減しながら効果的なプライバシー保証を提供します。さまざまな差分プライバシーアルゴリズムに適用可能な監査手法の汎用性が強調されています。分布内の例やパラメータの評価など、実践的な考慮事項にも対応しており、プライバシー監査に貢献しています。まとめると、この研究の主なポイントは次の通りです：提案された監査手法により、単一のトレーニングランで差分プライバシーを持つ機械学習技術を評価することが可能であり、トレーニング例の追加または削除を並列に行います。この手法は、アルゴリズムに関して最小限の仮定を必要とし、ブラックボックスおよびホワイトボックスの設定の両方に適用することができます。この手法は、計算可能なプライバシー保証を提供し、アルゴリズムの実装のエラーを検出したり数学的な分析の正確さを評価したりすることができます。この手法はさまざまな差分プライバシーアルゴリズムに適用可能であり、従来の監査に比べて計算コストを削減しながら効果的なプライバシー保証を提供します。

マイクロソフトAIがLLMLinguaを発表：大型言語モデル（LLM）の高速推論のためのユニークなクイック圧縮テクニックでプロンプトを圧縮

大規模言語モデル（LLM）は、その高い一般化能力と推論能力により、人工知能（AI）コミュニティを大きく押し上げています。これらのモデルは非常に優れた能力を持ち、自然言語処理（NLP）、自然言語生成（NLG）、コンピュータビジョンなどの能力を示しています。ただし、インコンテキスト学習（ICL）やチェーン・オブ・ソート（CoT）プロンプトなどの新しい展開は、数万トークン以上にも及ぶ長いプロンプトの展開を引き起こしています。これは、費用対効果と計算効率の観点からモデル推論に問題を提起しています。これらの課題に対処するため、Microsoft Corporationの研究チームは、LLMLinguaというユニークな粗いから細かい圧縮技術を開発しました。LLMLinguaは、長いプロンプトの処理に関連する費用を最小限に抑え、モデルの推論を迅速化することを主な目的として開発されました。これを達成するために、LLMLinguaは以下のいくつかの重要な戦略を使用しています。予算コントローラー：動的予算コントローラーを作成しました。これにより、圧縮比が元のプロンプトのさまざまな部分に均等に分配されるようになります。これにより、大きな圧縮比でもプロンプトの意味的な整合性が維持されます。トークンレベルの反復圧縮アルゴリズム：トークンレベルの反復圧縮アルゴリズムがLLMLinguaに統合されています。この技術により、圧縮要素間の相互依存関係を捉えながら、プロンプトの重要な情報を維持したより高度な圧縮が可能となります。指示チューニングベースのアプローチ：チームは、言語モデル間の分布の不整合問題に対処するために、指示チューニングベースのアプローチを提案しました。言語モデルの分布を整合させることで、迅速な圧縮に使用される小さな言語モデルと意図されたLLMの互換性が向上します。チームは、LLMLinguaの有用性を検証するために、理論的なデータセットとしてGSM8KとBBHを、会話用データセットとしてShareGPTを、要約用データセットとしてArxiv-March23を使用して分析と実験を行いました。結果は、提案アプローチが各状況で最新技術のパフォーマンスを達成していることを示しました。結果は、圧縮比20倍までの大幅な圧縮を可能にする一方でパフォーマンスの面でわずかな犠牲を払いました。実験で使用された小規模言語モデルはLLaMA-7Bであり、閉じたLLMはGPT-3.5-Turbo-0301でした。LLMLinguaは、推論、要約、議論のスキルを維持しながら最大圧縮比20倍でも従来の圧縮技術を上回り、弾力性、経済性、効率性、回復性を備えています。 LLMLinguaの効果は、さまざまな閉じたLLMと小規模言語モデルで観察されました。LLMLinguaは、GPT-2-smallを使用した場合には大きなモデルとほぼ同等のパフォーマンス結果を示しました。また、予想される迅速な結果を上回る強力なLLMでも成功を収めました。 LLMLinguaの回復性は、圧縮されたプロンプトを元に戻す際に重要な推論情報を効果的に取り出すことによって示されます。完全な9ステップのCoTプロンプトを復元するために使用されたGPT-4は、圧縮されたプロンプトの意味と類似を保ちながら重要な情報を取り戻しました。この機能により、LLMLinguaは回復性を保証し、翻訳後も重要な情報を保持し、LLMLingua全体の印象を高めています。結論として、LLMLinguaはLLMアプリケーションにおける長いプロンプトによって引き起こされる困難に包括的な解決策を提供しました。この方法は優れたパフォーマンスを示し、LLMベースのアプリケーションの効果とコスト効率を向上させる有用な方法を提供しています。

BERTopic（バートピック）：v0.16の特別さは何なのでしょうか？

私のBERTopicへの野望は、重要な柔軟性とモジュール性を提供することにより、トピックモデリングのための一括ショップにすることですこれは過去数年間の目標であり、リリースによって達成されました...

ジェンAIに関するトップ10の研究論文

イントロダクション自然言語理解の常に進化する風景の中で、研究者たちは革新的なアプローチを通じて可能性の限界を em>押し上げることを続けています。本記事では、生成AI（GenAI）に関する画期的な研究論文のコレクションについて探求していきます。これらの研究は、人間の好みとの一致度向上からテキストの説明から3Dコンテンツを生成するという様々な側面にわたって言語モデルを探究しています。これらの研究は学術的な論議に貢献すると同時に、自然言語処理の未来を形作る可能性のある実践的な洞察を提供しています。これらの啓発的な調査を通じて旅を始めましょう。 GenAIに関するトップ10の研究論文 GenAIに関する数百の研究論文の中から、以下は私たちのトップ10の選り抜きです。 1. 生成プリトレーニングによる言語理解の向上この研究論文は、非教示型のプリトレーニングと教示型のファインチューニングを組み合わせて自然言語理解タスクを強化するための半教師付きアプローチを探求しています。この研究では、Transformerアーキテクチャに基づいたタスクに依存しないモデルを利用しています。これにより、多様な未ラベルのテキストでの生成プリトレーニングとその後の識別的ファインチューニングによって、さまざまな言語理解ベンチマークでのパフォーマンスが大幅に向上することが明らかになりました。このモデルは、常識的な推論において8.9%、質問応答において5.7%、テキスト言い換えにおいて1.5%といった注目すべき改善を達成しました。この研究は、大規模な未ラベルのコーパスをプリトレーニングに活用し、ファインチューニング中のタスクに意識した入力変換を行うことが、教師なし学習を自然言語処理や他の領域で進めるための貴重な洞察を提供しています。論文はこちらで入手できます：https://s3-us-west-2.amazonaws.com/openai-assets/research-covers/language-unsupervised/language_understanding_paper.pdf 2. 人間フィードバックを用いた強化学習：悲観主義を通じたダイナミックな選択の学習この生成AIに関する研究論文は、オフラインでの人間フィードバックによる強化学習（RLHF）の難しい領域に深入りしています。この研究は、人間の選択に影響を受けたトラジェクトリの集合から、マルコフ決定過程（MDP）における人間の基盤と最適方策を把握することを目指しています。この研究は、経済計量学に根ざしたダイナミックディスクリートチョイス（DDC）モデルに焦点を当て、有界合理性を持った人間の意思決定をモデル化します。提案されたDynamic-Choice-Pessimistic-Policy-Optimization（DCPPO）メソッドは、次の3つのステージで構成されています。それらは、人間の行動方針と価値関数の推定、人間の報酬関数の再現、および事実に近い最適方策のための悲観的価値反復の呼び出しです。この論文は、動的なディスクリートチョイスモデルによるオフポリシーオフラインRLHFについての理論的な保証を提供しています。分布のシフトや次元のサブオプティマリティの課題への対処についての洞察も提供しています。論文はこちらで入手できます：https://arxiv.org/abs/2305.18438 3. ニューラル確率言語モデルこの研究論文は、次元の呪いによって生じる統計的言語モデリングの課題に取り組み、未見の単語の連続列に対して一般化する難しさに焦点を当てています。提案された解決策は、単語の分散表現を学習することで、各トレーニング文がモデルに対して意味的に隣接する文について情報を提供することを可能にします。単語の表現と単語列の確率関数を同時に学習することで、モデルは一般化性能を向上させることができます。ニューラルネットワークを用いた実験結果は、最先端のn-gramモデルに比べて大幅な改善を示しており、長い文脈を活用するアプローチの効果を示しています。論文は、学習された分散表現によって次元の課題に対処するモデルの能力を強調しながら、潜在的な将来の改善の可能性についても言及しています。論文はこちらで入手できます：https://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf 4. BERT：言語理解のための深層双方向トランスフォーマーの事前学習 GenAIの研究論文では、未ラベル化されたテキストに対して双方向の事前学習を行うために設計された画期的な言語表現モデルであるBERTが紹介されています。従来のモデルとは異なり、BERTはすべてのレイヤーで左右の文脈に依存し、タスク固有の修正を最小限に抑えながら微調整を可能にします。BERTはさまざまな自然言語処理タスクで最先端の結果を実現し、その簡潔さと実証的なパワーを示しています。この論文では既存の技術の制約に対処し、言語表現のための双方向の事前学習の重要性を強調しています。BERTのマスクされた言語モデル目的は、深い双方向のTransformer事前学習を促進し、タスク固有のアーキテクチャへの依存を減らし、11のNLPタスクの最先端の技術を前進させています。…

「RAGAsを使用したRAGアプリケーションの評価」

「PythonにおいてRAGAsフレームワークを使って、検索および生成コンポーネントを個別に評価するための検索強化生成（RAG）システムの評価」

「蒸留されたアイデンティティの傾向最適化（IPO）を用いて、より洗練されたチャットモデルを調整する」

アイデンティティポリシーオプティマイゼーション（IPO）の目標は、RLHFやDPOよりもトレーニングデータからの学習においてよりシンプルでより良く設計されています

「ゼロから始めるLoRAの実装」

「LoRA（ローラ）は、既存の言語モデルを微調整するための効率的で軽量な方法を提供する、Low-Rank AdaptationまたはLow-Rank Adaptorsの頭字語ですこれには、BERTのようなマスクされた言語モデルも含まれます...」

「Mixtral 8x7Bについて知っていることミストラルの新しいオープンソースLLM」

「ミストラルAIは、オープンソースのLLM（語彙・言語モデル）の領域で限界に挑戦する最も革新的な企業の一つですミストラルの最初のリリースであるミストラル7Bは、市場で最も採用されているオープンソースのLLMsの一つとなりましたA...」

「エキスパートのミックスについて解説」

ミクストラル8x7Bのリリース（発表、モデルカード）により、トランスフォーマのクラスがオープンAIコミュニティで最も話題となっています。それがエキスパートの混合（Mixture of Experts、略してMoEs）です。このブログ記事では、MoEsの構成要素、トレーニング方法、および推論時の考慮事項について見ていきます。さあ、深く掘り下げてみましょう！目次ミクストラルとは何ですか？ MoEsの簡潔な歴史スパース性とは何ですか？ MoEsのトークンのロードバランシング MoEsとトランスフォーマスイッチトランスフォーマルータZ損失によるトレーニングの安定化エキスパートは何を学ぶのですか？エキスパートの数をスケーリングすると事前トレーニングにどのような影響を与えるのですか？ MoEsの微調整スパースMoEsと密なモデルの使用時期はいつですか？ MoEsを効果的に活用するためにエキスパート並列処理能力係数と通信コストサービングテクニック効率的なトレーニングオープンソースのMoEs ワークのエキサイティングな方向性いくつかのリソース…

Learn more about Search Results arXiv - Page 2