Search Results フ

「Amazon SageMaker Pipelines、GitHub、およびGitHub Actionsを使用して、エンドツーエンドのMLOpsパイプラインを構築する」

機械学習（ML）モデルは孤立して動作するものではありません価値を提供するためには、既存の製造システムやインフラに統合する必要がありますそのため、設計と開発の過程でMLライフサイクル全体を考慮する必要がありますMLオペレーション（MLOps）は、MLモデルの生涯にわたって効率化、自動化、およびモニタリングを重視しています堅牢なMLOpsパイプラインを構築するには、異なる部門間の協力が求められます[…]

グーグルの研究者たちは、差分プライバシーを持つ機械学習システムの監査において、新たなシングルランアプローチを発表しました

差分プライバシー（DP）は、モデルの訓練に使用される個人データのプライバシーを保護するための機械学習のよく知られた技術です。これは、モデルの出力が入力データの個人の存在または不在に影響されないことを保証する数学的な枠組みです。最近、このようなモデルのプライバシー保証を柔軟かつ効率的な方法で評価するための新しい監査手法が開発されました。この手法は、基礎となるアルゴリズムに対して最小限の仮定を置いた多目的かつ効率的な評価を可能にします。グーグルの研究者たちは、個別のトレーニングランに焦点を当てた差分プライバシーを持つ機械学習システムの監査手法を紹介しました。この研究では、差分プライバシーと統計的一般化の関係に重点が置かれており、提案された監査手法の重要な側面となっています。 DPは個別のデータが結果に重大な影響を与えないことを保証し、計算可能なプライバシー保証を提供します。プライバシーの監査は、DPのアルゴリズムにおける分析や実装のエラーを評価します。従来の監査は計算コストが高く、複数の実行を必要とすることがしばしばあります。この手法は、トレーニング例の追加または削除を並列に行うことで計算コストを最小限に抑え、アルゴリズムに最小限の仮定を課すことができ、ブラックボックスおよびホワイトボックスのシナリオに適応することができます。 https://arxiv.org/abs/2305.08846 この研究で示される手法は、アルゴリズムを最小限の仮定で追加または除外の例を独立して含め、意思決定のためのスコアを計算することで、統計的一般化と差分プライバシーの関係を分析しています。このアプローチは、ブラックボックスおよびホワイトボックスのシナリオに適用可能です。アルゴリズム3であるDP-SGDオーディターは、具体的な具現化です。それは、異なるパラメータの評価や分布内の例の考慮を含む、さまざまな差分プライバシーアルゴリズムに対して彼らの監査手法の一般化可能性を強調しています。この監査手法は、数学的な分析やエラー検出の評価を支援する計算可能なプライバシー保証を提供します。提案された監査手法は、さまざまな差分プライバシーアルゴリズムに適用可能であり、分布内の例やパラメータの評価などの考慮事項があります。これにより、計算コストを削減しながら効果的なプライバシー保証が実現されます。提案された監査手法により、単一のトレーニングランで差分プライバシーを持つ機械学習技術を評価し、個別にトレーニング例を追加または削除することで並列処理を活用することができます。この手法は、従来の監査に比べて計算コストを削減しながら効果的なプライバシー保証を提供します。さまざまな差分プライバシーアルゴリズムに適用可能な監査手法の汎用性が強調されています。分布内の例やパラメータの評価など、実践的な考慮事項にも対応しており、プライバシー監査に貢献しています。まとめると、この研究の主なポイントは次の通りです：提案された監査手法により、単一のトレーニングランで差分プライバシーを持つ機械学習技術を評価することが可能であり、トレーニング例の追加または削除を並列に行います。この手法は、アルゴリズムに関して最小限の仮定を必要とし、ブラックボックスおよびホワイトボックスの設定の両方に適用することができます。この手法は、計算可能なプライバシー保証を提供し、アルゴリズムの実装のエラーを検出したり数学的な分析の正確さを評価したりすることができます。この手法はさまざまな差分プライバシーアルゴリズムに適用可能であり、従来の監査に比べて計算コストを削減しながら効果的なプライバシー保証を提供します。

マイクロソフトAIがLLMLinguaを発表：大型言語モデル（LLM）の高速推論のためのユニークなクイック圧縮テクニックでプロンプトを圧縮

大規模言語モデル（LLM）は、その高い一般化能力と推論能力により、人工知能（AI）コミュニティを大きく押し上げています。これらのモデルは非常に優れた能力を持ち、自然言語処理（NLP）、自然言語生成（NLG）、コンピュータビジョンなどの能力を示しています。ただし、インコンテキスト学習（ICL）やチェーン・オブ・ソート（CoT）プロンプトなどの新しい展開は、数万トークン以上にも及ぶ長いプロンプトの展開を引き起こしています。これは、費用対効果と計算効率の観点からモデル推論に問題を提起しています。これらの課題に対処するため、Microsoft Corporationの研究チームは、LLMLinguaというユニークな粗いから細かい圧縮技術を開発しました。LLMLinguaは、長いプロンプトの処理に関連する費用を最小限に抑え、モデルの推論を迅速化することを主な目的として開発されました。これを達成するために、LLMLinguaは以下のいくつかの重要な戦略を使用しています。予算コントローラー：動的予算コントローラーを作成しました。これにより、圧縮比が元のプロンプトのさまざまな部分に均等に分配されるようになります。これにより、大きな圧縮比でもプロンプトの意味的な整合性が維持されます。トークンレベルの反復圧縮アルゴリズム：トークンレベルの反復圧縮アルゴリズムがLLMLinguaに統合されています。この技術により、圧縮要素間の相互依存関係を捉えながら、プロンプトの重要な情報を維持したより高度な圧縮が可能となります。指示チューニングベースのアプローチ：チームは、言語モデル間の分布の不整合問題に対処するために、指示チューニングベースのアプローチを提案しました。言語モデルの分布を整合させることで、迅速な圧縮に使用される小さな言語モデルと意図されたLLMの互換性が向上します。チームは、LLMLinguaの有用性を検証するために、理論的なデータセットとしてGSM8KとBBHを、会話用データセットとしてShareGPTを、要約用データセットとしてArxiv-March23を使用して分析と実験を行いました。結果は、提案アプローチが各状況で最新技術のパフォーマンスを達成していることを示しました。結果は、圧縮比20倍までの大幅な圧縮を可能にする一方でパフォーマンスの面でわずかな犠牲を払いました。実験で使用された小規模言語モデルはLLaMA-7Bであり、閉じたLLMはGPT-3.5-Turbo-0301でした。LLMLinguaは、推論、要約、議論のスキルを維持しながら最大圧縮比20倍でも従来の圧縮技術を上回り、弾力性、経済性、効率性、回復性を備えています。 LLMLinguaの効果は、さまざまな閉じたLLMと小規模言語モデルで観察されました。LLMLinguaは、GPT-2-smallを使用した場合には大きなモデルとほぼ同等のパフォーマンス結果を示しました。また、予想される迅速な結果を上回る強力なLLMでも成功を収めました。 LLMLinguaの回復性は、圧縮されたプロンプトを元に戻す際に重要な推論情報を効果的に取り出すことによって示されます。完全な9ステップのCoTプロンプトを復元するために使用されたGPT-4は、圧縮されたプロンプトの意味と類似を保ちながら重要な情報を取り戻しました。この機能により、LLMLinguaは回復性を保証し、翻訳後も重要な情報を保持し、LLMLingua全体の印象を高めています。結論として、LLMLinguaはLLMアプリケーションにおける長いプロンプトによって引き起こされる困難に包括的な解決策を提供しました。この方法は優れたパフォーマンスを示し、LLMベースのアプリケーションの効果とコスト効率を向上させる有用な方法を提供しています。

空からのパイ：ドローンスタートアップがピザ、薬物、そして興奮をお届けします

ジップラインは、ただの空飛ぶドローンのスタートアップではありません。このサンフランシスコを拠点とする企業は、2011年の開始以来、7つの国で80万回以上の配送を完了しました。最近では、シアトルのパリャッチピザ、ビタミン・サプリメントの巨大企業であるGNC、およびIntermountain Health、OhioHealth、Michigan Medicineなどの大規模な医療システム向けにもサービスを追加しました。ジップラインは、NVIDIA JetsonエッジAIおよびロボティクスプラットフォームを使用して、自律的なナビゲーションと精密な着陸ができるドローンを開発しました。これらのドローンは現在までで5500万マイル以上を飛行しています。この急成長を遂げている企業は最近、43億ドル以上の評価額で3億3000万ドルの資金調達に成功しました。ジップラインは、技術的なサポートとAIプラットフォームのガイダンスを提供するプログラムであるNVIDIA Inceptionのメンバーです。ジェットソンパワードフリートでの配送同社のP1ドローン（プラットフォーム1）は、7年間の稼働を経て実稼働に移行しており、現在はJetson Xavier NXシステムオンモジュールを使用してセンサー入力を処理しています。GPS、航空交通管制の通信、慣性計測ユニットセンサー、および搭載された検出および回避システムによって誘導され、安全性のためにガイダンスの冗長性も持っています。ジップラインの固定翼ドローンは、55マイル以上を時速70マイルで飛行し、いくつかのジップラインの配送センターから配送を行い、その後戻ることができます。最大4ポンドの貨物を運ぶことができ、自律的に配送場所を飛び越え、パラシュートで目的地に向かってパッケージを降ろすことができます。 P2ドローン（プラットフォーム2）は、固定翼飛行で高速に飛行できるハイブリッドドローンであり、またホバリングも可能です。10マイルの距離で8ポンドの貨物を運び、細かな配置を完了するために、テザーで下げるドロイドを搭載しています。これは、密集した都市環境での使用を想定しています。 P2には2つのJetson Orin NXモジュールが使用されています。1つはドローンの環境を理解するためのセンサーフュージョンシステム用です。もう1つはテザーによって降下するドロイド内にあり、追加の安全性のための冗長性を提供します。ジップラインのP2ドロイドでは、最小かつ最も素早く、最も安全で最も静かなドローンを使って精密なデリバリーを実現することを目指しています。ジップラインは世界中で毎秒70回のデリバリーを行っています。多数の顧客に向けて飛び立つジップラインのサービスには顧客が惹かれる利点があります。同社によれば、そのドローンは車両の配送に比べて7倍速い配達時間を実現しています。「当社の航空機は時速70マイルで飛行しますので、交通渋滞や信号待ちの心配はありません。配送時間は数分です」とマーダールは語ります。「配達には一桁の分数の時間がかかりますので、確かに他の方法よりも速いです。」ピザ、ビタミン、薬の配送だけでなく、ジップラインはWalmart、レストランチェーンのSweetgreen、Michigan…

ヴィンセント・ファン・ゴッホの復活

パリのオルセー美術館では、ヴィンセント・ファン・ゴッホのレプリカが訪問者とおしゃべりし、彼の生涯や死についての洞察を提供しています

KNNクラシファイアにおける次元の呪い

この記事では、KNNアルゴリズムにおけるカース次元の影響について詳しく紹介しますKNNアルゴリズムの概要から始め、その仕組みを簡単に説明し、適切な直感を身につけることを目指します

AIの新たなフロンティアを探る：Google DeepMindのReSTEM自己学習による機械学習の進化に関する研究

大型の言語モデル（LLMs）は、人間レベルのテキストを生成し、さまざまな言語タスクを実行する驚異的な能力によって、ディープラーニングを変革しています。高品質な人間データを入手することは、興味のあるタスクの性能をさらに向上させるための敷居となっています。特に、多くのリソースと専門知識を必要とする複雑な問題解決の割り当てには負担がかかります。この障害を克服するために、モデル生成の合成データは、その品質が保証される場合にはスケーラブルかつ手頃な解決策として有望です。この研究では、Google DeepmindとMilaの研究者は、LLMsが作成されたデータを自己評価できる場合でも、外部のスカラーフィードバック信号が各生成サンプルの品質指標として機能するより簡単なシナリオを調査しています。研究チームは、言語モデルのための直感的で効果的なセルフトレーニング技術を提案しています。この手法は、2つのスキルのみを必要とします：1）モデルからサンプルを作成すること、および2）これらのサンプルをスコアリングメカニズムを使用して評価すること。このアプローチにより、モデルが生成したデータによるトレーニングを研究することができます。研究チームは、Reinforced Self-Trainingの呼び方を使い、この技術をReST𝐃𝑀と呼んで一貫性と明確性を実現しています。研究チームは、ReST𝐃𝑀を強化学習のための期待最大化と考えることができる方法を示しています。具体的には、ReST𝐃𝑀は以下のように期待値と最大値のフェーズを切り替えています：1. 生成（Eステップ）：入力コンテキストごとに、言語モデルは複数の出力サンプルを生成します。その後、研究チームはこれらのサンプルを2値報酬を使用してフィルタリングしてトレーニングデータセットを収集します。2. 改善（Mステップ）：元の言語モデルは、前の生成フェーズからのトレーニングデータセットを使用して監視および微調整されます。次の生成フェーズでは、調整されたモデルが使用されます。ReST𝐃𝑀およびその派生版は、機械翻訳、意味解析、および好みの整合において、言語モデルの向上に効果的であることが示されています。 ReST𝐃𝑀は、主に非常に小さな言語モデル（最大7Bのパラメータまで）で従来の研究で使用され、より大きなモデルに対しては限定的なスケーラビリティがありました。彼らの研究は、モデルによって作成された合成データと人間提供データのスケーラビリティと効果を比較することにより、これらの取り組みを補完することを意図しています。具体的には、コード生成（APPS）および競技レベルの数学的問題解決（MATH）という2つの難しいが研究されていないドメインで、パLM 2モデルに対してReST𝐃𝑀を適用することで、数学的な推論力とコード生成のスキルが大幅に向上することを示しています。驚くべきことに、モデルによって作成された人工データで改良されたモデルは、人間が提供したデータでトレーニングされたモデルよりもはるかに優れた性能を発揮します。さらに、ReST𝐃𝑀の数サイクル後に改善が低下し、トレーニングケースの数に過学習の可能性が示唆されています。また、ReST𝐃𝑀を使用して最適化されたモデルは、pass@kおよび多数決の機能を向上させます。最後に、これらの改良されたモデルは、ビッグベンチハードタスク、コーディング（ヒューマン評価）、および算術問題（GSM8KおよびハンガリーHS決勝）を含む類似したが異なるベンチマークでのパフォーマンスも向上しています。最後に、ReST𝐸𝑀の微調整におけるトレーニング問題、反復回数、およびモデル生成ソリューションの量の影響を調査するための削除研究が行われています。

ミストラルの最先端言語モデル、Mixtral 8x7bをご紹介しますGPT-3.5を超えるオープンアクセスAIです

大容量の言語モデルの領域は、Mixtral 8x7bの登場により、大きな進歩を遂げました。 Mistral AIは、印象的な機能と独自のアーキテクチャを持つこの新しいモデルを開発しました。このモデルは、Transformerモデルにおいて革新的なアプローチであるフィードフォワードレイヤーをスパースなエキスパート混合 (MoE) レイヤーで置き換えています。 Mixtral 8x7bは、1つのフレームワーク内に8つのエキスパートモデルを持つモデルです。このモデルはMixture of Experts（MoE）であり、Mixtralは卓越したパフォーマンスを実現できます。エキスパートの混合は、モデルが著しく少ない計算能力で事前学習されることを可能にします。これにより、モデルやデータセットのサイズを大幅に拡大することができるため、計算予算を増やさずに行うことができます。 MoEレイヤーにはルーターネットワークが組み込まれており、どのエキスパートがどのトークンを効率的に処理するかを選択します。12Bパラメータの密なモデルよりも4倍のパラメータを持っているにもかかわらず、Mixtralのモデルは、各タイムステップごとに2つのエキスパートが選択されるため、高速でデコードできます。 Mixtral 8x7bは32,000トークンのコンテキスト長の容量を持ち、Llama 2 70Bを上回り、さまざまなベンチマークでGPT3.5と比較可能または優れた結果を示しています。研究者は、このモデルがさまざまなアプリケーションに対して柔軟に対応できると述べています。それは多言語対応であり、英語、フランス語、ドイツ語、スペイン語、イタリア語で流暢さを示しています。また、コーディングの能力も優れており、HumanEvalテストで40.2%のスコアを獲得し、包括的な自然言語処理ツールであることが確認されました。 Mixtral Instructは、MT-BenchやAlpacaEvalなどの業界標準でのパフォーマンスを示しました。MT-Benchでは、他のどのオープンアクセスモデルよりも優れたパフォーマンスを発揮します。また、7,000,000,000のパラメータを持っているにもかかわらず、このモデルは8つのアンサンブルのように機能します。56,000,000,000のスケールには達しませんが、総パラメータ数はおよそ45,000,000,000です。また、Mixtral Instructはインストラクションやチャットモデルの領域で優れた性能を発揮し、その支配的な地位を確立しています。 Mixtral Instructのベースモデルには、他のベースモデルと整合する特定のプロンプト形式がありません。この柔軟性により、ユーザーは入力シーケンスをスムーズに信憑性のある継続に拡張したり、ゼロショット/フューショットの推論に利用したりすることができます。ただし、事前トレーニングのデータセットの寸法、構成、および前処理方法についての完全な情報はまだ不明です。同様に、Mixtral InstructモデルのDPO（ドメイン提供目的）およびSFT（いくつかのファインチューニング）に使用されるファインチューニングデータセットと関連するハイパーパラメータも不明です。要約すると、Mixtral…

『ジェネラティブAIの電力消費の定量化』

更新日：2023年12月11日—アナウンスメントにおいてAMDが予想する売上高の倍増を反映するため、アナウンスメントの付録に改訂された分析Generative AIにはグラフィックス処理ユニット（GPU）が必要であり、それらはたくさん必要とされます計算が…

「プロンプトチューニングとは何ですか？」

即興チューニングでは、注意深く設計された「プロンプト」と呼ばれるテキストを大規模言語モデル（LLM）に作成・入力しますこのプロンプトは、モデルの応答を本質的にガイドし、希望の出力スタイル、トーン、または内容に向かって誘導します従来のモデルのトレーニングとは異なり、大規模なデータセットでモデルを再トレーニングする必要があるのに対し、プロンプトのチューニングはわずかなセットのみが必要です

Learn more about Search Results フ - Page 10