Search Results Falcon

「Amazon SageMakerの非同期エンドポイントを使用して、Amazon SageMaker JumpStartの基礎モデルのデプロイコストを最適化する」

この投稿では、これらの状況を対象にし、Amazon SageMaker JumpStartからAmazon SageMaker非同期エンドポイントに大規模な基盤モデルを展開することによって高コストのリスクを解決しますこれにより、アーキテクチャのコストを削減し、リクエストがキューにある場合や短い生存期間のみエンドポイントを実行し、リクエストが待機している場合にはゼロにスケーリングダウンしますこれは多くのユースケースにとって素晴らしいですが、ゼロにスケーリングダウンしたエンドポイントは、推論を提供できる前に冷たいスタート時間を導入します

「Llama 2：ChatGPTに挑むオープンソースの深層ダイブ」

「プログラミングや創造的な文章作成などの特定の領域で有望な複雑な推論タスクをこなす大規模言語モデル（LLM）が存在しますしかし、LLMの世界はただプラグアンドプレイの楽園ではありません使いやすさ、安全性、計算要件において課題があります本記事では、Llama 2の能力について詳しく掘り下げながら、[…]を提供します」

「セマンティックカーネルへのPythonistaのイントロ」

ChatGPTのリリース以来、大規模言語モデル（LLM）は産業界とメディアの両方で非常に注目されており、これによりLLMを活用しようとする前例のない需要が生まれました...

FMOps / LLMOps：生成型AIの運用化とMLOpsとの違い

最近、私たちのほとんどの顧客は、大規模な言語モデル（LLM）に興味を持ち、生成型AIが彼らのビジネスを変革する可能性を考えていますしかし、このようなソリューションやモデルを通常の業務に取り入れることは容易ではありませんこの記事では、MLOpsの原則を使って生成型AIアプリケーションを運用化する方法について説明しますこれにより、基盤モデル運用（FMOps）が実現されますさらに、私たちはテキストからテキストへの生成型AIの一般的な使用例であるテキスト生成（LLMOps）とFMOpsのサブセットであるLLM運用（LLMOps）について詳しく掘り下げます以下の図は、私たちが話し合うトピックを示しています

AIの生成体験を向上させる Amazon SageMakerホスティングでのストリーミングサポートの導入

「Amazon SageMakerリアルタイム推論を通じたレスポンスストリーミングの提供を発表し、大変興奮していますこれにより、チャットボット、仮想アシスタント、音楽ジェネレータなどの生成型AIアプリケーションのインタラクティブな体験を構築する際に、SageMakerリアルタイム推論を使用してクライアントに連続的に推論レスポンスをストリーミングできるようになりましたこの新機能により、レスポンス全体が生成されるのを待つのではなく、利用可能な場合にすぐにレスポンスをストリーミング開始できますこれにより、生成型AIアプリケーションの最初のバイトまでの時間を短縮できますこの記事では、インタラクティブなチャットのユースケースに対して、新しいレスポンスストリーミング機能を使用したSageMakerリアルタイムエンドポイントを使用してストリーミングWebアプリケーションを構築する方法を紹介しますサンプルデモアプリケーションのUIにはStreamlitを使用しています」

「Amazon LexとAmazon Kendra、そして大規模な言語モデルを搭載したAWSソリューションのQnABotを使用して、セルフサービス型の質問応答を展開してください」

「Amazon Lexによるパワーを利用したAWSのQnABotソリューションは、オープンソースのマルチチャネル、マルチ言語の会話型チャットボットですQnABotを使用すると、自己サービスの会話型AIを迅速にコンタクトセンター、ウェブサイト、ソーシャルメディアチャネルに展開することができ、コストを削減し、ホールド時間を短縮し、顧客体験とブランドの評価を向上させることができますこの記事では、QnABotの新しい生成型AI機能を紹介し、これらの機能を使用するためのチュートリアルを作成、展開、カスタマイズする方法について説明しますまた、関連するユースケースについても議論します」

「トップのローコード/ノーコードAIツール（2023年9月）」

低コードおよびノーコードのAIツールとプラットフォームの台頭により、機械学習を新たな方法で活用するアプリケーションが開発されています。AIを使用することで、販売とマーケティングの連携をより良く調整するためのウェブサービスや顧客向けアプリを作成することができます。低コードおよびノーコードのソリューションを活用するためには、最小限のコーディングの知識が必要です。コーディングの必要性がほとんどない人工知能技術は、コンピュータサイエンスにおける長年の目標を反映しています。ノーコードは、コードを1行も書かずにソフトウェアを実装するソフトウェア設計システムです。同時に、低コードは、コーディングをほとんど行わずに迅速なアプリケーションの提供を促進するソフトウェア開発技術であり、低コードプラットフォームは、GUIインターフェースを使用してアプリのビジュアル開発を可能にするソフトウェアツールです。このAIツールはコーディングの必要がなく、シンプルなドラッグアンドドロップインターフェースで使用することができます。AIアプリケーションのためのコードフリーまたは低コードの開発環境です。主要な低コードおよびノーコードのAIツールは次のとおりです： MakeML MakeMLを使用して、オブジェクトの識別とセグメンテーションのための機械学習モデルを手動でコーディングすることなく生成することができます。大規模なデータセットの作成と効率的な管理のプロセスを簡素化します。MLモデルをアクションに準備するだけでなく、それらをテストすることもできます。MakeMLは、わずか数時間でAIソフトウェアを構築し、コンピュータビジョンを社内の問題に適用するためのオンラインリソースです。ビデオチュートリアルもモバイルデバイスで利用でき、機械学習をマスターするのに役立ちます。MakeMLの熟練したプロフェッショナルが、コンピュータビジョンソリューションの開発と製品への統合をサポートします。単一のGPUクラウドトレーニングと限られたデータセットのインポート/エクスポートが無料で提供されます。 Obviously AI Obviously AIの機械学習プラットフォームを使用すると、数分で正確な予測を行うことができ、コーディングの知識は必要ありません。これにより、マウスクリックひとつで機械学習アルゴリズムを作成し、その結果を予測することができます。データダイアログを使用してデータセットを追加のコードなしで変更し、MLモデルを組織全体で配布または展示することもできます。低コードAPIを使用することで、誰でもアルゴリズムを使用して予測を行い、それらの予測を実世界のアプリケーションに組み込むことができます。さらに、Obviously AIでは、効率を損なうことなく最新のアルゴリズムと技術にアクセスできます。収益予測、サプライチェーン計画、ターゲット広告などに使用することができます。リードコンバージョン、動的価格設定、ローンの返済などの結果もリアルタイムで予測できます。 SuperAnnotate SuperAnnotateを使用して、AIに関連するタスク用のスーパーデータを作成します。これは、アノテーション、管理、およびバージョン管理に関する「グラウンドトゥルー」データのエンドツーエンドのシステムです。包括的なツールキット、トップクラスのアノテーションサービス、堅牢なデータ管理システムにより、AIパイプラインを3〜5倍速くスケーリングおよび自動化することができます。業界をリードするサービスとソフトウェアを使用して、ビデオ、テキスト、イメージの高スループットデータアノテーションを実行し、高品質なデータセットを作成します。プロジェクト管理ツールとチームワークにより、モデルのフィールドでの成功を支援します。効果的なアノテーションワークフローを設定し、プロジェクトの品質を管理し、チームとのアップデートを共有し、SuperAnnotateを使用することで注釈プロセスをスピードアップすることができます。 Teachable Machine Teachable Machineを使用すると、コンピュータに音声、ジェスチャー、写真を認識させ、それに応答させることができます。コードを書く必要がなく、迅速に堅牢な機械学習モデルを作成し、アプリケーションやウェブサイトに統合することができます。Teachable Machineは、広範に使用できる機械学習モデルの開発を可能にするWebベースの低コード機械学習プラットフォームです。コンピュータに何か新しいことを教えるために、例を収集して適切なクラスに整理する必要があります。学習機としてコンピュータを試してからすぐにテストにかけることができます。モデルをオンラインプロジェクトで使用したり、モデルをオンラインでホストしたり、ダウンロード可能なファイルとして配布することもできます。そして、最も良い部分は、モデルが完全にローカルでデバイス上で動作するため、オーディオやビデオがいかなる時点でもシステムを離れることはありません。ファイル、カメラ、短い音声サンプルを使用して写真や体の向きを分類することが簡単です。 AppleのCreate ML MacでのMLモデルの教育とトレーニングに革新的なアプローチを見つけましょう。AppleのCreate MLを使用すると、効率的なMLモデルの作成とMacでのトレーニングを容易に行うことができます。1つのプロジェクトで、ユニークなデータセットを持つ複数のモデルを同時にトレーニングすることができます。また、Mac上のモデルの速度を向上させるために外部グラフィックス処理ユニットが含まれています。一時停止や再生の再開などのオプションでワークアウトを管理できます。評価セットによってモデルのパフォーマンスを確認することができます。重要なKPIや相互関係を分析して、将来のモデルの改善に役立つさまざまなユースケース、展望、投資を見つけることができます。iPhoneのカメラを使用して、連続プレビューでモデルのパフォーマンスを試すこともできます。ハードウェアアクセラレータを使用してMac上でモデルをより迅速にトレーニングすることができます。Create MLではさまざまな種類のモデルを作成することができます。モデルの種類には画像、映画、音楽、スピーチ、テキスト、テーブルなどがあります。その後、新しい情報と設定を使用してコンピュータをトレーニングすることができます。 PyCaret PyCaretは、低コードの機械学習プラットフォームであるため、Pythonでの機械学習ワークフローを自動化することができます。この基本的で直感的な機械学習ライブラリを使用すると、データの前処理、モデルのトレーニング、モデルの説明可能性、MLOps、探索的データ分析などの分析により多くの時間を費やすことができ、コードの記述にはそれほど時間を費やす必要はありません。PyCaretはモジュール化されており、異なるモデルがさまざまな機械学習操作を実行することができます。ここでは、関数はある手順に従ってジョブを実行するプロセスの集合です。PyCaretを使用すると、ほとんどの人が完全な低コードの機械学習ソリューションを作成することができます。学習のためのクイックスタートガイド、ブログ、動画、オンラインフォーラムなどがすべて利用可能です。基本的なMLアプリを作成し、モデルを迅速にトレーニングし、分析と改善の後に即座にREST…

「大規模言語モデルの評価について知っておくべきすべてのこと」

オープンソースの言語モデルがますます利用可能になるにつれて、選択肢の中で迷ってしまうことは簡単ですそれらのパフォーマンスをどのように判断し、比較するのでしょうか？そして、どのモデルが優れていると自信を持って言えるのでしょうか？

ChatGPTのためのエニグマ：PUMAは、LLM推論のための高速かつ安全なAIアプローチを提案するものです

大規模言語モデル（LLM）は人工知能の領域で革命を起こしています。ChatGPTのリリースはLLMの時代の火付け役となり、それ以来、これらのモデルはますます改善されてきました。これらのモデルは膨大な量のデータによって可能にされ、言語理解のマスタリングから複雑なタスクの簡素化まで、その能力に感動させられました。 ChatGPTにはさまざまな代替案が提案されており、日々改善されています。特定のタスクではChatGPTを凌駕することさえあります。LLaMa、Claudia、Falconなど、新しいLLMモデルがChatGPTの座を狙っています。しかし、ChatGPTが今でも圧倒的に最も人気のあるLLMであることは疑いありません。お気に入りのAIアプリがおそらくChatGPTのラッパーである可能性は非常に高いです。ただし、セキュリティの観点から考えると、それは本当にプライベートで安全なのでしょうか？ OpenAIはAPIデータのプライバシー保護を深く考えていることを保証していますが、同時に多くの訴訟に直面しています。彼らはモデルの使用のプライバシーとセキュリティを守るために非常に努力しているにもかかわらず、これらのモデルは制御するには強力すぎる場合があります。したがって、プライバシーやセキュリティに関する懸念なしにLLMのパワーを利用するにはどうすればよいでしょうか？機密データを損なうことなく、これらのモデルの能力を利用するにはどうすればよいでしょうか？それでは、PUMAにお会いしましょう。 PUMAは、データの機密性を保ちながら、Transformerモデルのセキュアで効率的な評価を可能にするために設計されたフレームワークです。これはセキュアなマルチパーティ計算（MPC）を効率的なTransformer推論と統合しています。根本的には、PUMAはGeLUやSoftmaxなどのTransformerモデル内の複雑な非線形関数を近似する新しい技術を導入しています。これらの近似は、精度を保ちつつ効率を大幅に向上させるようにカスタマイズされています。以前の方法とは異なり、パフォーマンスを犠牲にしたり、複雑な展開戦略につながったりすることなく、PUMAのアプローチは両方の世界をバランスさせ、実世界のアプリケーションに必要な正確な結果と効率を維持します。 PUMAは、モデル所有者、クライアント、計算パーティの3つの重要なエンティティを導入しています。各エンティティはセキュアな推論プロセスで重要な役割を果たします。モデル所有者は訓練されたTransformerモデルを提供し、クライアントは入力データを提供し、推論結果を受け取ります。計算パーティは安全な計算プロトコルを共同で実行し、データとモデルの重みがプロセス全体で安全に保護されることを確保します。 PUMAの推論プロセスの基本的な原則は、関与するエンティティのプライバシーを保護するために、入力データと重みの機密性を維持することです。セキュア埋め込みは、セキュアな推論プロセスの基本的な側面であり、トークン識別子を使用してワンホットベクトルを生成することが伝統的に行われてきました。しかし、PUMAは、Transformerモデルの標準的なワークフローに密接に従うセキュアな埋め込みデザインを提案しています。この簡略化されたアプローチにより、セキュリティ対策がモデルの固有のアーキテクチャと干渉せず、実践的なアプリケーションでのセキュアモデルの展開が容易になります。 PUMAで使用されるセキュアなGeLUとLayerNormプロトコルの概要。出典: https://arxiv.org/pdf/2307.12533.pdf さらに、セキュアな推論における大きな課題は、GeLUやSoftmaxなどの複雑な関数を、計算効率と精度のバランスを取りながら近似することです。 PUMAは、これらの関数の特性を活用して、より正確な近似を設計することで、近似の精度を大幅に向上させると同時に、ランタイムと通信コストを最適化しています。最後に、Transformerモデル内で重要な操作であるLayerNormは、分割-平方根の計算式による一意の課題を抱えています。PUMAは、セキュアなプロトコルを使用して操作をスマートに再定義することで、LayerNormの計算が安全かつ効率的に行われるようにしています。 PUMAの最も重要な特徴の一つは、シームレスな統合です。このフレームワークは、大規模なモデルアーキテクチャの変更を必要とせず、Transformerモデルのエンドツーエンドの安全な推論を容易にします。これは、最小限の努力で事前学習済みのTransformerモデルを活用できることを意味します。Hugging Faceや他のソースからダウンロードした言語モデルであっても、PUMAはシンプルな方法で処理します。元のワークフローに合わせており、複雑な再トレーニングや変更を要求しません。

「LlaMA 2の始め方 | メタの新しい生成AI」

イントロダクション OpenAIからGPTがリリースされて以来、多くの企業が独自の堅牢な生成型大規模言語モデルを作成するための競争に参入しました。ゼロから生成型AIを作成するには、生成型AIの分野での徹底的な研究と数多くの試行錯誤が必要な場合があります。また、大規模言語モデルの効果は、それらが訓練されるデータに大きく依存するため、高品質なデータセットを注意深く編集する必要があります。さらに、これらのモデルを訓練するためには膨大な計算能力が必要であり、多くの企業がアクセスできない状況です。そのため、現時点では、OpenAIやGoogleを含むわずかな企業しかこれらの大規模言語モデルを作成できません。そして、ついにMetaがLlaMAの導入でこの競争に参加しました。学習目標新しいバージョンのLlaMAについて知るモデルのバージョン、パラメータ、モデルのベンチマークを理解する Llama 2ファミリのモデルにアクセスするさまざまなプロンプトでLlaMA 2を試して出力を観察するこの記事はData Science Blogathonの一環として公開されました。 Llamaとは何ですか？ LlaMA（Large Language Model Meta AI）は、特にMeta AI（元Facebook）が所有する会社であるMeta AIによって開発された基礎となる大規模言語モデルのグループである生成型AIモデルです。Metaは2023年2月にLlamaを発表しました。Metaは、7、13、33、および65兆のパラメータを持つコンテキスト長2kトークンの異なるサイズのLlamaをリリースしました。このモデルは、研究者がAIの分野での知識を進めるのを支援することを目的としています。小型の7Bモデルは、計算能力が低い研究者がこれらのモデルを研究することを可能にします。 LlaMaの導入により、MetaはLLMの領域に参入し、OpenAIのGPTやGoogleのPaLMモデルと競合しています。Metaは、限られた計算リソースで小さなモデルを再トレーニングまたは微調整することで、それぞれの分野で最先端のモデルと同等の結果を達成できると考えています。Meta AIのLlaMaは、LlaMAモデルファミリが完全にオープンソースであり、誰でも無料で使用できるだけでなく、研究者のためにLlaMAの重みを非営利目的で公開しているため、OpenAIやGoogleのLLMとは異なります。前進 LlaMA…

Learn more about Search Results Falcon - Page 12