Search Results gradio

ローカルマシン上でGenAI LLMsのパワーを解放しましょう！

はじめに GenAI LLMsのリリース以来、私たちはそれらをある方法または別の方法で使用しています。最も一般的な方法は、OpenAIのウェブサイトなどのウェブサイトを介して、OpenAIのGPT3.5 API、GoogleのPaLM API、またはHugging Face、Perplexity.aiなどの他のウェブサイトを介してChatGPTやLarge Language Modelsを使用することです。これらのアプローチのいずれにおいても、私たちのデータはコンピュータの外部に送信されます。これらのウェブサイトは最高のセキュリティを保証しているとはいえ、何が起こるかわかりませんので、サイバー攻撃のリスクがあるかもしれません。時には、これらのLarge Language Modelsをローカルで実行し、可能であればローカルでチューニングしたい場合もあります。この記事では、Oobaboogaを使用して、つまりLLMsをローカルで設定する方法について説明します。学習目標ローカルシステムに大規模な言語モデルを展開することの意義と課題を理解する。大規模な言語モデルを実行するためのローカル環境を作成する方法を学ぶ。与えられたCPU、RAM、およびGPU Vramの仕様で実行できるモデルを調べる。 Hugging Faceから任意の大規模な言語モデルをローカルで使用するためのダウンロード方法を学ぶ。大規模な言語モデルを実行するためにGPUメモリを割り当てる方法を確認する。この記事はData Science Blogathonの一環として公開されました。 Oobaboogaとは何ですか？ OobaboogaはLarge…

ChatGPTを始めるための初心者向け7つのプロジェクト

そして、現代の世界においてAIの力を解き放つために

Artificial Intelligence

CMU（カーネギーメロン大学）と清華大学の研究者が提案した「Prompt2Model：自然言語の指示から展開可能なAIモデルを生成する汎用メソッド」

与えられた問題を解決するためにNLPモデルを構築したいと考えたとします。まず、タスクの範囲を定義し、その後、意図したシステムの振る舞いを特定するデータを見つけるか作成し、適切なモデルのアーキテクチャを選択し、モデルをトレーニングし、評価を通じて性能を評価し、最後に実世界での使用のために展開します。研究者たちは、このような包括的なNLPモデルを1行のコードでプロトタイプ化することが可能になりました！ https://arxiv.org/abs/2308.12261 Prompt2Modelは、シンプルなプロンプトを使用してシステムの振る舞いを指定でき、同時にすべての利点を保持した展開可能な特殊な目的のモデルを提供するシステムです。上の図は、Prompt2Modelの動作アーキテクチャを示しています。基本的には、ユーザープロンプトからタスクに関する必要な詳細を抽出し、タスク関連の情報を収集し結合し、以下の異なるチャネルを使用して展開する自動パイプラインとして機能します。データセットの取得：プロンプトが与えられた場合、最初のタスクは、ユーザーのタスクの説明をサポートする既存の手動注釈付きデータを見つけることです。データセットの生成：幅広いタスクをサポートするために、ユーザーの特定の要件に従って合成トレーニングデータを生成するためのデータセットジェネレータが存在します。プロンプトパーサーによって解析されたユーザー固有の要件には、コンテキスト学習を備えたLLMが含まれており、OpenAIのgpt-3.5-turbo-0613を使用してユーザープロンプトをセグメント化するために使用されます。モデルの取得：提供されたプロンプトを使用して、ユーザーの目標に適した事前学習済み言語モデルが選択されます。この選択されたモデルは学生モデルとして機能し、生成および取得したデータを用いてさらに微調整および評価されます。 Webアプリ：最後に、訓練されたモデルと対話するための使いやすいグラフィカルユーザーインターフェースが存在します。このGradioを使用して作成されたWebアプリケーションは、簡単にサーバー上に公開されることができます。結論として、Prompt2Modelは、小規模で競争力のあるNLPシステムを迅速に構築するためのツールです。手動のデータ注釈やアーキテクチャなしに、数時間でLLMを上回るタスク固有のモデルを直接生成することができます。拡張性のある設計を持つモデルは、モデルの蒸留、データセットの生成、合成評価、データセットの取得、モデルの取得といった新しい技術の探索のためのプラットフォームを提供することができます。将来を見据えると、Prompt2Modelは協力的なイノベーションの触媒となることができます。異なる課題を提案することで、研究者は将来のフレームワークの各コンポーネントにおける多様な実装と改善の発展を促すことを目指しています。

ジェネレーティブAIアプリケーションを構築するための最高のPythonツールチートシート

「VoAGI」新しいチートシートは、OpenAIやTransformersなど、ジェネラティブAIアプリを構築するためのトップPythonライブラリをまとめていますGradio、Diffusers、LangChainなどのツールも含まれており、初心者から上級者まで、クイックリファレンスをお探しの方に最適です

Artificial Intelligence

ベントMLを使用したHugging Faceモデルのデプロイ：DeepFloyd IFのアクション

Hugging Faceは、モデルを簡単にアップロード、共有、展開することができるHubプラットフォームを提供しています。これにより、モデルをゼロからトレーニングするために必要な時間と計算リソースを開発者が節約することができます。ただし、実世界のプロダクション環境やクラウドネイティブの方法でモデルを展開することはまだ課題があります。ここでBentoMLが登場します。BentoMLは、機械学習モデルのサービングと展開のためのオープンソースプラットフォームです。これは、従来の、事前トレーニング済みの、生成モデルおよび大規模言語モデルを組み込んだ本番向けのAIアプリケーションを構築、出荷、スケーリングするための統一されたフレームワークです。以下は、BentoMLフレームワークを高レベルで使用する方法です：モデルの定義：BentoMLを使用するには、機械学習モデル（または複数のモデル）が必要です。このモデルは、TensorFlowやPyTorchなどの機械学習ライブラリを使用してトレーニングできます。モデルの保存：トレーニング済みのモデルをBentoMLのローカルモデルストアに保存します。これは、すべてのトレーニング済みモデルをローカルで管理し、サービングにアクセスするために使用されます。 BentoMLサービスの作成：モデルをラップし、サービスのロジックを定義するためにservice.pyファイルを作成します。これは、モデルの推論をスケールで実行するためのランナーを指定し、入力と出力の処理方法を定義するAPIを公開します。 Bentoのビルド：構成YAMLファイルを作成することで、すべてのモデルとサービスをパッケージ化し、コードと依存関係を含む展開可能なアーティファクトであるBentoを作成します。 Bentoの展開：Bentoが準備できたら、Bentoをコンテナ化してDockerイメージを作成し、Kubernetes上で実行することができます。または、Bentoを直接Yataiに展開することもできます。Yataiは、Kubernetes上での機械学習デプロイメントを自動化および実行するためのオープンソースのエンドツーエンドソリューションです。このブログ投稿では、上記のワークフローに従ってDeepFloyd IFをBentoMLと統合する方法をデモンストレーションします。目次 DeepFloyd IFの簡単な紹介環境の準備 BentoMLモデルストアへのモデルのダウンロード BentoMLサービスの開始 Bentoのビルドとサービスの提供サーバーのテスト次のステップ DeepFloyd IFの簡単な紹介 DeepFloyd IFは、最先端のオープンソースのテキストから画像へのモデルです。Stable Diffusionのような潜在的な拡散モデルとは異なる運用戦略とアーキテクチャを持っています。…