Search Results Gin

「2023年にPrompt Engineeringを使用するであろう5つの仕事」

「OpenAIのChatGPTが登場し、大規模な言語モデルを一般のイメージに広めた以来、これらのAIモデルを十分に活用する能力は、すぐに非常に求められるスキルとなりましたそのような中、企業はAIの全ての潜在能力を引き出すために、迅速なエンジニアリングが必要であることに気付き始めています...」

Prompt Engineering

AWS Marketplace上のHugging Faceプラットフォーム：AWSアカウントで支払いを行う

ハギングフェイスプラットフォームがAWS Marketplaceに登場しました。今日から、AWS Marketplaceを通じてハギングフェイスプラットフォームに購読することで、AWSアカウントでハギングフェイスの利用料金を直接支払うことができます。この新しい統合課金方法により、組織のすべてのメンバー、推論エンドポイント、スペースハードウェアのアップグレード、AutoTrainなど、人気のある機械学習モデル（Llama 2、StarCoder、BERTなど）の簡単なトレーニング、テスト、展開の使用料金の管理が容易になります。ハギングフェイスをAWS Marketplaceで利用できるようにすることで、AIの採用の障壁を取り除き、大規模な言語モデルを活用する企業にとって利用が容易になります。今や、AWSの顧客はわずか数回のクリックでハギングフェイスアカウントに申し込み、AWSアカウントと接続することができます。 AWS Marketplaceを通じて購読することで、推論エンドポイントなどのハギングフェイス組織の利用料金は、組織のクレジットカードではなくAWSの請求書に自動的に表示されます。私たちはこのローンチに興奮しています。これにより、AWSに頼る開発者に私たちのテクノロジーを提供し、ハギングフェイスサービスを利用する企業にとっても利便性が向上します。はじめに AWSアカウントとハギングフェイスアカウントを接続する前に、次の前提条件を満たす必要があります： AWS Marketplaceの製品に申し込む権限がある有効なAWSアカウントにアクセスできること。登録済みかつ確認済みのメールアドレスを持つハギングフェイス組織アカウントを作成していること（ユーザーアカウントは接続できません）。「管理者」の役割を持つハギングフェイス組織に所属していること。ハギングフェイスプラットフォームにログインしていること。これらの要件を満たしている場合、AWSとハギングフェイスアカウントを接続する手順に進むことができます。 1. ハギングフェイスプラットフォームに申し込む最初のステップは、AWS Marketplaceのオファリングに移動し、ハギングフェイスプラットフォームに申し込むことです。オファリングを開き、画面の右上にある「購入オプションを表示」をクリックします。これで「購読」ページに移動し、価格の概要と購読方法が表示されます。オファリングに申し込むには、「購読」をクリックします。申し込みが成功したら、画面の上部に「アカウントの設定」ボタンが表示される緑色のバナーが表示されます。ハギングフェイスアカウントとAWSアカウントを接続するには、「アカウントの設定」をクリックする必要があります。ボタンをクリックすると、ハギングフェイスプラットフォームにリダイレクトされ、AWSアカウントとリンクするハギングフェイス組織アカウントを選択できます。アカウントを選択した後、「送信」をクリックします。…

ベントMLを使用したHugging Faceモデルのデプロイ：DeepFloyd IFのアクション

Hugging Faceは、モデルを簡単にアップロード、共有、展開することができるHubプラットフォームを提供しています。これにより、モデルをゼロからトレーニングするために必要な時間と計算リソースを開発者が節約することができます。ただし、実世界のプロダクション環境やクラウドネイティブの方法でモデルを展開することはまだ課題があります。ここでBentoMLが登場します。BentoMLは、機械学習モデルのサービングと展開のためのオープンソースプラットフォームです。これは、従来の、事前トレーニング済みの、生成モデルおよび大規模言語モデルを組み込んだ本番向けのAIアプリケーションを構築、出荷、スケーリングするための統一されたフレームワークです。以下は、BentoMLフレームワークを高レベルで使用する方法です：モデルの定義：BentoMLを使用するには、機械学習モデル（または複数のモデル）が必要です。このモデルは、TensorFlowやPyTorchなどの機械学習ライブラリを使用してトレーニングできます。モデルの保存：トレーニング済みのモデルをBentoMLのローカルモデルストアに保存します。これは、すべてのトレーニング済みモデルをローカルで管理し、サービングにアクセスするために使用されます。 BentoMLサービスの作成：モデルをラップし、サービスのロジックを定義するためにservice.pyファイルを作成します。これは、モデルの推論をスケールで実行するためのランナーを指定し、入力と出力の処理方法を定義するAPIを公開します。 Bentoのビルド：構成YAMLファイルを作成することで、すべてのモデルとサービスをパッケージ化し、コードと依存関係を含む展開可能なアーティファクトであるBentoを作成します。 Bentoの展開：Bentoが準備できたら、Bentoをコンテナ化してDockerイメージを作成し、Kubernetes上で実行することができます。または、Bentoを直接Yataiに展開することもできます。Yataiは、Kubernetes上での機械学習デプロイメントを自動化および実行するためのオープンソースのエンドツーエンドソリューションです。このブログ投稿では、上記のワークフローに従ってDeepFloyd IFをBentoMLと統合する方法をデモンストレーションします。目次 DeepFloyd IFの簡単な紹介環境の準備 BentoMLモデルストアへのモデルのダウンロード BentoMLサービスの開始 Bentoのビルドとサービスの提供サーバーのテスト次のステップ DeepFloyd IFの簡単な紹介 DeepFloyd IFは、最先端のオープンソースのテキストから画像へのモデルです。Stable Diffusionのような潜在的な拡散モデルとは異なる運用戦略とアーキテクチャを持っています。…

「Hugging FaceのTransformerモデルを使用して、コメントの有害性ランキングを作成する」

「データサイエンティストとして、私は自然言語処理の最新の進歩を十分に探る機会を持ったことがありません夏と新たな大規模言語モデルのブーム以来、…」

「IBM、HuggingFace、そしてNASAがWatsonx․ai Foundation Modelをオープンソース化 NASA初の公開可能なAI基盤モデルであり、HuggingFace上で最大の地理空間モデル」

IBMとオープンソースのAIプラットフォームであるHugging Faceは、watsonx.ai地理空間基盤モデルのリリースを共同で発表しました。この驚くべきAIモデルは、NASAの衛星データを使用して開発され、気候科学と地球研究の重要な進歩を表しています。このパートナーシップの主な目的は、AIへのアクセスの民主化を促進し、これらの重要な領域での加速度的なイノベーションを推進することです。気候科学の領域は、環境条件の絶え間ない変化により、最新のデータにアクセスするという切迫した課題に直面しています。2024年までに新しいミッションからのデータが250,000テラバイトに達すると予想されているにもかかわらず、これらの広範なデータセットの分析は、科学者や研究者にとって困難な課題のままです。この懸念に対処するために、IBMは今年初めにNASAとの宇宙法協定の一環として、地理空間データのためのAI基盤モデルを開発しました。地理空間基盤モデルをHugging Face上で利用可能にすることで、オープンソースのAIモデルの主要な提唱者であるこのコラボレーションは、AIコミュニティ内でのより大きな協力と情報共有を促進することを目指しています。この動きにより、地球に利益をもたらす影響力のあるソリューションの開発が迅速化することが期待されています。地理空間基盤モデルは、1年間にわたって米国本土全体でハーモナイズド・ランドサット・センチネル2衛星データ(HLS)で共同でトレーニングされました。このモデルは、既存の手法に比べて15％の向上を示し、ラベル付きデータの半分しか必要としませんでした。このモデルは、森林伐採の追跡、作物収量の予測、温室効果ガスの検出と監視など、さまざまなタスクにさらなる微調整を行うことができます。IBMとNASAはまた、時系列セグメンテーションや類似性研究などの応用についてClark大学と協力しています。 IBMの地理空間モデルは、さまざまなタスクのためにAIモデルを作成しトレーニングするための同社の広範な取り組みの一環として、基盤モデル技術を活用しています。7月には、信頼性のあるデータを使用して高度なAIの影響をスケールアップおよび加速化するためのAIおよびデータプラットフォームであるWatsonxを発表しました。商業版の地理空間モデルは、IBM Environmental Intelligence Suite（EIS）に統合され、今年後半にリリース予定です。まとめると、IBMとHugging Faceのパートナーシップは、NASAの衛星データによって強化され、科学の進歩を促進し、地球の気候に対する理解を深める有望な機会を提供しています。モデルのオープンソース性は、世界中の研究者や科学者に対して、緊急の環境課題に取り組む力を与えることになるでしょう。

「Hugging Face Transformersライブラリを解剖する」

これは、実践的に大規模言語モデル（LLM）を使用するシリーズの3番目の記事ですここでは、Hugging Face Transformersライブラリについて初心者向けのガイドを提供しますこのライブラリは、簡単で...

「Huggy Lingo：Hugging Face Hubで言語メタデータを改善するための機械学習の利用」

Huggy Lingo: Hugging Face Hubで言語メタデータを改善するために機械学習を使用する要約: 私たちは機械学習を使用して、言語メタデータのないHubデータセットの言語を検出し、このメタデータを追加するために司書ボットがプルリクエストを行っています。 Hugging Face Hubは、コミュニティが機械学習モデル、データセット、アプリケーションを共有するリポジトリとなっています。データセットの数が増えるにつれて、メタデータは自分のユースケースに適したリソースを見つけるための重要なツールとなっています。このブログ投稿では、Hugging Face Hubでホストされるデータセットのメタデータを改善するために機械学習を使用したいくつかの初期実験を共有します。 Hub上のデータセットの言語メタデータ Hugging Face Hubには現在約50,000の公開データセットがあります。データセットで使用される言語に関するメタデータは、データセットカードの先頭にあるYAMLフィールドを使用して指定することができます。すべての公開データセットは、メタデータ内の言語タグを使用して1,716の一意の言語を指定しています。ただし、指定される言語のいくつかは、異なる方法で指定されることになります。たとえば、IMDBデータセットでは、YAMLメタデータにen（英語を示す）が指定されています。 IMDBデータセットのYAMLメタデータのセクション英語がHub上のデータセットで遥かに最も一般的な言語であることは驚くべきことではありません。Hub上のデータセットの約19%が言語をenとしてリストしています（enのバリエーションを含めない場合であり、実際の割合はおそらくはるかに高いでしょう）。 Hugging Face Hub上のデータセットの頻度とパーセンテージ頻度英語を除外した場合、言語の分布はどのようになりますか？いくつかの支配的な言語のグループがあり、その後は言語が出現する頻度が比較的滑らかに減少していることがわかります。…

「Hugging Face Diffusersは、LoRAを正しくロードできるようになりました」

「Hugging FaceのDiffusersコードリポジトリから最新のコードを取得してみると、最新のコードの更新により、LoRAローディングに関連する部分が更新され、現在はMonkey-Patching LoRAローディングができるようになりましたLoRA...」

「LLMsとHugging Faceを使用して独自の翻訳ツールを作成しましょう」

イントロダクション言語の壁はグローバルなコミュニケーションを妨げることがありますが、AIと自然言語処理は解決策を提供します。広範なテキストデータでトレーニングされた言語モデル（LLM）は、深い言語理解を持ち、異なる言語を話す人々の間でシームレスな翻訳を可能にします。LLMは従来のルールベースの方法を超え、精度と品質を向上させます。この記事では、LLMと著名な自然言語処理プラットフォームであるHugging Faceを使用して翻訳システムを構築する方法を説明します。ライブラリのインストールから使いやすいウェブアプリまで、翻訳システムの作成方法を学びます。LLMを取り入れることで、相互につながった世界で効果的なクロスリンガルコミュニケーションの無限の可能性が開かれます。学習目標この記事の終わりまでに、以下のことができるようになります： Hugging Face transformersとOpenAI Modelsをインポートしてタスクを実行する方法を理解する。ユーザーのニーズに合わせて、任意の言語で翻訳システムを構築し、調整することができる。この記事は、データサイエンスブロガソンの一環として公開されました。翻訳ツールとその重要性の理解翻訳ツールは、意味と文脈を保持しながら、テキストを一つの言語から別の言語に変換するツールやシステムです。これらは、異なる言語を話す人々の間のギャップを埋め、グローバルなスケールで効果的なコミュニケーションを可能にします。翻訳ツールの重要性は、ビジネス、旅行、教育、外交などの様々な領域で明らかです。文書、ウェブサイト、会話の翻訳など、翻訳ツールは文化的な交流を促進し、相互理解を育んでいます。私は最近、自分の言語が理解できず、相手の言語も理解されないツアーに参加した際に同じ問題に直面しましたが、最終的にはGoogle翻訳でなんとかなりました（笑） OpenAIとHugging Faceの概要 OpenAIについては説明は不要ですが、人工知能に焦点を当てた研究グループとしてよく知られています。彼らはGPTシリーズや言語モデルAPIなどの言語モデルを作成しました。これらのモデルは、翻訳やその他のNLPの仕事のやり方を変えました。 Hugging Faceという別のプラットフォームもあり、さまざまなNLPモデルやツールを提供しています。翻訳などの作業には、事前学習済みモデル、ファインチューニングオプション、シンプルなパイプラインなどを提供しています。Hugging Faceは、NLPの開発者や研究者にとって頼りになる情報源として台頭しています。翻訳にLLMを使用する利点 OpenAIのGPTやHugging…

VoAGIニュース、7月26日：Googleによる無料の生成AIトレーニング•データエンジニアリング初心者ガイド•GPT-Engineer：あなたの新しいAIコーディングアシスタント

「Googleによる無料の生成AIトレーニング • データエンジニアリング初心者ガイド • GPT-Engineer あなたの新しいAIコーディングアシスタント • GPT-4の詳細がリークされました！ • 大規模言語モデルを使用した生成AI ハンズオントレーニング」

NEWS

Learn more about Search Results Gin - Page 5