Search Results documentation

ソフトウェア開発におけるAIの将来：トレンドとイノベーション

「ソフトウェア開発におけるAIの絶え間なく変化する風景を探索してくださいコーディングやプログラミングの未来を形作る新興トレンドや革新を発見してください」

ML向けETLの構築に関するベストプラクティス

この記事では、トレーニングデータセットを構築するためのETLのいくつかのベストプラクティスについて取り上げていますMLに適用されるいくつかのソフトウェアエンジニアリングの技術とパターンについて深く探求しています

Data Engineering

イントロダクションデータサイエンスと聞くと、まず思い浮かぶのはノートブック上でモデルを構築しデータをトレーニングすることです。しかし、実際の世界のデータサイエンスでは、このような状況はありません。実際の世界では、データサイエンティストはモデルを構築し、それを本番環境に展開します。本番環境には、モデルの開発、展開、信頼性の間にギャップがあり、効率的でスケーラブルな運用を実現するために、データサイエンティストはMLOps（Machine Learning Operations）を使用します。MLOpsは本番環境でMLアプリケーションを構築し展開するための手法です。この記事では、MLOpsを使用して、顧客の離反予測プロジェクトを構築し展開します。学習目標この記事では、次のことを学びます：プロジェクトの概要 ZenMLとMLOpsの基礎を紹介します予測のためにモデルをローカルに展開する方法を学びますデータの前処理とエンジニアリング、モデルのトレーニングと評価に入ります。この記事はData Science Blogathonの一部として公開されました。プロジェクトの概要まず、プロジェクトの内容を理解する必要があります。このプロジェクトでは、通信会社からのデータセットを使用します。このデータセットを使用して、ユーザーが会社のサービスを継続するかどうかを予測するモデルを構築します。このMLアプリケーションを構築するために、ZenmMLとMLFlowの助けを借ります。プロジェクトのワークフローは以下の通りです。プロジェクトのワークフローデータ収集データの前処理モデルのトレーニングモデルの評価展開 MLOpsとは？ MLOpsは、開発から展開、継続的なメンテナンスまでのエンドツーエンドの機械学習ライフサイクルです。MLOpsは、機械学習モデルのライフサイクル全体を効率的かつスケーラブルに自動化することで、拡張性、信頼性、効率性を確保します。簡単な例を使って説明しましょう：…

「CDS HooksとAWS HealthLakeを使用してCRDを自動化して事前承認を行う」

「あらかじめの承認は、医療において非常に重要なプロセスであり、医療処置や手続きが行われる前に承認を受けることを含んでいますこのプロセスは、患者が適切なケアを受けることを確保し、医療提供者が正しい手順を守っていることを確認するために必要ですしかし、あらかじめの承認は時間がかかり、複雑なプロセスであり、[…]

「生成AIのためのモダンなMLOpsプラットフォーム」

ジェネレーティブAI用のモダンなMLOpsプラットフォームは、機械学習オペレーションの実践をジェネレーティブモデルの特徴とシームレスに統合します

「Non-engineers guide LLaMA 2チャットボットのトレーニング」となります

イントロダクションこのチュートリアルでは、誰でも一行のコードを書かずにオープンソースのChatGPTを構築する方法を紹介します！LLaMA 2ベースモデルを使用し、オープンソースのインストラクションデータセットでチャット用に微調整し、そのモデルを友達と共有できるチャットアプリにデプロイします。クリックだけで偉大さへの道を歩むことができます。😀 なぜこれが重要なのか？特にLLM（Large Language Models）を含む機械学習は、私たちの個人生活やビジネスにおいて重要なツールとなり、過去に例のないほど人気が高まっています。しかし、MLエンジニアリングの専門的なニッチ分野ではないほとんどの人々にとって、これらのモデルのトレーニングとデプロイメントの複雑さは手が届かないもののように思えます。機械学習の予想される未来が普遍的な個別のモデルで満たされるものになるのであれば、非技術的なバックグラウンドを持つ人々にこの技術を独自に活用する力を与えるには、将来的に課題が待ち受けています。 Hugging Faceでは、この包括的な未来への道を静かに築くために働いてきました。Spaces、AutoTrain、Inference Endpointsなどのツール群は、機械学習の世界を誰にでもアクセス可能にするために設計されています。このチュートリアルでは、この民主的な未来がどれだけアクセス可能であるかを示すために、チャットアプリを構築するためにSpaces、AutoTrain、ChatUIを使用する方法を3つの簡単なステップで紹介します。コンテキストとして、私はMLエンジニアではなく、Hugging FaceのGTMチームのメンバーです。私がこれをできるなら、あなたもできます！さあ、始めましょう！ Spacesの紹介 Hugging FaceのSpacesは、MLデモやアプリの構築とデプロイを簡単に行うためのGUIを提供するサービスです。このサービスを使用すると、GradioやStreamlitのフロントエンドを使用して素早くMLデモを構築したり、独自のアプリをDockerコンテナにアップロードしたり、あるいは事前に設定された複数のMLアプリケーションを即座にデプロイしたりすることができます。このチュートリアルでは、Spacesからの事前構成済みのDockerアプリケーションテンプレート、AutoTrainとChatUIをデプロイします。 Spacesについてもっと詳しくはこちらをご覧ください。 AutoTrainの紹介 AutoTrainは、MLエンジニアでない（または開発者でない😮）人々がコードを書かずに最先端のMLモデルをトレーニングするためのノーコードツールです。NLP、コンピュータビジョン、音声、表形式のデータなどに使用することができ、今日行うようなLLMの微調整にも使用できます。 AutoTrainについてもっと詳しくはこちらをご覧ください。 ChatUIの紹介 ChatUIはその名の通りです。Hugging Faceが提供するオープンソースのUIで、オープンソースのLLMsと対話するためのインターフェースを提供します。特に、HuggingChatという完全オープンソースのChatGPTの代替としても使用されています。 ChatUIについてもっと詳しくはこちらをご覧ください。ステップ1：新しいAutoTrain…

「TRLを介してDDPOを使用して、安定したディフュージョンモデルを微調整する」

導入拡散モデル（例：DALL-E 2、Stable Diffusion）は、特に写真のような写真のリアルな画像を生成することで広く成功している生成モデルの一種です。ただし、これらのモデルによって生成される画像は常に人間の好みや意図と一致しているわけではありません。これが整合性の問題が生じます。つまり、「品質」といった人間の好みやプロンプトを介しては表現しにくい意図との整合性がモデルの出力と一致していることを確認する方法は何でしょうか？そこで、強化学習が登場します。大規模言語モデル（LLM）の世界では、強化学習（RL）はモデルを人間の好みに合わせるための非常に効果的なツールとして証明されています。それはChatGPTのようなシステムが優れたパフォーマンスを発揮するための主要なレシピの一つです。より具体的には、ChatGPTが人間のようにチャットするためのReinforcement Learning from Human Feedback（RLHF）の重要な要素です。 Blackらは、「Training Diffusion Models with Reinforcement Learning, Black」という論文で、拡散モデルをRLを活用して目的関数に対して微調整する方法を示しています。これはDenoising Diffusion Policy Optimization（DDPO）と呼ばれる手法を使用します。このブログ記事では、DDPOが生まれた経緯、その動作方法の簡単な説明、およびRLHFワークフローにDDPOを組み込んで人間の美意識により整合したモデルの出力を達成する方法について説明します。そして、新たに統合されたDDPOTrainerとtrlライブラリを使用してモデルにDDPOを適用する方法について、Stable Diffusionでの実行結果を検討します。 DDPOの利点 DDPOは、RLを使用して拡散モデルを微調整する方法に関する唯一の有効な回答ではありません。入る前に、他のRLソリューションとの利点の理解に関して覚えておくべき2つの重要なポイントがあります。…

「推論APIを使用してAIコミックファクトリーを展開する」

最近、私たちは「PROsのための推論」という新しいオファリングを発表しました。これにより、より広範なユーザーがより大規模なモデルを利用することが可能になります。この機会が、Hugging Faceをプラットフォームとして使用してエンドユーザーアプリケーションを実行する新たな可能性をもたらします。そのようなアプリケーションの例としては、「AIコミック工場」があります。これは非常に人気があります。数千人のユーザーがAIコミックパネルを作成するために試しており、独自のコミュニティも形成されています。彼らは自分の作品を共有し、いくつかはプルリクエストを公開しています。このチュートリアルでは、AIコミック工場をフォークして設定し、長い待ち時間を避け、推論APIを使用して独自のプライベートスペースに展開する方法を紹介します。高い技術的スキルは必要ありませんが、API、環境変数の知識、そしてLLMsとStable Diffusionの一般的な理解が推奨されます。はじめにまず、PRO Hugging Faceアカウントにサインアップして、Llama-2とSDXLモデルへのアクセス権を取得する必要があります。 AIコミック工場の仕組み AIコミック工場は、Hugging Face上で実行される他のスペースとは少し異なります。それはNextJSアプリケーションで、Dockerを使用して展開され、クライアント-サーバーアプローチに基づいています。2つのAPIが必要です: 言語モデルAPI（現在はLlama-2） Stable Diffusion API（現在はSDXL 1.0）スペースの複製 AIコミック工場を複製するには、スペースに移動し、「複製」をクリックします: スペースの所有者、名前、可視性がすでに入力されていることに気付くでしょう。そのままで構いません。スペースのコピーは、リソースを多く必要としないDockerコンテナ内で実行されますので、最小のインスタンスを使用できます。公式のAIコミック工場スペースは、多くのユーザーベースを対象としているため、より大きなCPUインスタンスを使用しています。 AIコミック工場を自分のアカウントで操作するには、Hugging Faceトークンを設定する必要があります: LLMとSDエンジンの選択…

「もし私たちが複雑過ぎるモデルを簡単に説明できるとしたらどうだろう？」

この記事は次の記事に基づいています：https//www.sciencedirect.com/science/article/abs/pii/S0377221723006598 これを読んでいるのであれば、人工知能（AI）がいかに重要かご存知かもしれません...

「LangChain、Google Maps API、およびGradioを使用したスマートな旅行スケジュール提案システムの構築（パート2）」

この３部シリーズの最初では、LangChainとプロンプトエンジニアリングを使用して、GoogleのPaLMまたはOpenAIのChatGPTのいずれかをLLM APIとして連続呼び出しするシステムを構築しましたこれにより、...

Learn more about Search Results documentation - Page 5