Search Results ML

「データ視覚化の技術をマスターする：ヒントとテクニック」

デジタル時代において、データの可視化はビジネスインテリジェンスの領域で欠かせないツールとして存在しますデータの可視化とは、データや情報のグラフィカルな表示を指し、複雑なデータセットを直感的で理解しやすいビジュアルに変換しますデータの可視化を導入することで、企業は多様なメリットを享受することができます簡単化されたデータの解釈：複雑なデータが変換されます...

『Amazon Bedrockの一般提供が発表されました』

Amazon Bedrockをご紹介しますこれは画期的な開発であり、Amazonは人工知能の景色を再構築すると約束しています4月に発表されたAmazon Bedrockは、革新的なAIモデルを完全に管理されたサービスとして提供し、組織の運営にシームレスに統合しますこの発表については、データおよび...

CRMデータの異常検出：ステップバイステップガイド

「Editor’s note ギータ・シャンカールとテュリ・ニヴァスは、今年の10月30日から11月2日まで開催されるODSCウエスト2023のスピーカーです是非とも「CRMプロダクションデータの異常検知」という彼らの講演をチェックしてください！ CRM（顧客関係管理）データの異常検知は、ますます重要性を増しています監視することは極めて重要です...」

West 2023

「ODSC West 2023で機械学習をより良くする11の方法」

多くの企業が現在データサイエンスと機械学習を活用していますが、ROIの面ではまだ改善の余地がたくさんあります2021年のVentureBeatの分析によれば、AIモデルの87%が実稼働環境には到達しておらず、MIT Sloan Management Reviewの記事では70%という結果が示されています...

West 2023

「Non-engineers guide LLaMA 2チャットボットのトレーニング」となります

イントロダクションこのチュートリアルでは、誰でも一行のコードを書かずにオープンソースのChatGPTを構築する方法を紹介します！LLaMA 2ベースモデルを使用し、オープンソースのインストラクションデータセットでチャット用に微調整し、そのモデルを友達と共有できるチャットアプリにデプロイします。クリックだけで偉大さへの道を歩むことができます。😀 なぜこれが重要なのか？特にLLM（Large Language Models）を含む機械学習は、私たちの個人生活やビジネスにおいて重要なツールとなり、過去に例のないほど人気が高まっています。しかし、MLエンジニアリングの専門的なニッチ分野ではないほとんどの人々にとって、これらのモデルのトレーニングとデプロイメントの複雑さは手が届かないもののように思えます。機械学習の予想される未来が普遍的な個別のモデルで満たされるものになるのであれば、非技術的なバックグラウンドを持つ人々にこの技術を独自に活用する力を与えるには、将来的に課題が待ち受けています。 Hugging Faceでは、この包括的な未来への道を静かに築くために働いてきました。Spaces、AutoTrain、Inference Endpointsなどのツール群は、機械学習の世界を誰にでもアクセス可能にするために設計されています。このチュートリアルでは、この民主的な未来がどれだけアクセス可能であるかを示すために、チャットアプリを構築するためにSpaces、AutoTrain、ChatUIを使用する方法を3つの簡単なステップで紹介します。コンテキストとして、私はMLエンジニアではなく、Hugging FaceのGTMチームのメンバーです。私がこれをできるなら、あなたもできます！さあ、始めましょう！ Spacesの紹介 Hugging FaceのSpacesは、MLデモやアプリの構築とデプロイを簡単に行うためのGUIを提供するサービスです。このサービスを使用すると、GradioやStreamlitのフロントエンドを使用して素早くMLデモを構築したり、独自のアプリをDockerコンテナにアップロードしたり、あるいは事前に設定された複数のMLアプリケーションを即座にデプロイしたりすることができます。このチュートリアルでは、Spacesからの事前構成済みのDockerアプリケーションテンプレート、AutoTrainとChatUIをデプロイします。 Spacesについてもっと詳しくはこちらをご覧ください。 AutoTrainの紹介 AutoTrainは、MLエンジニアでない（または開発者でない😮）人々がコードを書かずに最先端のMLモデルをトレーニングするためのノーコードツールです。NLP、コンピュータビジョン、音声、表形式のデータなどに使用することができ、今日行うようなLLMの微調整にも使用できます。 AutoTrainについてもっと詳しくはこちらをご覧ください。 ChatUIの紹介 ChatUIはその名の通りです。Hugging Faceが提供するオープンソースのUIで、オープンソースのLLMsと対話するためのインターフェースを提供します。特に、HuggingChatという完全オープンソースのChatGPTの代替としても使用されています。 ChatUIについてもっと詳しくはこちらをご覧ください。ステップ1：新しいAutoTrain…

『ODSC Westに参加するトップディープラーニングセッション』

「最近はNLP（自然言語処理）と生成型AIに全世界の注目が集まっているようですしかし、ディープラーニングの強力な理解がないと、業界の最先端の進展を最大限に活用することは困難ですODSC Westでは、10月30日から11月2日まで、あなたは...」

West 2023

チャットテンプレート：静かなパフォーマンスキラーへの終止符

チャットモデルを幽霊がさまよっている – 不正なフォーマットの幽霊が！要約チャットモデルは、会話を単一のトークン可能な文字列に変換するための非常に異なるフォーマットで訓練されています。訓練されたフォーマットとは異なるフォーマットを使用すると、通常は重大な無音のパフォーマンス低下を引き起こしますので、訓練時に使用されたフォーマットとの一致は非常に重要です！Hugging Faceのトークナイザには、モデルが訓練されたチャット形式を保存するために使用できるchat_template属性があります。この属性には、会話履歴を正しくフォーマットされた文字列に変換するためのジンジャーテンプレートが含まれています。コードでチャットテンプレートを作成および適用する方法については、技術文書をご覧ください。導入もしも、🤗Transformersライブラリに詳しいのであれば、おそらく以下のようなコードを書いたことがあるはずです： tokenizer = AutoTokenizer.from_pretrained(checkpoint)model = AutoModel.from_pretrained(checkpoint) トークナイザとモデルを同じチェックポイントからロードすることで、モデルが期待する方法で入力がトークン化されることが保証されます。異なるモデルのトークナイザを選ぶと、入力のトークナイズは完全に異なる可能性があり、その結果としてモデルのパフォーマンスに重大な損傷が生じます。これをdistribution shift（分布シフト）と呼びます – モデルは一つの分布（訓練時に使用されたトークナイゼーション）のデータを学習しており、突然完全に異なる分布にシフトしたということです。モデルを微調整するか、推論に直接使用する場合、分布シフトを最小限に抑え、与えた入力を可能な限り訓練時と似たものにすることは常に良いアイデアです。通常の言語モデルでは、これを行うのは比較的容易です – トークナイザとモデルを同じチェックポイントからロードするだけで準備完了です。しかし、チャットモデルの場合は少し異なります。これは、「チャット」とは1つのテキスト文字列だけでシンプルにトークナイズできるものではなく、メッセージのシーケンスであり、各メッセージにはrole（役割）とcontent（メッセージの実際のテキスト）が含まれています。最も一般的なのは、ユーザーから送信されたメッセージに対しては「user」、モデルが書いた応答には「assistant」、さらにオプションで会話の開始時に与えられる高レベルの指示には「system」の役割を持たせることです。もしもこれが少し抽象的に感じられる場合、以下の例のチャットをご覧ください： [ {"role":…

「TRLを介してDDPOを使用して、安定したディフュージョンモデルを微調整する」

導入拡散モデル（例：DALL-E 2、Stable Diffusion）は、特に写真のような写真のリアルな画像を生成することで広く成功している生成モデルの一種です。ただし、これらのモデルによって生成される画像は常に人間の好みや意図と一致しているわけではありません。これが整合性の問題が生じます。つまり、「品質」といった人間の好みやプロンプトを介しては表現しにくい意図との整合性がモデルの出力と一致していることを確認する方法は何でしょうか？そこで、強化学習が登場します。大規模言語モデル（LLM）の世界では、強化学習（RL）はモデルを人間の好みに合わせるための非常に効果的なツールとして証明されています。それはChatGPTのようなシステムが優れたパフォーマンスを発揮するための主要なレシピの一つです。より具体的には、ChatGPTが人間のようにチャットするためのReinforcement Learning from Human Feedback（RLHF）の重要な要素です。 Blackらは、「Training Diffusion Models with Reinforcement Learning, Black」という論文で、拡散モデルをRLを活用して目的関数に対して微調整する方法を示しています。これはDenoising Diffusion Policy Optimization（DDPO）と呼ばれる手法を使用します。このブログ記事では、DDPOが生まれた経緯、その動作方法の簡単な説明、およびRLHFワークフローにDDPOを組み込んで人間の美意識により整合したモデルの出力を達成する方法について説明します。そして、新たに統合されたDDPOTrainerとtrlライブラリを使用してモデルにDDPOを適用する方法について、Stable Diffusionでの実行結果を検討します。 DDPOの利点 DDPOは、RLを使用して拡散モデルを微調整する方法に関する唯一の有効な回答ではありません。入る前に、他のRLソリューションとの利点の理解に関して覚えておくべき2つの重要なポイントがあります。…

『倫理と社会ニュースレター＃5：ハグフェイスがワシントンに行くと、他の2023年夏の考え事』

人工知能（AI）における「倫理」について知っておくべき最も重要なことの一つは、それが「価値観」に関連しているということです。倫理は何が正しくて何が間違っているかを教えてくれるのではなく、透明性、安全性、公正などの価値観の語彙と優先順位を定めるための枠組みを提供します。今年の夏、私たちはAIの価値観についての理解を欧州連合、イギリス、アメリカの立法府に伝え、AIの規制の未来を形作るのに役立ちました。ここで倫理が光を放つのです：法律がまだ整っていないときに前進するための道筋を切り開くのに役立つのです。 Hugging Faceの主要な価値であるオープンさと責任を守るために、私たちはここで私たちが言ったことや行ったことのコレクションを共有しています。これには、私たちのCEOであるクレムが米国議会に対する証言や米国上院AI Insight Forumでの発言、E.U. AI Actに関するアドバイス、NTIAに対するAIの責任に関するコメント、そして私たちのChief Ethics Scientistであるメグの民主党議員団に対するコメントなどが含まれています。これらの議論の多くで共通していたのは、なぜAIのオープンさが有益であるのかという質問でした。私たちはこの質問に対する私たちの回答のコレクションをこちらで共有しています。 Hugging Faceのコア価値である民主化に則り、私たちは多くの時間を公に話すことに費やしてきました。そしてAIの世界で今起こっていることを説明するためにジャーナリストと対話する機会を与えられています。これには以下のものが含まれます：サーシャのAIのエネルギー使用と炭素排出に関するコメント（The Atlantic、The Guardian、2回、New Scientist、The Weather Network、The Wall Street Journal、2回）およびWall Street Journal op-edの一部の執筆；AIの終末論的なリスクに対する考え（Bloomberg、The Times、Futurism、Sky…

「推論APIを使用してAIコミックファクトリーを展開する」

最近、私たちは「PROsのための推論」という新しいオファリングを発表しました。これにより、より広範なユーザーがより大規模なモデルを利用することが可能になります。この機会が、Hugging Faceをプラットフォームとして使用してエンドユーザーアプリケーションを実行する新たな可能性をもたらします。そのようなアプリケーションの例としては、「AIコミック工場」があります。これは非常に人気があります。数千人のユーザーがAIコミックパネルを作成するために試しており、独自のコミュニティも形成されています。彼らは自分の作品を共有し、いくつかはプルリクエストを公開しています。このチュートリアルでは、AIコミック工場をフォークして設定し、長い待ち時間を避け、推論APIを使用して独自のプライベートスペースに展開する方法を紹介します。高い技術的スキルは必要ありませんが、API、環境変数の知識、そしてLLMsとStable Diffusionの一般的な理解が推奨されます。はじめにまず、PRO Hugging Faceアカウントにサインアップして、Llama-2とSDXLモデルへのアクセス権を取得する必要があります。 AIコミック工場の仕組み AIコミック工場は、Hugging Face上で実行される他のスペースとは少し異なります。それはNextJSアプリケーションで、Dockerを使用して展開され、クライアント-サーバーアプローチに基づいています。2つのAPIが必要です: 言語モデルAPI（現在はLlama-2） Stable Diffusion API（現在はSDXL 1.0）スペースの複製 AIコミック工場を複製するには、スペースに移動し、「複製」をクリックします: スペースの所有者、名前、可視性がすでに入力されていることに気付くでしょう。そのままで構いません。スペースのコピーは、リソースを多く必要としないDockerコンテナ内で実行されますので、最小のインスタンスを使用できます。公式のAIコミック工場スペースは、多くのユーザーベースを対象としているため、より大きなCPUインスタンスを使用しています。 AIコミック工場を自分のアカウントで操作するには、Hugging Faceトークンを設定する必要があります: LLMとSDエンジンの選択…

Learn more about Search Results ML - Page 243