Search Results Explosion

「モノのインターネット：進化と例」

「モノのインターネット（IoT）は単なる流行語ではなく、過去数十年間にわたって世界を変革してきた画期的な技術です」

プロデジーHFをご紹介します：Hugging Faceと直接連携

プロディジーは、Explosionという会社が作成したアノテーションツールです。この会社はspaCyのクリエイターとしてよく知られています。プロディジーは、スクリプトから完全に操作可能な製品であり、その周りには大きなコミュニティが存在しています。この製品には、spaCyとの緊密な連携やアクティブ・ラーニング機能など多くの機能があります。しかし、この製品の主な特徴は、Pythonでプログラム的にカスタマイズ可能であることです。このカスタマイズ性を促進するために、Explosionはプラグインのリリースを開始しました。これらのプラグインは、ユーザーが独自のアノテーションワークフローに取り組むことを奨励するオープンな方法で、サードパーティのツールと統合されます。しかし、特にこのカスタマイズについては明示的に称賛される価値があります。先週、ExplosionはProdigy-HFを導入しました。これはHugging Faceスタックと直接統合するコードレシピを提供します。これはProdigyサポートフォーラムで多く要望された機能であり、我々はとても興奮しています。特徴最初の主な特徴は、このプラグインにより、アノテーションしたデータでHugging Faceモデルをトレーニングして再利用できることです。つまり、名前付きエンティティ認識のために当社のインターフェースでデータをアノテーションしている場合、それに対してBERTモデルを直接ファインチューニングできます。これがプロディジーNERインターフェースの見た目です。プラグインをインストールした後、コマンドラインからhf.train.nerレシピを呼び出して、独自のデータ上でトランスフォーマーモデルを直接トレーニングすることができます。 python -m prodigy hf.train.ner fashion-train,eval:fashion-eval path/to/model-out --model "distilbert-base-uncased" これにより、distilbert-base-uncasedモデルがProdigyに保存されたデータセットについてファインチューニングされ、ディスクに保存されます。同様に、このプラグインはテキスト分類用のモデルも非常に似たインターフェースでサポートしています。 python -m prodigy hf.train.textcat fashion-train,eval:fashion-eval path/to/model-out --model…

現代のデータエンジニアリング

現代のデータエコシステムは常に進化し、新しいデータツールが時折現れますこの記事では、データエンジニアに影響を与える重要な要素について話したいと思いますこの記事では、どのようにこれを活用するかについて議論します...

グラデーションとは何か、そしてなぜそれが爆発するのか？

「グラデーションは、機械学習におけるもっとも重要な基本的な概念と言えるでしょうこの記事では、グラデーションの概念について探求し、それが消えたり爆発したりする要因、そしてどのように制御するかについても紹介します…」

Segmind APIとPostmanを使用した簡単なGenAIアプリの統合

はじめに人工知能（AI）をアプリケーションに統合することは、ビジネス競争力を維持するためにますます必要になっています。これらのAI機能を追加することで、ユーザー体験が向上し、タスクが自動化され、有益な洞察が提供されます。私たちは多様なGenAIモデルを利用できるため、可能性があります。しかし、AIをアプリに統合することは複雑です。特にGenAIの新しいトレンドでは、まだ多くのプロセスが試行錯誤されています。したがって、ファッションアプリなどの個人用アプリケーションやソフトウェアにGenAIを統合する方法を知りたい場合は、この記事ではSegmind APIとPostmanを使用してGenAIアプリを統合するプロセスを簡素化することを目指しています。学習目標 SegmindモデルとAPIの理解 SegmindとのGenAI統合APIの理解 Segmind APIとのPostmanの使用この記事は、Data Science Blogathonの一環として公開されました。 SegmindモデルAPIの理解 SegmindのGenAI APIを包括的に理解するためには、その目的、機能、利点を理解する必要があります。eコマースアプリやファッションデザイン、アニメーション、背景除去、アートワーク、絵画、漫画などの画像認識に関する潜在的なユースケースを強調することができます。利用の容易さに加えて、Segmind AIはWebサイトのAPIとプレイグラウンドを介して利用可能なGenAIモデルを提供しています。この記事ではAPIの推論コールを使用します。利用可能なAPIスクリプトを使用して、タスクに適したモデルを選択することは簡単です。以下は、https://www.segmind.com/models/sd1.5-outpaint/api で利用可能なStable Diffusion 1.5 Outpaintingモデルの例です。 import requests from base64 import…

「AIとMLが高い需要になる10の理由」 1. ビッグデータの増加による需要の増加：ビッグデータの処理と分析にはAIとMLが必要です 2. 自動化の需要の増加：AIとMLは、自動化されたプロセスとタスクの実行に不可欠です 3. 予測能力の向上：AIとMLは、予測分析において非常に効果的です 4. パーソナライズされたエクスペリエンスの需要：AIとMLは、ユーザーの行動と嗜好を理解し、パーソナライズされたエクスペリエンスを提供するのに役立ちます 5. 自動運転技術の需要の増加：自動運転技術の発展にはAIとMLが不可欠です 6. セキュリティの需要の増加：AIとMLは、セキュリティ分野で新たな挑戦に対処するために使用されます 7. ヘルスケアの需要の増加：AIとMLは、病気の早期検出や治療計画の最適化など、医療分野で重要な役割を果たします 8. クラウドコンピューティングの需要の増加：AIとMLは、クラウドコンピューティングのパフォーマンスと効率を向上させるのに役立ちます 9. ロボティクスの需要の増加：AIとMLは、ロボットの自律性と学習能力を高めるのに使用されます 10. インターネットオブシングス（IoT）の需要の増加：AIとMLは、IoTデバイスのデータ分析と制御に重要な役割を果たします

「2024年におけるAIとMLの需要急増を促している10の主要な要因を発見し、さまざまな産業で探求しましょう技術の未来を探索しましょう」

「セマンティックカーネルへのPythonistaのイントロ」

ChatGPTのリリース以来、大規模言語モデル（LLM）は産業界とメディアの両方で非常に注目されており、これによりLLMを活用しようとする前例のない需要が生まれました...

「LLMによるエンティティ認識：完全な評価」

サイズのおかげで、大規模言語モデル（LLM）は優れた言語処理能力を獲得していますほとんど例がなくても、彼らは…のような言語処理操作を実行することができます

AIコーディングツールが登場しました：製品エンジニアリングチームがそれらをどのように活用するか

「これは、開発者を対象とした生成型AI生産性ツールであるGithub Copilot、ChatGPT、Amazon CodeWhispererなどが構造にどのような影響を与えるかを調査するシリーズの2つ目のパートです...」

AutoNLPとProdigyを使用したアクティブラーニング

機械学習の文脈におけるアクティブラーニングは、ラベル付きデータを反復的に追加し、モデルを再トレーニングしてエンドユーザーに提供するプロセスです。これは終わりのないプロセスであり、データのラベリング/作成には人間の介入が必要です。この記事では、AutoNLPとProdigyを使用してアクティブラーニングパイプラインを構築する方法について説明します。 AutoNLP AutoNLPは、Hugging Faceが作成したフレームワークであり、ほとんどコーディングを行わずに独自のデータセット上で最先端のディープラーニングモデルを構築するのに役立ちます。AutoNLPは、Hugging Faceのtransformers、datasets、inference-apiなどのツールに基づいて構築されています。 AutoNLPを使用すると、独自のカスタムデータセットでSOTAトランスフォーマーモデルをトレーニングし、それらを微調整（自動的に）してエンドユーザーに提供することができます。AutoNLPでトレーニングされたすべてのモデルは最先端でプロダクションに対応しています。この記事の執筆時点では、AutoNLPはバイナリ分類、回帰、マルチクラス分類、トークン分類（固有表現認識や品詞など）、質問応答、要約などのタスクをサポートしています。すべてのサポートされているタスクのリストはこちらで確認できます。AutoNLPは、英語、フランス語、ドイツ語、スペイン語、ヒンディー語、オランダ語、スウェーデン語などの言語をサポートしています。AutoNLPでは、カスタムトークナイザーを使用したカスタムモデルもサポートされています（AutoNLPでサポートされていない場合）。 Prodigy Prodigyは、spaCyの開発元であるExplosionによって開発された注釈ツールです。これはリアルタイムでデータを注釈付けするためのWebベースのツールです。Prodigyは、固有表現認識（NER）やテキスト分類などのNLPタスクをサポートしていますが、NLPに限定されません！コンピュータビジョンのタスクや独自のタスクの作成もサポートしています！Prodigyのデモはこちらでお試しいただけます。 Prodigyは商用ツールですので、詳細についてはこちらでご確認ください。私たちは、データのラベリングに最も人気のあるツールの1つであり、無限にカスタマイズ可能なProdigyを選びました。また、セットアップや使用も非常に簡単です。データセットさあ、この記事の最も興味深い部分が始まります。さまざまなデータセットや問題の種類を調査した後、私たちはKaggleのBBCニュース分類データセットに出くわしました。このデータセットは、クラス内競技で使用され、こちらでアクセスできます。このデータセットを見てみましょう：このデータセットは分類データセットです。ニュース記事のテキストであるText列と、記事のクラスであるCategory列があります。全体として、5つの異なるクラスがあります：business、entertainment、politics、sport、tech。 AutoNLPを使用してこのデータセットでマルチクラス分類モデルをトレーニングするのは簡単です。ステップ1：データセットをダウンロードします。ステップ2：AutoNLPを開き、新しいプロジェクトを作成します。ステップ3：トレーニングデータセットをアップロードし、自動分割を選択します。ステップ4：価格を承認し、モデルをトレーニングします。上記の例では、15種類の異なるマルチクラス分類モデルをトレーニングしています。AutoNLPの価格は1つあたり10ドル以下になることもあります。AutoNLPは最適なモデルを選択し、ハイパーパラメータの調整を自動で行います。したがって、今すぐ座って結果を待つだけです。約15分後、すべてのモデルのトレーニングが完了し、結果が利用可能になりました。最も優れたモデルの精度は98.67％のようです！したがって、このデータセットの記事を98.67％の精度で分類することができます！しかし、アクティブラーニングとProdigyについて話していましたが、それらはどうなったのでしょうか？🤔 すでにProdigyを使用したことを確認します。私たちは、このデータセットを固有表現認識のタスクのためにラベル付けするためにProdigyを使用しました。ラベリングの部分を始める前に、ニュース記事のエンティティを検出するだけでなく、それらを分類するプロジェクトを持つことがクールだと思いました。そのため、既存のラベルでこの分類モデルを構築しました。…

Learn more about Search Results Explosion