Search Results プロバイダー

「Amazon SageMakerを使用して、マルチクラウド環境でMLモデルをトレーニングおよびデプロイする」

この投稿では、多クラウド環境でAWSの最も広範で深いAI / ML機能の1つを活用するための多くのオプションの1つを示しますAWSでMLモデルを構築しトレーニングし、別のプラットフォームでモデルを展開する方法を示しますAmazon SageMakerを使用してモデルをトレーニングし、モデルアーティファクトをAmazon Simple Storage Service（Amazon S3）に保存し、モデルをAzureで展開して実行します

「アマゾン、無人レジ技術を衣料品店に適用」

大手小売り企業AmazonのJust Walk Out無人レジショッピング技術の衣料品向け新バージョンは、アパレルを無線周波数識別（RFID）によって追跡します

大規模言語モデル（LLM）の時代におけるイノベーションと安全性・プライバシーのバランス

「あなたの生成AIアプリケーションに安全性とプライバシー機構を実装するためのガイド」

Rocket Money x Hugging Face プロダクションで変動するMLモデルのスケーリング

「彼らはただのサービスプロバイダではなく、私たちの目標と結果に投資しているパートナーだと気づきました」- ニコラス・クザック、ロケットマネーのシニアMLエンジニア。 MLOpsチームなしでの本番環境でのMLモデルのスケーリングとメンテナンス私たちは、Rocket Money（以前の名前はTruebillの個人ファイナンスアプリ）を作成し、ユーザーが自分の財務状況を改善できるようにしました。ユーザーは銀行口座をアプリにリンクさせ、トランザクションを分類し、カテゴリ分けし、繰り返しのパターンを特定して、個人の財務状況を総合的かつ包括的に表示します。トランザクション処理の重要な段階は、Rocket Moneyが会員のためにキャンセルし、費用を交渉できるいくつかの既知の販売業者やサービスを検出することです。この検出は、短く、しばしば切り詰められ、暗号化された形式のトランザクション文字列をクラスに変換して、製品体験を豊かにするために使用します。新しいシステムへの旅最初に、正規表現ベースの正規化器を使用してトランザクションからブランドと製品を抽出しました。これらは、文字列を対応するブランドにマッピングする複雑になる決定表と併用されました。このシステムは、キャンセルと交渉に対応する製品にのみ結び付けられたクラスが存在する場合には効果的でしたが、ユーザーベースが拡大し、サブスクリプションエコノミーが急速に発展し、製品の範囲が拡大するにつれて、新しいクラスの数と正規表現のチューニングや衝突の防止に追いつく必要がありました。これを解決するために、バッグオブワーズモデルとクラスごとのモデルアーキテクチャを使用したさまざまな従来の機械学習（ML）ソリューションを検討しました。このシステムはメンテナンスとパフォーマンスに苦労し、保留となりました。私たちは、まっさらな状態から新しいチームと新しい命令を組み立てることに決めました。最初の課題はトレーニングデータを蓄積し、ゼロから社内システムを構築することでした。私たちはRetoolを使用してラベリングキュー、ゴールドスタンダードの検証データセット、ドリフト検出モニタリングツールを構築しました。さまざまなモデルトポロジーを試しましたが、最終的にはBERTファミリーのモデルを選び、テキスト分類の問題を解決しました。初期のモデルのテストと評価のほとんどは、GCPのデータウェアハウス内でオフラインで実施されました。ここでは、4000以上のクラスを持つモデルのパフォーマンスを測定するために使用したテレメトリとシステムを設計および構築しました。 Hugging Faceとのパートナーシップによるドメインの課題と制約の解決私たちのドメイン内には、商品を提供する業者や処理/支払い会社、機関の違い、ユーザーの行動の変化など、独自の課題がいくつかあります。効率的なモデルのパフォーマンスアラート設計と現実的なベンチマーキングデータセットの構築は、継続的に課題となっています。もう1つの重要な課題は、システムの最適なクラス数を決定することです-各クラスは作成とメンテナンスに相当な労力を要するため、ユーザーとビジネスへの価値を考慮する必要があります。オフラインのテストでうまく機能するモデルと少数のMLエンジニアのチームを持つ私たちは、新たな課題に直面しました：そのモデルを私たちの本番パイプラインにシームレスに統合すること。既存の正規表現システムは、月間100万以上のトランザクションを処理し、非常に負荷の高い状態で動作していましたので、パイプライン内で低い全体的なレイテンシを維持するために動的にスケーリングできる高可用性のシステムが重要でした。当時の小さなスタートアップとして、モデルサービングソリューションを構築する代わりに購入することにしました。当時、社内でのモデルオペレーションの専門知識はなく、MLエンジニアのエネルギーを製品内のモデルのパフォーマンス向上に集中させる必要がありました。これを念頭に置いて、私たちは解決策を探しました。最初は、プロトタイピングに使用していた手作りの社内モデルホスティングソリューションをAWS SagemakerとHugging Faceの新しいモデルホスティング推論APIと比較して試してみました。データの保存にはGCPを使用し、モデルトレーニングにはGoogle Vertex Pipelinesを使用していたため、AWS Sagemakerへのモデルのエクスポートは不便でバグがありました。幸いなことに、Hugging Faceの設定は迅速かつ簡単であり、1週間以内に一部のトラフィックを処理することができました。Hugging Faceはそのまま動作し、この摩擦の低減により、私たちはこの道を進むことになりました。約3か月にわたる評価期間の後、私たちはHugging Faceをモデルのホスティングに選びました。この期間中、トランザクションのボリュームを徐々に増やし、最悪のケースシナリオのボリュームに基づいた数々のシミュレートされた負荷テストを実施しました。このプロセスにより、システムを微調整し、パフォーマンスを監視し、トランザクションの拡張負荷を処理する推論APIの能力に自信を持つことができました。技術的な能力を超えて、私たちはハギングフェイスのチームとの強い関係を築きました。彼らは単なるサービスプロバイダーではなく、私たちの目標と成果に投資しているパートナーであることを発見しました。コラボレーションの初期段階で、私たちは貴重な存在であるとわかる共有のSlackチャンネルを設置しました。彼らが問題に対して迅速に対応し、積極的な問題解決のアプローチを取る姿勢には特に感銘を受けました。彼らのエンジニアやCSMは、私たちの成功への取り組みと正しい方法での取り組みを常に示しました。これにより、最終的な選択をする時に私たちは追加の自信を得ることができました。…

デブセコプス：セキュリティをデブオプスのワークフローに統合する

この包括的なガイドでは、DevSecOpsの原則、利点、課題、実世界での使用例、およびベストプラクティスについて詳しく説明します

「透明なセンサーが視線追跡を目に見えないように隠す」

「半透明画像センサーは、ユーザーの目の前の眼鏡や曲面のフロントガラスに組み込まれる可能性があり、読み取り電子部品は横に配置されます」

「Vianaiの新しいオープンソースのソリューションがAIの幻覚問題に取り組む」

「AI、特に大規模言語モデル（LLM）が時折正確でない、または潜在的に有害な出力を生成することは秘密ではありませんこれらの異常は「AI幻覚」と呼ばれ、金融、評判、さらには法的な結果の固有のリスクのためにLLMの統合を検討している企業にとって重大な障壁となっていますこの重要な懸念に対応するために、Vianai Systemsは先駆者として...」

「スノーフレーク vs データブリックス：最高のクラウドデータプラットフォームを作るために競争する」

「最高のクラウドデータプラットフォームの競争に参加したいですか？SnowflakeとData Bricksの違いを見てみてください」

ウェブ開発者のためのAI：プロジェクトの紹介とセットアップ

この投稿では、Qwikを使用してウェブ開発プロジェクトをブートストラップし、OpenAIのAIツールを組み込む準備を整えます

AutoMLのジレンマ

「AutoMLは過去数年間、注目の的となってきましたそのハイプは非常に高まり、人間の機械学習の専門家を置き換えるという野心さえも持っていますしかし、長期間にわたってほとんど採用されていないという現実があります…」

Learn more about Search Results プロバイダー - Page 14