Search Results ( link

MailchimpにおけるMLプラットフォーム構築の教訓

この記事はもともと、「MLプラットフォームポッドキャスト」という番組のエピソードでしたこの番組では、ピオトル・ニェジヴィエツとアウリマス・グリチューナスが、MLプラットフォームの専門家たちと一緒に、設計の選択肢、ベストプラクティス、サンプルのツールスタック、そして最高のMLプラットフォームの専門家たちからの実際の学びを話し合っていますこのエピソードでは、ミキコ・バゼリーがMLの構築から学んだことを共有します...

MLOps

In Japan, the concept of FinTech is gaining popularity rapidly, and many businesses are starting to incorporate data science into this field. Data science involves the analysis and interpretation of large amounts of data to gain insights and make informed

イントロダクション現代のダイナミックな金融の景色において、データサイエンスは< a href=”https://www.voagi.com/comparing-chatgpts-and-bards-free-versions.html” >フィンテックとバンキング業界の要石となりました。これは、情報に基づいた意思決定の駆動力となり、顧客と金融業界全体の両方に利益をもたらしています。信用情報機関のTransUnionのような機関は、クレジットスコアリングや顧客セグメンテーションなどの手法を用いて、このデータに基づく意思決定をサポートしています。これにより、この領域での機械学習モデルの開発と実装が増えています。本記事では、データサイエンスが金融の世界を形作る上で果たす重要な役割について掘り下げます。クレジットスコアリングの基本的な意義からデータガバナンスの複雑さ、および顧客セグメンテーションの変革的な力まで、この探求は金融機関がデータに基づく意思決定を行うためにどのようにデータサイエンスを活用しているかを強調しています。学習目標：フィンテックにおけるクレジットスコアリングの役割と重要性を理解する。データガバナンスについて学び、金融データの安全性における重要性を理解する。顧客セグメンテーションが金融の意思決定に与える影響を発見する。フィンテックにおけるクレジットスコアリングと金融データ分析クレジットスコアリングはフィンテックの景色において基本的な要石です。クレジットスコアは、銀行がローンや各種金融商品の対象性を評価するために頼るものです。それはあなたの金融的な健全性を数値で表示したものです。しかし、それは単純な数字ではなく、年齢、収入、資産などの多くの要素に影響を受ける複雑な計算です。フィンテックの領域では、このクレジットスコアは、顧客がローンやクレジットカードの返済を滞納する可能性があるかどうかを評価する上で重要な役割を果たします。返済滞納の履歴がある顧客は、望ましくない「拒否」カテゴリーに置かれるかもしれません。対照的に、好意的なクレジットスコアを持つ顧客は、さまざまな金融商品にアクセスすることができます。この微調整されたプロセスは、責任ある貸し出しの基盤となるデータ分析および予測モデリングに基づいています。特徴量選択とモデル展開利用可能な膨大な金融データがあるため、予測モデルの構築に使用する情報を絞り込むことは重要です。特徴量選択はデータ分析の鍵となるステップであり、データセットを最も関連性の高い変数に絞り込むのに役立ちます。このプロセスは、高度に相関する特徴を特定し、最も情報量の豊富な特徴のみを残すための統計的手法を使用することを含みます。これにより、モデルの精度が向上し、計算コストと時間も削減されます。特徴が選択されると、予測モデルは新しい顧客の信用力を評価するために展開されます。これは、ローン返済のリスクを最小限に抑え、責任ある貸し出しを確保するための重要なステップです。これらのモデルの性能は、分類器の予測能力を測るROC曲線などのメトリクスを使用して評価されます。フィンテックでは、AUC（曲線下面積）が0.75以上であり、頑健なモデルを示すことが業界の標準です。モデル評価とメトリクス予測モデルが作成されたら、その精度と信頼性を評価することが重要です。銀行の領域では、顧客がローンを返済する可能性の予測など、モデルが結果を予測する能力にかかっています。正解率、適合率、再現率などの伝統的なメトリクスが役割を果たしますが、詳細な分析はこれらの基本的なメトリクスを超えたものです。 2つの重要なメトリクスとして、コルモゴロフ・スミルノフ（KS）テストとジニ係数がよく使用されます。KSは、陽性クラスと陰性クラスの累積分布関数の間の分離度を測定します。要するに、モデルが製品（例えば、クレジットカード）を購入するかどうかを区別する能力を示します。注目すべきは、KSが正規分布を要求しないため、さまざまなシナリオに適応できることです。一方、ジニ係数は受信者操作特性（ROC）曲線とベースラインの間の領域を評価します。これは、ROC曲線により深く入り込み、分類器のパフォーマンスについての洞察を提供します。これらのメトリクスは、特定の顧客セグメントを対象とする場合に特に重要です。なぜなら、彼らの行動を理解することは金融の意思決定において重要だからです。モデルのモニタリングモデルのモニタリングは、特に金融テクノロジーの急速な世界では継続的なプロセスです。過去に構築されたモデルは、顧客行動の進化、市場のダイナミクス、規制の変化により、すぐに時代遅れになることがあります。ここでモニタリングが重要な役割を果たします。定期的に、現在のデータを使用してKSやGiniなどのメトリックが計算され、開発フェーズからのそれらと比較されます。これらのメトリックの差異は、モデルのパフォーマンスを示す指標となります。ビジネス上の考慮事項によって決定されるしきい値は、モデルに介入が必要かどうかを判断するのに役立ちます。例えば、差異が10%または20%を超える場合は、詳細な調査が必要です。このような重要な差異がある場合、モデルの正確性を調整するための2つの方法があります：再校正と再開発。…

「複雑さを排除したデータレイクテーブル上のデータアクセスAPI」

データレイクテーブルは、主にSparkやFlinkなどのビッグデータコンピュートエンジンを使用するデータエンジニアリングチームや、モデルやレポートを作成するデータアナリストや科学者によって利用されます

ネットワークXによるソーシャルネットワーク分析：優しいイントロダクション

ストリーミングプラットフォームのようなNetflixが、あなたの夜に最適な映画をおすすめするのはどうやっているのでしょうか？サッカーのようなスポーツでプレイヤーの位置を最適化するにはどうすればよいのでしょうか？詐欺的な活動をどのように特定することができるのでしょうか…

データサイエンティストが生産性を10倍にするための5つのツール

AIツールは、単調で繰り返されるタスクを自動化することで、データサイエンティストの生産性を最大限に引き上げるのに役立ちます詳細はこちらでご確認ください！

実験、モデルのトレーニングおよび評価：AWS SageMakerを使用して6つの主要なMLOpsの質問を探求する

今回の記事は、'31の質問がフォーチュン500のML戦略を形作る' AWS SageMakerシリーズの一部です以前のブログ投稿「データの入手と調査」と「データ...」

「データ中心のAIの練習方法と、AIが自分のデータセットを改善する方法」

編集者の注記ヨナス・ミュラーは、10月30日から11月2日までのODSCウエストで講演者となります彼のトーク「データ中心のAIの実践とAIによるデータセットの改善方法」を必ずご覧ください！機械学習モデルの性能は、それが訓練されたデータに依存します...

West 2023

「フィーチャー/トレーニング/推論パイプラインによってバッチとMLシステムを統一する」

「データMLプロダクトチームのための新しいMLOpsの方法」

Partners

機械学習エンジニアのためのLLMOps入門ガイド

イントロダクション OpenAIのChatGPTのリリースは、大規模言語モデル（LLM）への関心を高め、人工知能について誰もが話題にしています。しかし、それは単なる友好的な会話だけではありません。機械学習（ML）コミュニティは、LLMオプスという新しい用語を導入しました。私たちは皆、MLOpsについて聞いたことがありますが、LLMOpsとは何でしょうか。それは、これらの強力な言語モデルをライフサイクル全体で扱い管理する方法に関するものです。 LLMは、AI駆動の製品の作成と維持方法を変えつつあり、この変化が新しいツールやベストプラクティスの必要性を引き起こしています。この記事では、LLMOpsとその背景について詳しく解説します。また、LLMを使用してAI製品を構築する方法が従来のMLモデルと異なる点も調査します。さらに、これらの相違によりMLOps（機械学習オペレーション）がLLMOpsと異なる点も見ていきます。最後に、LLMOpsの世界で今後期待されるエキサイティングな展開について討論します。学習目標： LLMOpsとその開発についての理解を深める。例を通じてLLMOpsを使用してモデルを構築する方法を学ぶ。 LLMOpsとMLOpsの違いを知る。 LLMOpsの将来の展望を一部垣間見る。この記事はデータサイエンスブロガソンの一環として公開されました。 LLMOpsとは何ですか？ LLMOpsは、Large Language Model Operationsの略であり、MLOpsと似ていますが、特に大規模言語モデル（LLM）向けに設計されたものです。開発から展開、継続的なメンテナンスまで、LLMを活用したアプリケーションに関連するすべての要素を処理するために、新しいツールとベストプラクティスを使用する必要があります。これをよりよく理解するために、LLMとMLOpsの意味を解説します： LLMは、人間の言語を生成できる大規模言語モデルです。それらは数十億のパラメータを持ち、数十億のテキストデータで訓練されます。 MLOps（機械学習オペレーション）は、機械学習によって動力を得るアプリケーションのライフサイクルを管理するために使用されるツールやプラクティスのセットです。これで基本的な説明ができたので、このトピックをもっと詳しく掘り下げましょう。 LLMOpsについての話題とは何ですか？まず、BERTやGPT-2などのLLMは2018年から存在しています。しかし、ChatGPTが2022年12月にリリースされたことで、LLMOpsのアイデアにおいて著しい盛り上がりを目の当たりにするのは、ほぼ5年後のことです。それ以来、私たちはLLMのパワーを活用したさまざまなタイプのアプリケーションを見てきました。これには、ChatGPTなどのお馴染みのチャットボットから（ChatGPTなど）、編集や要約のための個人用のライティングアシスタント（Notion AIなど）やコピーライティングのためのスキルを持ったもの（Jasperやcopy.aiなど）まで含まれます。また、コードの書き込みやデバッグのためのプログラミングアシスタント（GitHub Copilotなど）、コードのテスト（Codium AIなど）、セキュリティのトラブルの特定（Socket…

「Pythonをマスターするための無料の５冊の本」

「Pythonの基礎からクリーンアーキテクチャまで、Pythonスキルをレベルアップさせるのに役立つ無料の本を5冊紹介します」

Python

Learn more about Search Results ( link - Page 45