「マイクロソフトのシニアデータサイエンティストの成功ストーリー」

Microsoft Senior Data Scientist Success Story

イントロダクション

現代のデジタル時代において、データの力は否応なく認められており、その潜在能力を引き出すスキルを持つ人々が技術の未来を形作る中でリードしています。その中でも、データサイエンスの領域において卓越した人物、ニルマル氏は、世界でも屈指のテクノロジー企業であるマイクロソフトでシニアデータサイエンティストとして活躍しているビジョンを持つ人物です。

運命に挑み、才能と献身の結晶であるニルマル氏は、謙虚な出自から始まる変革の旅に乗り出し、マイクロソフトでシニアデータサイエンティストとしてのキャリアの頂点に上り詰めました。彼の急速な昇進は、データサイエンティスト志望者だけでなく、夢と偉大さを実現するための決意を持つすべての人々にとっても、インスピレーションを与える成功物語となっています。

この成功物語の記事では、ニルマル氏のキャリアに焦点を当て、彼の非凡なキャリアを形作った重要なマイルストーン、課題、勝利を追跡します。彼が主導した画期的なプロジェクト、もたらした変革の影響、そして彼が学んだ貴重な教訓を探求します。ニルマル氏の物語を通じて、データサイエンスの絶えず進化する世界で成功するために必要な特性とマインドセットを発見します。

• チャットボットと個人情報の共有の危険性-注意が必要です
• 「データサイエンスの役割に関するGoogleのトップ50のインタビュー質問」
• 「Spotifyのデータサイエンティストによるインサイトを効果的なアクションに変えるためのガイド」

会話を始めましょう！

AV: キャリアの軌跡、教育の背景を強調し、最初のデータサイエンティストの仕事を得るのにどのように役立ちましたか？

ニルマル氏: 私のキャリアの軌跡は常に一直線ではありませんでした。私たち一人ひとりにはそれぞれの物語があり、それらがすべて興味深いことでしょう。私の物語はこちらです。私はネパールでITエンジニアの学士号を取得しました。2007年にアメリカ合衆国に移住し、修士号を取得しました。修士課程を修了した後、私は米国陸軍に参加しました。はい、非常に普通ではないと思われるかもしれません。2009年ごろのアメリカでの大不況（ちょうど私の卒業年でもありました）により、特に留学生にとっては就職市場が非常に悪い状況でした。米国陸軍による特別なパイロットプログラムがあり、私は必要な手続きをすべて経て軍務員になることができました。子供の頃から軍に入隊することに対する情熱がありました。それを実現する方法です。

軍務中、私はMBAを取得しました。2014年、最初の兵役契約が終了した後、私は米国陸軍を退役しました。同年、私は初めてのデータ役職として、海軍省の連邦政府職員としてサイバーセキュリティアナリストとしての仕事を得ました。この仕事をしている間にデータサイエンスの修士号を取得しました。データアナリストとしての経験を積み、学術的な資格とデータサイエンスのスキルを身につけた後、2018年にウェルズ・ファーゴ銀行でデータサイエンティストの役職で私の最初の役職に就きました。それ以来、データサイエンスに従事しており、現在はマイクロソフトのシニアデータサイエンティストとして働いています。

AV: データを使用して実世界の問題を解決し、ビジネスや製品戦略に与えた影響について教えていただけますか？

ニルマル氏: たくさんの例があります。まず、私たちはデータサイエンティストの役職に就かなくても、データの問題を解決するために取り組むことができます。そんな誤解があります。私たちはデータアナリスト、データエンジニア、ビジネスアナリストなど、データを扱うさまざまな役職で働くことができます。

私は主にサイバーセキュリティの領域で働いています。私たちの主な焦点の2つは、調査と検出です。サイバーセキュリティの問題に取り組む際に非常にポピュラーな問題の1つは、異常検知です。私はデータサイエンスチームで異常検知システムを構築し、セキュリティアナリストが注目すべきイベント/アラートに費やす時間を節約するのを助けました。その影響は彼らの時間とリソースの節約にあります。

AV: データサイエンスを使用して解決した最も困難な問題は何でしたか？問題にどのように取り組みましたか？結果はどうでしたか？

ミスター・ニルマル: 私が一番難しいと感じる問題はまだ解決されていないと言ってもいいでしょう。私たちは非常に革新的なAIの世界に生きているため、敵対者が今まで以上に最先端のツールを持っていることを常に意識しなければなりません。しかし、興味深い問題をひとつ挙げるとすれば、ユーザーの行動分析、またはユーザーエンティティの行動分析とも呼ばれるもので、業界では広く知られているUEBAと呼ばれるものです。UEBAは、通常の基準から逸脱するユーザーのアクティビティを特定することで脅威を発見するタイプのサイバーセキュリティ機能です。

簡単な例: A地点からよくログインしているユーザーが、突然B地点からログインしているアクティビティが観測されます。これは旅行に関連するものかもしれませんが、それでも通常の行動から逸脱しているため、正常性対悪意性を確認するために調査する必要があります。UEBAの最も難しい部分は、基準を理解し作成することです。

データ駆動の洞察

AV: テクニカルでない利害関係者に複雑なデータ駆動の洞察を伝える必要があった場面のストーリーを共有していただけますか？彼らが洞察とビジネスへの影響を理解したことを確認するためにどのような工夫をしましたか？

ミスター・ニルマル: データサイエンティストとして、私たちはこのような複数のシナリオに出くわすことがあります。ビジネスの利害関係者のほとんどは、自分たちの問題と意図する解決策によく精通しています。しかし、なぜ特定の解決策が意味を成すのか、なぜ意味を成さないのかを彼らに説明することは時に難しいことがあります。1つの例を共有いたします。私たちは詐欺検知モデルを構築しました。それは詐欺対非詐欺のトランザクションを判別するバイナリ分類器でした。詐欺アナリストは自分たちのドメインをよく知っています。しかし、モデルの結果を彼らに説明するのは彼らの言葉で分かりやすくすることが難しいです。

モデルのチューニングやハイパーパラメータ、クロスバリデーションやサンプリング方法などの詳細を共有しても、それらは彼らにはあまり意味をなさないでしょう。しかし、特徴のランキングに基づいて有用な属性やクラスの不均衡に関するいくつかの課題を解釈すると、彼らには理解が深まります。したがって、データサイエンティストはビジネスの言葉でも話すことが常に重要です。

 

AV: チームが構築した機械学習モデルがエンドユーザーに対して説明可能かつ透明であることを特にセキュリティと脅威検出の文脈でどのように保証しますか？

ミスター・ニルマル: 先ほどの例でも述べたように、ビジネスパートナーに対してモデルを説明する際には、モデルの相互運用性が非常に重要です。これはどのドメインで作業しているかに関係なく重要です。セキュリティと脅威検出では、モデルとして構築したものは脅威アナリストに説明可能である必要があります。ここで共有できる良い例は、「善意の陽性」という概念です。最初にこの用語を聞いたとき、私は少し混乱しました。私は真陽性と偽陽性しか知りませんでした。しかし、セキュリティの領域では、善意の陽性は重要です。以下にそれらのカテゴリの詳細を示します：

• 真陽性 (TP): セキュリティツールによって検出された悪意のある行動。
• 善意の真陽性 (B-TP): セキュリティツールによって検出された実際のが、悪意を持たない行動、例えば侵入テストや承認されたアプリケーションによって生成された既知のアクティビティ。
• 偽陽性 (FP): 偽の警告であり、その活動は実際には起こっていないことを意味します。

AV: 作業していたデータが乱雑または不完全な状態の場面に遭遇したことはありますか？それをどのように処理し、結果はどうなりましたか？

ミスター・ニルマル: これは常に起こることです。データサイエンティストがクリーンなデータを手に入れたと言うならば、それは彼/彼女にとって宝くじに当たるようなものです。現実のプロジェクトは、データがほとんどクリーンなCSVファイルとして提供されるKaggleのコンペティションのようなものではありません。データニーズに関しては、探索的データ分析（EDA）が行われる前に、データ契約のためにデータオーナーと協力したり、データ収集に時間を費やします。

ほとんどの場合、スキーマと一致しない乱雑なデータに遭遇します。データのバージョニングは重要であり、正しいデータを得るまでETLパイプラインを複数回反復する際に、それぞれのデータバージョンを追跡します。ここで私が言及したように、データの監視可能性という概念があります。これは、正しいデータを正しい形式で正しいタイミングで正しい宛先に取り込むことに関わるものです。

 

AV: 共通の目標を達成するためにチームと協力したプロジェクトについて教えていただけますか？チームの成功にどのように貢献しましたか？その経験から何を学びましたか？

Mr. Nirmal: Microsoftでは、「One Microsoft」というものを実践しており、チーム間の協力の文化を受け入れるためのサービスと製品の開発に焦点を当てています。それは単独で作業するのではなく、新しいコンセプトをイノベーションし、一緒に取り組むためのものです。私が取り組んだほとんどのプロジェクトは、他のチームとの協力によって実現しています。それはエンジニアリングの対応部門や外部のチームとの協力です。Microsoftの文化の良い点は、既存のサービスの上にシステムを構築することに焦点を当てていることです。これにより、他のチームとの関係構築が促進されるだけでなく、会社の時間とリソースも節約されます。個人的には、さまざまなチームと協力する中で多くのことを学びました。

データセキュリティプロジェクト

AV: セキュリティとデータサイエンスの交差点で働くことが好きだとおっしゃいましたが、データを使用してセキュリティ対策を改善したり、セキュリティ侵害を防いだりするプロジェクトについての成功事例を共有していただけますか？そのプロジェクトの影響は何でしたか？

Mr. Nirmal: これは素晴らしい質問です。取り上げていただきありがとうございます。データがあるため、データサイエンスはすべてのドメインに適用できます。私は通常、初心者のデータサイエンティストに複数のパスを試してみることを提案します。少なくとも3つの興味のあるドメインを持つことで、機械学習モデルのトレーニングと同様に、キャリアパスの選択はキャリアの初めの段階で反復的なプロセスです。セキュリティとデータサイエンスは、まれでユニークな組み合わせの1つです。求人市場は需要があり、厳しい経済状況でもこの領域では雇用の安定性も強いです。

私のストーリーを共有すると、セキュリティの中にいることの最大の利点の1つは、常に進化している分野であるということです。ハッカーは新しい戦略やツールを考え出しており、私たちはそれに迅速に対応しなければなりません。私が関与したビジネス上のシンプルで役立つプロジェクトの1つは、アラートの分類です。セキュリティの研究者がさまざまな攻撃パターンを見つけると、セキュリティエンジニアが検出ルールを作成し、ルールと一致するとアラートが発生します。しかし、問題は、すべてのシステムがアラートを生成することです。これらのアラートの誤検知率は高いです。

セキュリティと効率をバランスさせるために、リスクスコアに基づいてアラートを真の陽性、良性陽性、偽陽性に分類するためのMLモデルを開発しました。これにより、アナリストはキューの優先順位を付け、過負荷のアラートのボリュームを避けつつ、敵対者が検出されずに逃れるリスクを最小限に抑えることができます。

予期しないインサイトの取り扱いに関するアドバイス

AV: データが予期しないまたは驚くべきインサイトを示したことがありますか？それらのシナリオに対処するための提案はありますか？

Mr. Nirmal: 探索的データ分析（EDA）フェーズでは、データに対して正しい質問をすることを見落とす傾向があります。記述統計、一変量または多変量の分析、相関ヒートマップなど、EDAの基本的な手順に従うだけでは、重要なインサイトを見逃す可能性があります。

例えば：データに外れ値がある場合、一般的なプロセスはそれらを削除することです。なぜなら、それらが分布を歪めるからです。ただし、それらを常に削除することは良い考えではありませんし、プロジェクトによります。異常検出プロジェクトを行っている場合、外れ値は見つけようとしている異常です。この場合、トレーニングデータから削除することは賢明な決定ではありません。データの削除については、欠損データも含めて、常にドメインの専門家と相談する方が良いです。

成功するデータサイエンティストになるためのアドバイス

AV: Microsoftのようなテックジャイアントで成功するデータサイエンティストになりたいと思っている人に何かアドバイスはありますか？

Mr. Nirmal: 私の提案はMicrosoftに限定されるものではありませんが、一般的にどの業界や企業にも適用されます。要点をまとめると以下の通りです：

• 新しいことを学ぶ意欲を持ち続ける: データサイエンス業界は常に急速に進化しています。この分野では継続的な学習が非常に重要です。
• ネットワークを構築する: カンファレンスに参加し、LinkedInのコミュニティチャンネルに参加し、VoAGIなどの人気のあるデータサイエンスプラットフォームで記事を書くなど、コミュニティに貢献しましょう。ネットワーキングは非常に役立ちます。
• 影響力のあるプロジェクトに焦点を当てる: データサイエンティストの肩書きには、データエンジニアリング作業を行うもの、データアナリスト作業を行うものなど、さまざまな責任があります。どの場合でも、自分の貢献がより目立ち、具体的な成果で測定できる高い影響力のあるプロジェクトに焦点を当てることをおすすめします。

結論

最後に、Mr. Nirmalの成功物語は、才能、機会、そして揺るぎない献身が結集したときに達成できる信じられないほどの高みの例として、その力を証明しています。マイクロソフトのシニアデータサイエンティストは、データの力が輝きと目的を持って活用されるとき、産業を変革し、未来を形作り、世代を超えて続く遺産を創り出す可能性を示しています。

最後に、私はAnalytics Vidhyaに私の経験を共有する機会を与えてくれたことに感謝いたします。私の聴衆の皆様には、LinkedInで私とつながっていただくことをお勧めします。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!