Search Results ヒートマップ

説明可能AI（XAI）

こんにちは、テクノフィルと好奇心旺盛な皆さん人工知能の本の次の章へようこそ人工知能の謎に更に深く入り込んでいきましょうAIが波を立てているような…

アマゾンセージメーカーの地理空間機能を使用して、齧歯類の被害を分析する

「ネズミやネズミなどのげっ歯類は、多くの健康リスクと関連しており、35以上の病気を広めることが知られています高いネズミの活動がある地域を特定することは、地方自治体や害虫駆除組織が効果的な介入計画を立て、ネズミを駆除するのに役立ちますこの記事では、どのように監視し、視覚化するかを紹介します...」

Pythonでインタラクティブなデータビジュアライゼーションを作成する：Plotly入門

データの可視化は、データプロフェッショナルにとって最も重要なタスクの1つですそのため、それをインタラクティブにする方法を学ぶ必要があります

「ChatGPTを活用したデータ探索：データセットの隠れた洞察を解き放つ」

探索的データ分析のためのChatGPTの使用ガイドChatGPTを使用してデータセットを探索し、視覚化を生成し、洞察を得る

Data science

「データの中で最も異常なセグメントを特定する」

「アナリストはしばしば、「興味深い」と思われるセグメントを見つけるというタスクがありますつまり、最大の潜在的な影響を得るために私たちの努力を集中させることができるセグメントです例えば、次のようなことを判断することは興味深いかもしれません...」

「Pythonによる水質EDAと水質の適性分析」

「十分な新鮮な飲み水を提供できることは、基本的な要件です気候変動の議論の中で、最も大きな課題の一つは、生存に十分な淡水を確保することです水質は...」

「マイクロソフトのシニアデータサイエンティストの成功ストーリー」

イントロダクション現代のデジタル時代において、データの力は否応なく認められており、その潜在能力を引き出すスキルを持つ人々が技術の未来を形作る中でリードしています。その中でも、データサイエンスの領域において卓越した人物、ニルマル氏は、世界でも屈指のテクノロジー企業であるマイクロソフトでシニアデータサイエンティストとして活躍しているビジョンを持つ人物です。運命に挑み、才能と献身の結晶であるニルマル氏は、謙虚な出自から始まる変革の旅に乗り出し、マイクロソフトでシニアデータサイエンティストとしてのキャリアの頂点に上り詰めました。彼の急速な昇進は、データサイエンティスト志望者だけでなく、夢と偉大さを実現するための決意を持つすべての人々にとっても、インスピレーションを与える成功物語となっています。この成功物語の記事では、ニルマル氏のキャリアに焦点を当て、彼の非凡なキャリアを形作った重要なマイルストーン、課題、勝利を追跡します。彼が主導した画期的なプロジェクト、もたらした変革の影響、そして彼が学んだ貴重な教訓を探求します。ニルマル氏の物語を通じて、データサイエンスの絶えず進化する世界で成功するために必要な特性とマインドセットを発見します。会話を始めましょう！ AV: キャリアの軌跡、教育の背景を強調し、最初のデータサイエンティストの仕事を得るのにどのように役立ちましたか？ニルマル氏: 私のキャリアの軌跡は常に一直線ではありませんでした。私たち一人ひとりにはそれぞれの物語があり、それらがすべて興味深いことでしょう。私の物語はこちらです。私はネパールでITエンジニアの学士号を取得しました。2007年にアメリカ合衆国に移住し、修士号を取得しました。修士課程を修了した後、私は米国陸軍に参加しました。はい、非常に普通ではないと思われるかもしれません。2009年ごろのアメリカでの大不況（ちょうど私の卒業年でもありました）により、特に留学生にとっては就職市場が非常に悪い状況でした。米国陸軍による特別なパイロットプログラムがあり、私は必要な手続きをすべて経て軍務員になることができました。子供の頃から軍に入隊することに対する情熱がありました。それを実現する方法です。軍務中、私はMBAを取得しました。2014年、最初の兵役契約が終了した後、私は米国陸軍を退役しました。同年、私は初めてのデータ役職として、海軍省の連邦政府職員としてサイバーセキュリティアナリストとしての仕事を得ました。この仕事をしている間にデータサイエンスの修士号を取得しました。データアナリストとしての経験を積み、学術的な資格とデータサイエンスのスキルを身につけた後、2018年にウェルズ・ファーゴ銀行でデータサイエンティストの役職で私の最初の役職に就きました。それ以来、データサイエンスに従事しており、現在はマイクロソフトのシニアデータサイエンティストとして働いています。 AV: データを使用して実世界の問題を解決し、ビジネスや製品戦略に与えた影響について教えていただけますか？ニルマル氏: たくさんの例があります。まず、私たちはデータサイエンティストの役職に就かなくても、データの問題を解決するために取り組むことができます。そんな誤解があります。私たちはデータアナリスト、データエンジニア、ビジネスアナリストなど、データを扱うさまざまな役職で働くことができます。私は主にサイバーセキュリティの領域で働いています。私たちの主な焦点の2つは、調査と検出です。サイバーセキュリティの問題に取り組む際に非常にポピュラーな問題の1つは、異常検知です。私はデータサイエンスチームで異常検知システムを構築し、セキュリティアナリストが注目すべきイベント/アラートに費やす時間を節約するのを助けました。その影響は彼らの時間とリソースの節約にあります。 AV: データサイエンスを使用して解決した最も困難な問題は何でしたか？問題にどのように取り組みましたか？結果はどうでしたか？ミスター・ニルマル: 私が一番難しいと感じる問題はまだ解決されていないと言ってもいいでしょう。私たちは非常に革新的なAIの世界に生きているため、敵対者が今まで以上に最先端のツールを持っていることを常に意識しなければなりません。しかし、興味深い問題をひとつ挙げるとすれば、ユーザーの行動分析、またはユーザーエンティティの行動分析とも呼ばれるもので、業界では広く知られているUEBAと呼ばれるものです。UEBAは、通常の基準から逸脱するユーザーのアクティビティを特定することで脅威を発見するタイプのサイバーセキュリティ機能です。簡単な例: A地点からよくログインしているユーザーが、突然B地点からログインしているアクティビティが観測されます。これは旅行に関連するものかもしれませんが、それでも通常の行動から逸脱しているため、正常性対悪意性を確認するために調査する必要があります。UEBAの最も難しい部分は、基準を理解し作成することです。データ駆動の洞察 AV: テクニカルでない利害関係者に複雑なデータ駆動の洞察を伝える必要があった場面のストーリーを共有していただけますか？彼らが洞察とビジネスへの影響を理解したことを確認するためにどのような工夫をしましたか？…

時間をかけて生存者を助け、機械学習を利用して競争する

2023年2月6日、トルコ南東部でマグニチュード7.7と7.6の地震が発生し、10の都市に影響を及ぼし、2月21日現在で4万2000人以上が死亡し、12万人以上が負傷しました。地震の数時間後、プログラマーのグループが「アフェタリタ」と呼ばれるアプリケーションを展開するためのDiscordサーバーを立ち上げました。このアプリケーションは、捜索救助チームとボランティアが生存者を見つけて支援するために使用されます。このようなアプリの必要性は、生存者が自分の住所や必要なもの（救助を含む）をテキストのスクリーンショットとしてソーシャルメディアに投稿したことから生じました。一部の生存者は、自分が生きていることと救助を必要としていることを、ツイートで伝え、それにより親族が知ることができました。これらのツイートから情報を抽出する必要があり、私たちはこれらを構造化されたデータに変換するためのさまざまなアプリケーションを開発し、展開するために時間との競争をしました。 Discordサーバーに招待されたとき、私たちは（ボランティアとして）どのように運営し、何をするかについてかなりの混乱がありました。私たちは共同でモデルをトレーニングするために、モデルとデータセットのレジストリが必要でした。私たちはHugging Faceの組織アカウントを開設し、MLベースのアプリケーションを受け取り、情報を処理するためのプルリクエストを通じて共同作業しました。他のチームのボランティアから、スクリーンショットを投稿し、スクリーンショットから情報を抽出し、それを構造化してデータベースに書き込むアプリケーションの需要があることを聞きました。私たちは、与えられた画像を取得し、まずテキストを抽出し、そのテキストから名前、電話番号、住所を抽出し、これらの情報を権限付与された当局に提供するデータベースに書き込むアプリケーションの開発を開始しました。さまざまなオープンソースのOCRツールを試した後、OCR部分には「easyocr」を使用し、このアプリケーションのインターフェースの構築には「Gradio」を使用しました。OCRからのテキスト出力は、トランスフォーマーベースのファインチューニングされたNERモデルを使用して解析されます。アプリケーションを共同で改善するために、Hugging Face Spacesにホストし、アプリケーションを維持するためのGPUグラントを受け取りました。Hugging Face HubチームはCIボットをセットアップしてくれたので、プルリクエストがSpaceにどのように影響を与えるかを見ることができ、プルリクエストのレビュー中に役立ちました。その後、さまざまなチャンネル（Twitter、Discordなど）からラベル付けされたコンテンツが提供されました。これには、助けを求める生存者のツイートの生データと、それらから抽出された住所と個人情報が含まれていました。私たちは、まずはHugging Face Hub上のオープンソースのNLIモデルと、クローズドソースの生成モデルエンドポイントを使用したフューショットの実験から始めました。私たちは、xlm-roberta-large-xnliとconvbert-base-turkish-mc4-cased-allnli_trというモデルを試しました。NLIモデルは特に役立ちました。候補ラベルを使用して直接推論でき、データのドリフトが発生した際にラベルを変更できるため、生成モデルはバックエンドへの応答時にラベルを作り上げる可能性があり、不一致を引き起こす可能性がありました。最初はラベル付けされたデータがなかったので、何でも動くでしょう。最終的に、私たちは独自のモデルを微調整することにしました。1つのGPUでBERTのテキスト分類ヘッドを微調整するのに約3分かかります。このモデルをトレーニングするためのデータセットを開発するためのラベリングの取り組みがありました。モデルカードのメタデータに実験結果を記録し、後でどのモデルを展開するかを追跡するためのリーダーボードを作成しました。ベースモデルとして、bert-base-turkish-uncasedとbert-base-turkish-128k-casedを試しましたが、bert-base-turkish-casedよりも優れたパフォーマンスを発揮することがわかりました。リーダーボードはこちらでご覧いただけます。課題とデータクラスの不均衡を考慮し、偽陰性を排除することに焦点を当て、すべてのモデルの再現率とF1スコアをベンチマークするためのスペースを作成しました。これには、関連するモデルリポジトリにメタデータタグdeprem-clf-v1を追加し、このタグを使用して記録されたF1スコアと再現率を自動的に取得し、モデルをランク付けしました。漏れを防ぐために別のベンチマークセットを用意し、モデルを一貫してベンチマークしました。また、各モデルをベンチマークし、展開用の各ラベルに対して最適な閾値を特定しました。 NERモデルを評価するために、データラベラーが改善された意図データセットを提供するために取り組んでいるため、クラウドソーシングの取り組みとしてNERモデルを評価するためのラベリングインターフェースを設定しました。このインターフェースでは、ArgillaとGradioを使用して、ツイートを入力し、出力を正しい/正しくない/曖昧などのフラグで示すことができます。後で、データセットは重複を排除してさらなる実験のベンチマークに使用されました。機械学習の別のチームは、特定のニーズを得るために生成モデル（ゲート付きAPIの背後）と連携し、テキストとして自由なテキストを使用し、各投稿に追加のコンテキストとしてテキストを渡すためにAPIエンドポイントを別のAPIとしてラップし、クラウドに展開しました。少数のショットのプロンプティングをLLMsと組み合わせて使用することで、急速に変化するデータのドリフトの存在下で細かいニーズに対応するのに役立ちます。調整する必要があるのはプロンプトだけであり、ラベル付けされたデータは必要ありません。これらのモデルは現在、生存者にニーズを伝えるためにボランティアや救助チームがヒートマップ上のポイントを作成するために本番環境で使用されています。 Hugging Face Hubとエコシステムがなかったら、私たちはこのように迅速に協力し、プロトタイプを作成し、展開することはできませんでした。以下は住所認識および意図分類モデルのためのMLOpsパイプラインです。このアプリケーションとその個々のコンポーネントには何十人ものボランティアがおり、短期間でこれらを提供するために寝ずに働きました。リモートセンシングアプリケーション…

AI研究によるスポーツ分析の進歩

AI研究を実験室から現実世界に進めるためのテスト環境を作成することは、非常に困難ですAIとの長い関係から、スポーツは興味深い機会を提供していますAIが人間を支援し、多くの動的な相互作用を持つ複数エージェント環境で複雑なリアルタイムの意思決定を行うことができるテストベッドとして、研究者に興奮をもたらします

Applied

KITE（キーポイントを視覚的な基盤と正確なアクション推論の表現として使用する意味操作のためのAIフレームワーク）に会いましょう

人工知能の進歩に伴い、AI技術はロボットと組み合わせられるようになっています。コンピュータビジョンや自然言語処理からエッジコンピューティングまで、AIはロボットと統合され、意味のある効果的な解決策の開発に役立っています。AIロボットは現実世界で行動する機械です。人間とロボットの間のコミュニケーション手段として言語の可能性を考慮することは重要です。しかし、現代のロボットが自由形式の言語入力を効率的に処理することを妨げる2つの主要な問題があります。1つ目の課題は、ロボットに与えられた指示に基づいてどのように操作する必要があるかを理解することです。もう1つは、テディアニマルの耳ではなく足や石鹸のディスペンサーではなく側面などのオブジェクトを持ち上げる場合に注意が必要なピックアンドプレースのタスクです。ロボットは入力された指示から場面とオブジェクトの意味を抽出し、意味のある操作を行うために正確な低レベルのアクションを計画する必要があります。これらの課題に対処するため、スタンフォード大学の研究者はKITE（Keypoints + Instructions to Execution）という2段階のフレームワークを紹介しています。KITEでは場面の意味とオブジェクトの意味の両方が考慮されています。オブジェクトの意味はオブジェクト内のさまざまな部分を正確に特定することを含み、場面の意味は視覚的な場面内のさまざまなオブジェクトを識別することを含みます。 KITEの第一フェーズでは、2Dのキーポイントを使用して入力された指示を視覚的なコンテキストに結び付けます。この手順により、オブジェクト中心のバイアスが非常に正確に提供され、ロボットはコマンドを場面内のキーポイントにマッピングすることでアイテムと関連する特徴を正確に理解します。KITEの第二ステップでは、RGB-Dシーンの観察に基づいて学習されたキーポイント条件付きのスキルを実行します。ロボットはこれらのパラメータ化されたスキルを使用して指示を実行します。キーポイントとパラメータ化されたスキルは、シーンとオブジェクトの違いに対して細かい操作と汎化性を提供するために連携します。評価では、チームはKITEのパフォーマンスを3つの実際の環境で評価しました：高精度なコーヒー作り、意味的な掴み取り、長期的な6DoFテーブルトップ操作です。KITEは、コーヒーの準備タスクを71%の成功率で、意味的な掴み取りを70%の成功率で、テーブルトップ操作シナリオでの指示に従うことを75%の成功率で完了しました。KITEは、事前学習されたビジュアル言語モデルではなくキーポイントベースのグラウンディングを使用するフレームワークよりも優れたパフォーマンスを発揮しました。スキルの使用に対してエンドツーエンドのビジュオモーターコントロールを強調するフレームワークよりも優れたパフォーマンスを発揮しました。訓練中に同じまたはより少ないデモンストレーションを行っていたにもかかわらず、KITEはこれらの結果を達成し、その効果と効率性を示しました。KITEはCLIPortスタイルの技術を使用して画像と言語フレーズをサリエンシーヒートマップにマッピングし、キーポイントを生成します。熟練したアーキテクチャは、キーポイントで注釈付けられたマルチビューポイントクラウドを入力として受け入れるようにPointNet++を変更して、スキルのウェイポイントを出力します。2Dのキーポイントは視覚的な特徴に正確に注意を向けることを可能にし、3Dのポイントクラウドは計画のために必要な6DoFのコンテキストを提供します。結論として、KITEフレームワークは、操作の文脈で自然言語の命令を解釈して追従することを可能にするという長年の課題に対する有望な解決策を提供します。キーポイントと指示のグラウンディングの力を活用することで、細かい意味の操作を高精度かつ汎化性を持って実現しています。

Learn more about Search Results ヒートマップ - Page 7