Search Results A

「機械学習の謎を解く」

この記事は、機械学習の本質、基本的な概念、高レベルの機械学習プロセスについての理解を深めることを目的としています

Machine learning

「TensorFlowを使用した異常検出のための変分オートエンコーダのトレーニング」

導入生成AIは、リアルワールドの例に非常に似たデータを作成する能力で、近年非常に人気があります。生成AIの中でも、変分オートエンコーダ（VAE）を使用した異常検知は、あまり探求されていないが非常に実用的なアプリケーションです。このガイドでは、TensorFlowを使用して異常検知のための変分オートエンコーダを構築してトレーニングする手法を提供します。このガイドから以下の学習目標があります： VAEを使用して異常検知タスクにどのように活用できるかを学びます。これには、ワンクラスとマルチクラスの異常検知シナリオの両方が含まれます。異常検知の概念とその現実世界での重要性をしっかりと理解します。正常と異常なデータポイントを区別し、異常検知に関連する課題を理解します。エンコーダとデコーダネットワークを含む変分オートエンコーダのアーキテクチャとコンポーネントを探索します。人気のある深層学習フレームワークであるTensorFlowを使用して、VAEモデルを構築およびトレーニングする実践的なスキルを開発します。この記事は、データサイエンスブログマラソンの一環として公開されました。変分オートエンコーダ（VAE）変分オートエンコーダ（VAE）は、生成モデリングと変分推論の要素を組み合わせた洗練されたニューラルネットワークアーキテクチャであり、非教示型の機械学習タスクで複雑なデータ分布を学習する能力で特に注目されています。VAEは、高次元データをコンパクトで連続的な潜在空間に捉え、イメージ生成、異常検知、データ圧縮などのアプリケーションで特に価値があります。 VAEの核となるのは、エンコーダとデコーダの2つの主要なコンポーネントです。これらのコンポーネントは連携して、入力データを潜在空間に変換し、それから再構築された形に戻します。以下にVAEの動作の概要を示します：エンコーダネットワーク：エンコーダは生の入力データを取り、それを低次元の潜在空間内の確率分布にマッピングします。このマッピングは、データの有意義な表現を捉えるために重要です。従来のオートエンコーダとは異なり、VAEは固定されたエンコーディングを生成せず、平均と分散のパラメータで特徴づけられる確率分布を生成します。潜在空間：潜在空間はVAEの魔法が起こる場所です。データポイントは特性に基づいて配置される連続的な低次元の表現です。重要なのは、この空間が通常ガウス分布とされる特定の確率分布に従うことです。これにより、この分布からサンプリングすることで新しいデータサンプルを生成することができます。デコーダネットワーク：デコーダは潜在空間内のポイントを取り、元のデータ空間にマッピングし直します。デコーダは、元の入力データを可能な限り正確に再構築する責任を持ちます。デコーダのアーキテクチャは通常、エンコーダと対称です。再構築損失：トレーニング中、VAEは再構築損失を最小化することを目指し、デコーダが潜在空間表現から元の入力を再作成できるかを評価します。この損失は、VAEがデータから有意義な特徴を学習することを促します。正則化損失：再構築損失に加えて、VAEには正則化損失が含まれており、潜在空間の分布を標準的なガウス分布に近づけます。この正則化は、潜在空間の連続性を強制し、データ生成と補間を容易にします。 VAEを使用した異常検知の理解異常検知の概要：異常検知は、金融における詐欺検知から製造における故障検知まで、さまざまなドメインで重要なタスクです。異常検知では、データセット内の予想されるまたは正常なパターンから大きく逸脱するデータポイントを特定することが求められます。VAEは、生成モデリングを活用することで、この問題に対するユニークなアプローチを提供します。 VAEの役割：変分オートエンコーダは、データを低次元の潜在空間に圧縮するだけでなく、入力分布に似たデータを生成することを学習するオートエンコーダのサブクラスです。異常検知では、VAEがデータを潜在空間にエンコードし、それをデコードします。再構築された出力と元の入力の相違を測定することで、異常を検出します。再構築が入力から大きく逸脱する場合、異常があることを示します。環境のセットアップ TensorFlowと依存関係のインストール: VAEの実装に入る前に、TensorFlowと必要な依存関係がインストールされていることを確認してください。pipを使用してTensorFlowやNumPy、Matplotlibなどのライブラリをインストールし、データの操作や可視化に役立てることができます。…

「ルービックとマルコフ」

ルービックキューブは、巨大な状態空間とただ1つの解を持つ計画問題のプロトタイプですそれはまさに干し草の中の針の定義そのものですガイダンスがない場合（たとえ回すことができるとしても...

文の補完のための言語モデル

最近、GPTなどの言語モデルが非常に人気になり、ChatGPTや他の会話型AIシステムなど、さまざまなテキスト生成タスクに使用されていますこれらの言語モデルは...

「紙からピクセルへ：手書きテキストのデジタル化のための最良の技術の評価」

「組織は、歴史的な手書き文書をデジタル化するという煩雑で高額な作業に長い間取り組んできました以前は、AWS Textractなどの光学文字認識（OCR）技術を使用していましたが…」

マシンラーニングに取り組むため、プライベートエクイティはデータサイエンスの才能を採用しています

プライベートエクイティファームは、機械学習とデータ分析を投資プロセスに統合する際、データサイエンスの専門家にデータを解釈して投資家に提供することが増えています

2023年にディープラーニングのためのマルチGPUシステムを構築する方法

「これは、予算内でディープラーニングのためのマルチGPUシステムを構築する方法についてのガイドです特に、コンピュータビジョンとLLMモデルに焦点を当てています」

「言語モデルは自分自身のツールを作ることができるのか？」

最近の概説では、大規模な言語モデル（LLM）に外部ツールを組み合わせることの有用性を探究しましたこれらのモデルは、さまざまな方法でツールを活用することを学習することができますしかし、我々は...

「教師あり学習の理論と概要の理解」

この記事は、人気のある教師あり学習アルゴリズムの高レベルな概要をカバーし、初心者向けに特別に作成されています

Machine learning

「医療機械学習におけるバイアスのある臨床データをどのように見るべきか？考古学的な視点への呼びかけ」

MIT、ジョンズ・ホプキンズ大学、アラン・チューリング研究所の研究者は、AIシステムにおける偏った医療データの扱いは、「ゴミを入れたらゴミが出る」という言葉が示唆するほど簡単ではないと主張しています。AIに偏見を持つモデルは、医療業界で人気があります。通常、データが偏っている場合、人々は未代表のグループからより多くのデータを収集したり、バランスをとるために合成データを作成したりすることで修正しようとします。しかし、研究者たちは、この技術的なアプローチはより広範な視野が必要だと考えています。彼らは、歴史的および現在の社会的要因も考慮すべきだと述べています。これにより、公衆衛生における偏見に効果的に取り組むことができます。著者たちは、データの問題をしばしば技術的な迷惑事として扱っていることに気付きました。彼らはデータを割れた鏡に例え、私たちの過去の行動を反映しており、完全な真実を示さないかもしれないと述べています。しかし、データを通じて私たちの歴史を理解すると、将来の実践の改善に取り組むことができます。「AI支援医療における偏ったデータを情報的な遺物として考慮する」という題名の論文では、3人の研究者が、偏った医療データを考古学や人類学の貴重な遺物と見なすべきだと主張しています。これらの遺物は、医療格差につながった実践、信念、文化的価値観を示しています。例えば、広く使用されているアルゴリズムは、病気の重い黒人患者が健康な白人患者と同じケアが必要だと誤って仮定していましたが、医療へのアクセスの不平等を考慮していませんでした。研究者たちは、単に偏ったデータを修正するだけでなく、捨てるのではなく、「遺物」のアプローチを取るべきだと提案しています。つまり、社会的および歴史的要因がデータ収集と臨床AIの開発にどのような影響を与えるかを認識することです。コンピュータ科学者は、使用するデータの背後にある社会的および歴史的な側面を完全に理解していないかもしれませんので、医療のすべてのグループに対してAIモデルがうまく機能するためには協力が必要です。研究者たちは、アーティファクトベースのアプローチにおいて、データが人種的に修正されているかどうかを判断する難しさを認識しています。これは、白人の男性の体が比較の基準となるという仮定に基づいています。例えば、ある腎機能測定方程式は、黒人はより多くの筋肉量を持っていると修正されたという例があります。研究者は、研究中にそのような修正を調査する準備が必要です。別の論文では、自己申告の人種を機械学習モデルに含めることが、少数派グループにとって悪化することが示されています。自己申告の人種は社会的な構築物であり、常に役立つとは限りません。アプローチは利用可能な証拠に依存するべきです。偏ったデータセットはそのままにしておくべきではありませんが、アーティファクトとして扱うと貴重な情報源になります。国立衛生研究所（NIH）の研究者たちは、倫理的なデータ収集を強調しています。さまざまな文脈での偏りの理解は、特定の人口に対してより良いAIを作成するのに役立ちます。このアプローチは、バイアスを排除するための新しい政策を生み出す可能性もあります。研究者たちは、将来の仮想的なAIの問題を恐れるのではなく、現在の医療問題に取り組むことを重視しています。

Learn more about Search Results A - Page 650