Search Results MNIST

「GANの流行 | ファッション画像生成のステップバイステップガイド」

イントロダクションこの記事では、生成対抗ネットワーク（GAN）とその驚異的な画像生成能力について探求します。GANは生成モデリングの分野を革新し、敵対的学習を通じて新しいコンテンツを作成する革新的なアプローチを提供しています。このガイドでは、GANの基本的な概念から始まり、徐々にファッション画像生成の複雑さに入り込んでいきます。実践的なプロジェクトとステップバイステップの手順を通じて、TensorFlowとKerasを使用してGANモデルを構築してトレーニングする方法を詳しく説明します。 GANのポテンシャルを引き出し、AIの魔法をファッションの世界で目撃してください。経験豊富なAIプラクティショナーまたは好奇心旺盛な愛好家であっても、「GANS in Vogue」は、感動的なファッションデザインを作成し、生成的アートの限界を押し広げるためのスキルと知識を提供します。GANの魅力的な世界に飛び込み、内なる創造力を解き放ちましょう！この記事は、データサイエンスブログマラソンの一環として公開されました。生成対抗ネットワーク（GAN）の理解 GANとは何ですか？生成対抗ネットワーク（GAN）は、ジェネレータとディスクリミネータの2つのニューラルネットワークから構成されています。ジェネレータは新しいデータサンプルの生成を担当し、ディスクリミネータの役割はジェネレータによって生成された偽のデータと実際のデータを区別することです。2つのネットワークは競争的なプロセスを通じて同時にトレーニングされ、ジェネレータはよりリアルなサンプルの生成能力を向上させ、ディスクリミネータはリアルと偽のデータをより正確に識別する能力を向上させます。 GANはどのように機能しますか？ GANは、ジェネレータとディスクリミネータが互いに対戦するゲームのようなシナリオに基づいています。ジェネレータは実際のデータに似たデータを作成しようとし、ディスクリミネータは実際のデータと偽のデータを区別しようとします。ジェネレータはこの敵対的なトレーニングプロセスを通じてよりリアルなサンプルの生成を学習します。 GANの主要なコンポーネント GANを構築するには、いくつかの重要なコンポーネントが必要です：ジェネレータ：新しいデータサンプルを生成するニューラルネットワーク。ディスクリミネータ：データを実際のデータまたは偽のデータとして分類するニューラルネットワーク。潜在空間：ジェネレータがサンプルを生成するための入力として使用するランダムなベクトル空間。トレーニングループ：ジェネレータとディスクリミネータを交互にトレーニングする反復プロセス。 GANの損失関数 GANのトレーニングプロセスは特定の損失関数に依存しています。ジェネレータはジェネレータの損失を最小化し、よりリアルなデータの生成を促します。同時に、ディスクリミネータはディスクリミネータの損失を最小化し、リアルと偽のデータを区別する能力を向上させます。プロジェクト概要：GANを用いたファッション画像生成プロジェクトの目標このプロジェクトでは、Fashion MNISTデータセットのファッション画像に似た新しいファッション画像を生成するためのGANの構築を目指します。生成された画像は、ドレス、シャツ、パンツ、靴など、さまざまなファッションアイテムの重要な特徴を捉える必要があります。…

変分オートエンコーダーの概要

はじめに変分オートエンコーダ（VAE）は、特定のデータセットの基になる確率分布を捉え、新たなサンプルを生成するために明示的に設計された生成モデルです。VAEはエンコーダ-デコーダ構造を持つアーキテクチャを使用します。エンコーダは入力データを潜在形式に変換し、デコーダはこの潜在表現に基づいて元のデータを再構成することを目指します。VAEは元のデータと再構成データの相違を最小化するようにプログラムされており、基になるデータ分布を理解し、同じ分布に従う新たなサンプルを生成することができます。 VAEの注目すべき利点の一つは、トレーニングデータに似た新しいデータサンプルを生成する能力です。VAEの潜在空間は連続的であるため、デコーダはトレーニングデータポイントの間を滑らかに補完する新しいデータ点を生成することができます。VAEは密度推定やテキスト生成など、さまざまなドメインで応用されています。この記事はData Science Blogathonの一環として公開されました。変分オートエンコーダのアーキテクチャ VAEは通常、エンコーダ接続とデコーダ接続の2つの主要なコンポーネントから構成されています。エンコーダネットワークは入力データを低次元の「秘密のコード」と呼ばれる空間に変換します。エンコーダネットワークの実装には、完全に接続されたネットワークや畳み込みニューラルネットワークなど、さまざまなニューラルネットワークのトポロジーが検討されることがあります。選択するアーキテクチャはデータの特性に基づいています。エンコーダネットワークは、サンプリングと潜在コードの生成に必要なガウス分布の平均値や分散などの重要なパラメータを生成します。同様に、研究者はさまざまなタイプのニューラルネットワークを使用してデコーダネットワークを構築し、その目的は提供された潜在コードから元のデータを再構成することです。 VAEのアーキテクチャの例：fen VAEは、入力データを潜在コードにマッピングするエンコーダネットワークと、潜在コードを再構成データに戻す逆操作を行うデコーダネットワークから構成されています。このトレーニングプロセスを経て、VAEはデータの基本的な特性を捉えた最適化された潜在表現を学習し、正確な再構成を可能にします。正則化に関する直感アーキテクチャの側面に加えて、研究者は潜在コードに正則化を適用し、VAEの重要な要素にします。この正則化により、トレーニングデータを単に記憶するのではなく、潜在コードのスムーズな分布を促進し、過学習を防ぎます。正則化は、トレーニングデータポイント間を滑らかに補完する新しいデータサンプルの生成に役立つだけでなく、トレーニングデータに似た新しいデータを生成するVAEの能力にも貢献します。さらに、この正則化はデコーダネットワークが入力データを完璧に再構成することを防ぎ、多様なデータサンプルを生成するためのより一般的なデータ表現の学習を促進します。数学的には、VAEでは正則化を損失関数にクロスエントロピー項を組み込むことで表現します。エンコーダネットワークは、ガウス分布のパラメータ（平均や対数分散など）を生成し、潜在コードのサンプリングに使用します。VAEの損失関数には、学習された潜在変数の分布と事前分布（正規分布）のKLダイバージェンスの計算が含まれます。研究者はKLダイバージェンス項を組み込んで、潜在変数が事前分布に類似した分布を持つように促します。 KLダイバージェンスの式は次の通りです： KL(q(z∣x)∣∣p(z)) = E[log q(z∣x) − log p(z)]…

この人工知能論文は、画像認識における差分プライバシーの高度な手法を提案し、より高い精度をもたらします

機械学習は、近年のパフォーマンスにより、さまざまな領域で大幅に増加しました。現代のコンピュータの計算能力とグラフィックスカードのおかげで、ディープラーニングによって、専門家が与える結果を上回ることもあります。しかし、医療や金融などの機密性の高い領域での使用は、機械学習モデルへのアクセス権を持つ攻撃者が特定のトレーニングポイントのデータを取得することを禁止する形式的なプライバシーガラントである差分プライバシー（DP）による機密性の問題を引き起こします。画像認識における差分プライバシーの最も一般的なトレーニングアプローチは、差分プライベート確率的勾配降下法（DPSGD）ですが、現在のDPSGDシステムによって引き起こされるパフォーマンスの低下により、差分プライバシーの展開は制限されています。差分プライバシーを持つディープラーニングの既存の方法は、目的関数の値が改善されない場合でも、すべてのモデルの更新を許可するため、さらなる改善が必要です。いくつかのモデルの更新では、勾配にノイズを追加することが目的関数の値を悪化させることがありますが、特に収束が迫っている場合には、その影響により結果としてモデルが悪化します。最適化の対象が劣化し、プライバシー予算が無駄になります。この問題に対処するため、中国の上海大学の研究チームは、候補更新がアップデートの品質とイテレーションの数に依存する確率で受け入れられるシミュレーテッドアニーリングベースの差分プライバシーアプローチ（SA-DPSGD）を提案しています。具体的には、モデルの更新が目的関数の値を改善する場合は受け入れられます。それ以外の場合、更新は一定の確率で拒否されます。局所的な最適解に収束するのを防ぐために、著者らは確定的な拒否ではなく確率的な拒否を使用し、連続した拒否の数を制限することを提案しています。そのため、シミュレーテッドアニーリングアルゴリズムは、確率的勾配降下法のプロセス中に確率でモデルの更新を選択するために使用されます。以下に、提案されたアプローチの高レベルな説明を示します。 1- DPSGDはイテレーションごとにアップデートを生成し、その後、目的関数の値が計算されます。前回のイテレーションから現在のイテレーションへのエネルギーシフトと承認されたソリューションの総数を使用して、現在のソリューションの受け入れ確率を計算します。 2- エネルギー変化が負の場合、受け入れ確率は常に1のままです。つまり、正しい方向に進むアップデートは受け入れられます。ただし、モデルのアップデートがノイズを含んでいる場合でも、トレーニングが収束する方向に主に移動することが保証されます。実際のエネルギーは非常に小さい確率で正になる可能性もあります。 3- エネルギー変化が正の場合、受け入れ確率は承認されたソリューションの数が増えるにつれて指数関数的に減少します。この状況では、ソリューションを受け入れるとエネルギーが悪化します。ただし、決定的な拒否は最終的なソリューションが局所的な最適解になる可能性があります。したがって、著者らは、確率的な拒否を使用してエネルギー変化が正のアップデートを小さく、減少する確率で受け入れることを提案しました。 4- 連続した拒否が多すぎる場合、アップデートはまだ許可されます。連続した拒否の数が制限されているため、受け入れ確率は非常に低くなり、収束に近づくにつれて正のエネルギー変化を持つほとんどのソリューションを拒否する可能性があり、局所的な最大値に達する可能性さえあります。拒否の数を制限することで、必要な場合にはソリューションを受け入れることでこの問題を防止します。提案手法の性能を評価するために、SA-DPSGDは3つのデータセット、MNIST、FashionMNIST、およびCIFAR10で評価されます。実験の結果、SA-DPSGDは、プライバシーコストまたはテスト精度の観点で、最先端の手法DPSGD、DPSGD(tanh)、およびDPSGD(AUTO-S)を大幅に上回ることが示されました。著者によれば、SA-DPSGDは、プライベートおよび非プライベートの画像の分類精度のギャップを大幅に埋めることができます。ランダムなアップデートスクリーニングを使用することで、差分プライベート勾配降下法は各イテレーションで正しい方向に進み、得られる結果がより正確になります。同じハイパーパラメータでの実験では、SA-DPSGDはMNIST、FashionMNIST、CI-FAR10のデータセットで高い精度を達成し、最先端の結果と比較しても高い精度を実現します。自由に調整可能なハイパーパラメータの場合、提案手法はさらに高い精度を達成します。

ソースコード付きのトップ14のデータマイニングプロジェクト

現代では、データマイニングと機械学習の驚異的な進歩により、組織はデータに基づく意思決定を行うための先進的な技術を備えています。私たちが生きるデジタル時代は、急速な技術の発展によって特徴付けられ、よりデータに基づいた社会の道を切り開いています。ビッグデータと産業革命4.0の登場により、組織は貴重な洞察を抽出し、イノベーションを推進するために利用できる膨大な量のデータにアクセスできるようになりました。本記事では、スキルを磨くことができるトップ10のデータマイニングプロジェクトについて探っていきます。データマイニングとは？データマイニングは、ユーザーから収集されるデータや企業の業務に重要なデータから隠れたパターンを見つけるプラクティスです。これはいくつかのデータ整形手順に従います。ビジネスは、この膨大な量のデータを収集するクリエイティブな方法を探して、有用な企業データを提供するためのデータマイニングがイノベーションのための最も重要な手法の1つとして浮上しています。データマイニングプロジェクトは、現在の科学のこの領域で働きたい場合には理想的な出発点かもしれません。トップ14のデータマイニングプロジェクト以下は、初心者、中級者、上級者向けのトップ14のデータマイニングプロジェクトです。住宅価格予測ナイーブベイズを用いたスマートヘルス疾患予測オンラインフェイクロゴ検出システム色検出製品と価格の比較ツール手書き数字認識アニメ推奨システムキノコ分類プロジェクトグローバルテロリズムデータの評価と分析画像キャプション生成プロジェクト映画推奨システム乳がん検出太陽光発電予測国勢調査データに基づく成人の収入予測初心者向けデータマイニングプロジェクト 1. 住宅価格予測このデータマイニングプロジェクトは、住宅データセットを利用して物件価格を予測することに焦点を当てています。初心者や中級レベルのデータマイナーに適しており、サイズ、場所、設備などの要素を考慮して家の販売価格を正確に予測するモデルを開発することを目指しています。決定木や線形回帰などの回帰技術を利用して結果を得ます。このプロジェクトでは、様々なデータマイニングアルゴリズムを利用して物件価値を予測し、最も高い精度評価を持つ予測を選択します。過去のデータを活用することで、このプロジェクトは不動産業界内での物件価格の予測に関する洞察を提供します。…

「Amazon SageMaker Hyperband 自動モデルチューニングを使用して、分散トレーニングの収束問題を効果的に解決する」

最近の数年間は、ディープラーニングニューラルネットワーク（DNN）の驚異的な成長が見られていますこの成長は、より正確なモデルや生成型AIによる新たな可能性の開拓（自然言語を合成する大規模な言語モデル、テキストから画像を生成するものなど）に現れていますDNNのこれらの増加した機能は、巨大なモデルを持つことと引き換えに実現されています

「Amazon SageMakerトレーニングワークロードで@remoteデコレータを使用してプライベートリポジトリにアクセスする」

「ますます多くの顧客が機械学習（ML）のワークロードを本番環境に展開しようとする中、MLコードの開発ライフサイクルを短縮するために、組織内での大きな推進があります多くの組織は、試験的なスタイルではなく、Pythonのメソッドやクラスの形式でMLコードを本番向けに書くことを好みます」

「Amazon SageMakerのトレーニングワークロードで、@remoteデコレータを使用してプライベートリポジトリにアクセスする」

「機械学習（ML）のワークロードを本番環境に展開しようとする顧客がますます増えているため、MLコードの開発ライフサイクルを短縮するための組織内での大きな取り組みが行われています多くの組織は、探索的スタイルではなく、Pythonのメソッドとクラスの形式で、本番環境に対応したスタイルでMLコードを記述することを好む...」

機械学習の専門家 – Sasha Luccioni

🤗 マシンラーニングエキスパートへようこそ – サーシャ・ルッチョーニ 🚀 サーシャのようなMLエキスパートがあなたのMLロードマップを加速する方法に興味がある場合は、hf.co/supportを訪れてください。こんにちは、友達たち！マシンラーニングエキスパートへようこそ。私は司会者のブリトニー・ミュラーで、今日のゲストはサーシャ・ルッチョーニです。サーシャは、Hugging Faceで研究科学者として、機械学習モデルとデータセットの倫理的・社会的影響に取り組んでいます。サーシャはまた、Big Science WorkshopのCarbon Footprint WGの共同議長、WiMLの理事、そして気候危機に機械学習を適用する意義のある活動を促進するClimate Change AI（CCAI）組織の創設メンバーでもあります。サーシャがメールの炭素フットプリントを計測する方法、地元のスープキッチンが機械学習の力を活用するのをどのように手助けしたか、そして意味と創造性が彼女の仕事を支える方法についてお話しいただきます。この素晴らしいエピソードを紹介するのをとても楽しみにしています！以下がサーシャ・ルッチョーニとの私の対話です：注：転記はわかりやすい読み物を提供するためにわずかに修正/書式設定されています。今日参加していただき、本当にありがとうございます。私たちはあなたが来てくれたことを非常に嬉しく思っています！サーシャ：私もここにいることを本当に嬉しく思っています。直接本題に入りますが、あなたのバックグラウンドとHugging Faceへの道を教えていただけますか？サーシャ：…

注釈付き拡散モデル

このブログ記事では、Denoising Diffusion Probabilistic Models（DDPM、拡散モデル、スコアベースの生成モデル、または単にオートエンコーダーとも呼ばれる）について詳しく見ていきます。これらのモデルは、(非)条件付きの画像/音声/ビデオの生成において、驚くべき結果が得られています。具体的な例としては、OpenAIのGLIDEやDALL-E 2、University of HeidelbergのLatent Diffusion、Google BrainのImageGenなどがあります。この記事では、（Hoら、2020）による元のDDPMの論文を取り上げ、Phil Wangの実装をベースにPyTorchでステップバイステップで実装します。なお、このアイデアは実際には（Sohl-Dicksteinら、2015）で既に導入されていました。ただし、改善が行われるまでには（Stanford大学のSongら、2019）を経て、Google BrainのHoら、2020）が独自にアプローチを改良しました。拡散モデルにはいくつかの視点がありますので、ここでは離散時間（潜在変数モデル）の視点を採用していますが、他の視点もチェックしてください。さあ、始めましょう！ from IPython.display import Image Image(filename='assets/78_annotated-diffusion/ddpm_paper.png') まず必要なライブラリをインストールしてインポートします（PyTorchがインストールされていることを前提としています）。 !pip install -q -U…

敵対的なデータを使用してモデルを動的にトレーニングする方法

ここで学ぶこと 💡ダイナミックな敵対的データ収集の基本的なアイデアとその重要性。 ⚒敵対的データを動的に収集し、モデルをそれらでトレーニングする方法 – MNIST手書き数字認識タスクを例に説明します。ダイナミックな敵対的データ収集（DADC）静的ベンチマークは、モデルの性能を評価するための広く使用されている方法ですが、多くの問題があります：飽和していたり、バイアスがあったり、抜け穴があったりし、研究者が指標の増加を追い求める代わりに、信頼性のあるモデルを構築することができません1。ダイナミックな敵対的データ収集（DADC）は、静的ベンチマークのいくつかの問題を緩和する手法として大いに期待されています。DADCでは、人間が最先端のモデルを騙すための例を作成します。このプロセスには次の2つの利点があります：ユーザーは、自分のモデルがどれだけ堅牢かを評価できます。より強力なモデルをさらにトレーニングするために使用できるデータを提供します。このように騙し、敵対的に収集されたデータでモデルをトレーニングするプロセスは、複数のラウンドにわたって繰り返され、人間と合わせてより堅牢なモデルが得られるようになります1。敵対的データを使用してモデルを動的にトレーニングするここでは、ユーザーから敵対的なデータを動的に収集し、それらを使用してモデルをトレーニングする方法を説明します – MNIST手書き数字認識タスクを使用します。 MNIST手書き数字認識タスクでは、28×28のグレースケール画像の入力から数字を予測するようにモデルをトレーニングします（以下の図の例を参照）。数字の範囲は0から9までです。画像の出典：mnist | Tensorflow Datasets このタスクは、コンピュータビジョンの入門として広く認識されており、標準（静的）ベンチマークテストセットで高い精度を達成するモデルを簡単にトレーニングすることができます。しかし、これらの最先端のモデルでも、人間がそれらを書いてモデルに入力したときに正しい数字を予測するのは難しいとされています：研究者は、これは静的テストセットが人間が書く非常に多様な方法を適切に表現していないためだと考えています。したがって、人間が敵対的なサンプルを提供し、モデルがより一般化するのを助ける必要があります。この手順は以下のセクションに分けられます：モデルの設定モデルの操作…

Learn more about Search Results MNIST - Page 4