Search Results MNIST

「Adversarial Autoencoders オートエンコーダーとGANの間のギャップを埋める」

イントロダクション機械学習のダイナミックな領域において、2つの強力な技術を組み合わせることで、Adversarial Autoencoders（AAEs）として知られる多目的なモデルが生まれました。オートエンコーダーとGenerative Adversarial Networks（GANs）の特徴をシームレスに組み合わせることで、AAEsはデータ生成、表現学習などの強力なツールとして登場しました。本記事では、AAEsの本質、アーキテクチャ、トレーニングプロセス、応用について探求し、理解を深めるためのPythonコードの実例を提供します。この記事はData Science Blogathonの一部として公開されました。オートエンコーダーの理解 AAEsの基盤となるオートエンコーダーは、データの圧縮、次元削減、特徴抽出のために設計されたニューラルネットワーク構造です。このアーキテクチャは、入力データを潜在空間の表現にマッピングするエンコーダーと、この圧縮された表現から元のデータを再構築するデコーダーから構成されています。オートエンコーダーは、画像のノイズ除去、異常検知、潜在空間の可視化など、さまざまな分野で重要な役割を果たしてきました。オートエンコーダーは、効率的な次元削減を可能にしながら、データから意味のある特徴を抽出することができるニューラルネットワークの基本的なクラスです。エンコーダーは入力データを低次元の潜在表現に圧縮し、デコーダーはこの圧縮された形式から元の入力を再構築します。オートエンコーダーは、画像処理、自然言語処理などの領域を含むさまざまなタスクにおいて、ノイズ除去、異常検知、表現学習などの目的で使用されます。コンパクトで情報量のある表現を学習することにより、オートエンコーダーは複雑なデータセットの潜在的な構造に対する貴重な洞察を提供します。 Adversarial Autoencodersの紹介 Adversarial Autoencoders（AAEs）は、オートエンコーダーとGenerative Adversarial Networks（GANs）を巧みに組み合わせた革新的なモデルです。このハイブリッドモデルでは、エンコーダーが入力データを潜在空間にマッピングし、デコーダーが再構築します。AAEsの特徴的な要素は、生成されたデータサンプルの品質を評価するディスクリミネーターが存在する敵対的なトレーニングの統合です。この生成器とディスクリミネーターの間の敵対的な相互作用により、潜在空間が洗練され、高品質なデータ生成が促進されます。 AAEsは、データ合成、異常検知、教師なし学習などさまざまな応用で、堅牢な潜在表現を提供します。その多様性は、画像合成、テキスト生成などのさまざまな領域で有望なアプローチを提供しています。AAEsは、生成モデルの向上や人工知能の進歩に貢献する可能性があるため、注目を集めています。オートエンコーダーとGANの潜在空間の探索を組み合わせることにより、Adversarial Autoencodersは生成モデリングに革新的な次元を加えます。オートエンコーダーの潜在空間の探索能力とGANの敵対的なトレーニングメカニズムの利点をバランスさせることで、AAEsはデータ生成の向上と潜在空間でのより意味のある表現を実現します。 AAEのアーキテクチャ AAEsのアーキテクチャの設計図は、エンコーダー、ジェネレーター、ディスクリミネーターの3つの重要な要素を中心に展開されています。エンコーダーは入力データを圧縮された表現に変換し、ジェネレーターはこれらの圧縮された表現から元のデータを再構築します。ディスクリミネーターは実際のデータと生成されたデータサンプルを区別することを目指した敵対的な要素を導入します。 AAEのトレーニング AAEsのトレーニングは、エンコーダー、ジェネレーター、ディスクリミネーターの3つの要素の反復的なダンスです。エンコーダーとジェネレーターは、再構築エラーを最小化するために協力し、生成されたデータが元の入力に似ていることを保証します。同時に、ディスクリミネーターは実際のデータと生成されたデータの区別能力を磨きます。この敵対的な相互作用により、洗練された潜在空間と改善されたデータ生成品質が実現されます。…

「ブラックボックスの解除：ディープニューラルネットワークにおけるデータ処理の理解のための定量的法則」

人工知能の魅力は、特に深層学習の神秘的な領域で長く謎に包まれてきました。これらの複雑なニューラルネットワークは、複雑なプロセスと隠れた層を持ち、内部の動作を隠しつつ、研究者や実践者を魅了してきました。しかし、最近のブレイクスルーにより、この不明瞭な領域の中にある道を照らすことが約束されています。 Hangfeng HeとWeijie J. Su率いる研究チームが、深層ニューラルネットワークのトレーニング中に展開する組織化されたカオスに光を当てる画期的な経験則「等分離の法則」を発表しました。この発見により、トレーニングプロセスの神秘さが解明され、アーキテクチャの設計、モデルの堅牢性、予測の解釈に対する洞察が得られるようになります。この課題の核心は、深層ニューラルネットワークの固有の複雑さにあります。これらのモデルは、多数の層と相互接続されたノードを特徴とし、カオス的で予測不可能なデータ変換を行います。この複雑さにより、内部の動作をより深く理解する必要性が生じ、特に重要なアプリケーションにおいては、アーキテクチャの設計と意思決定の解釈の進展を妨げてきました。等分離の法則は、深層ニューラルネットワーク内にある秩序を明らかにし、見かけのカオスを切り抜けます。この法則の核心は、各層でのクラスメンバーシップに基づいてデータを分類する方法を定量化することです。この法則は一貫したパターンを明らかにします：各層内でデータの分離が一定の割合で幾何学的に改善していきます。これは、乱れたトレーニングの概念に挑戦し、ネットワークの層内に構造化された予測可能なプロセスを示しています。この経験則は、量的な関係を確立します：各層の分離の曖昧さは一定の割合で幾何学的に改善します。各層を通過するデータによって、この法則は異なるクラスの分離の徐々の向上を保証します。この法則は、様々なネットワークアーキテクチャやデータセットに適用され、深層学習の振る舞いの理解を豊かにする基礎的なフレームワークを提供します。分離の曖昧さを規定する式は次のようになります： D(l)=ρ^l * D(0) ここで、D(l)はl番目の層の分離の曖昧さを示し、ρは減衰率を表し、D(0)は初期層の分離の曖昧さを示します。 20層のフィードフォワードニューラルネットワークがFashion-MNISTでトレーニングされています。等分離の法則は、エポック100から観察されます。x軸は層のインデックスを示し、y軸は分離の曖昧さを示します。この発見は重要な意味を持ちます。従来の深層学習は、しばしばヒューリスティックやトリックに依存しており、時には最適な結果やリソースの消費が大きい計算を導くこともありました。等分離の法則は、アーキテクチャの設計のための指針を提供し、ネットワークが最適な性能を実現するためには深さを持つ必要があることを示唆しています。ただし、過度に深いネットワークは収益の減少をもたらす可能性があることも示唆しています。さらに、この法則の影響はトレーニング戦略とモデルの堅牢性にも及びます。トレーニング中にこの法則が現れると、モデルの性能と耐久性が向上します。法則に従うネットワークは、外部の干渉に対する抵抗力が高まり、現実世界のシナリオでの信頼性が向上します。この耐久性は、法則によって明らかにされる組織化されたデータの分離プロセスから直接生じ、ネットワークの汎化能力をトレーニングデータを超えて高めます。深層学習モデルの解釈は、そのブラックボックス性のために常に課題となっており、重要な意思決定の文脈での利用性を制限してきました。等分離の法則は新たな解釈の視点を提供します。各ネットワーク層はモジュールとして機能し、分類プロセスに均等に貢献します。この視点は従来の層ごとの分析に挑戦し、ネットワーク内のすべての層の集合的な振る舞いを考慮することの重要性を強調しています。凍結された右のネットワークとは異なり、左のネットワークは均等分離の法則を示しています。似たようなトレーニングパフォーマンスにも関わらず、左のネットワークはより高いテスト精度を誇っています（右のネットワークの19.67%に対して左のネットワークは23.85%です）。結論として、均等分離の経験則は、深層学習において変革的な発見です。これにより、深層ニューラルネットワークが不透明なブラックボックスではなく、予測可能で幾何学的に構造化されたプロセスによって駆動される組織的なシステムであるという私たちの認識が変わります。研究者や実践者がアーキテクチャの複雑さ、トレーニング戦略、モデルの解釈に取り組む中で、この法則はガイドとなり、さまざまな領域で深層学習の真のポテンシャルを開放するための手助けとなります。透明性とAIへの洞察を求める世界において、均等分離の法則は複雑な深層ニューラルネットワークを導くビーコンとして浮かび上がっています。

このAI研究は、深層学習システムが継続的な学習環境で使用される際の「可塑性の喪失」という問題に取り組んでいます

現代の深層学習アルゴリズムは、トレーニングが一度だけ行われるかなりのデータ収集に焦点を当てています。声の認識や画像の分類における深層学習の初期の成功例は、すべてこのような一度だけのトレーニング設定を使用していました。リプレイバッファとバッチ処理は、深層学習が強化学習に適用される場合に後から追加され、トレーニングがほぼ一度だけの設定に非常に近くなりました。GPT-3やDallEのような最新の深層学習システムのトレーニングにも大量のデータバッチが使用されました。これらの状況で最も一般的なアプローチは、データを継続的に収集し、トレーニング構成で定期的に新しいネットワークを作成することです。もちろん、多くのアプリケーションではデータ分布が時間とともに変化し、トレーニングを継続する必要があります。現代の深層学習技術は、一度だけのトレーニング設定を念頭に開発されました。これに対して、永続的な学習問題設定は、新鮮なデータからの継続的な学習に焦点を当てています。継続的な学習オプションは、学習システムが動的なデータストリームに対処しなければならない問題に最適です。たとえば、家の中を動き回るロボットを考えてみてください。一度だけのトレーニング設定を使用すると、家のレイアウトが変更されるたびにロボットをゼロから再トレーニングするか、無用の危険にさらすことになります。定期的にデザインが変更される場合は、ゼロから再トレーニングする必要があります。一方、ロボットは新しい情報から簡単に学習し、継続的な学習シナリオの下で家の変化に常に適応することができます。最近、生涯学習の重要性が高まり、これに対応するためのより専門的な会議が開催されています。例えば、Life-long Learning Agents Conference（CoLLAS）です。彼らは自分たちのエッセイで継続的な学習の環境に重点を置いています。新鮮なデータにさらされると、深層学習システムは以前に学んだもののほとんどを失ってしまう、これを「壊滅的な忘却」と呼ぶ状態です。言い換えれば、深層学習の技術は継続的な学習の問題では安定性を維持しません。1900年代後半に、初期のニューラルネットワークがこのような振る舞いを最初に示しました。「壊滅的な忘却」による安定性の保持についての深層継続学習に関しては、最近多くの記事が書かれています。新しい仕事が提供されると、ネットワークの設定には新しい出力、つまりヘッドが追加され、タスクが増えるにつれて出力の数も増えていきます。そのため、古いヘッドからの干渉の効果がプラスチシティの喪失の結果と混同されることがあります。Chaudhryらによると、新しいタスクの開始時に古いヘッドが取り除かれた場合、プラスチシティの喪失はわずかであり、彼らが見たプラスチシティの喪失の主な原因は古いヘッドからの干渉であることを示唆しています。以前の研究者が10の課題しか使用しなかったため、深層学習技術が長い課題リストに直面した場合のプラスチシティの喪失を測定することはできませんでした。これらの論文の結果は、深層学習システムが重要な適応性の一部を失っていることを示唆していますが、誰もが継続的な学習がプラスチシティを失っているとまだ示していません。最近の作品でプラスチシティの喪失が著しいと示されている強化学習の分野では、現代の深層学習におけるプラスチシティの喪失の証拠がより多く存在します。Nishikinらは、強化学習の問題における初期学習が後の学習に否定的な影響を与えることを示し、「プライマシーバイアス」という用語を提唱しました。方針の変更による結果として、強化学習は基本的に連続的であり、この結果は学習が継続する場合に深層学習ネットワークが柔軟性を失っている可能性があります。また、Lyleらは、一部の深層強化学習エージェントが新しいスキルを獲得する能力を最終的に失う可能性があることを示しました。これらは重要なデータポイントですが、現代の深層強化学習の複雑さのため、明確な結論を出すことは容易ではありません。これらの研究は、心理学の文献や機械学習、強化学習の最新の研究を含めています。本研究では、アルバータ大学コンピュータ科学部およびCIFAR AIチェア、アルバータマシンインテリジェンス研究所の研究者が現代の深層学習におけるプラスチシティの喪失についてより結論的な回答を提供します。彼らは、持続的な教師あり学習の問題が深層学習のアプローチに柔軟性を失わせ、この柔軟性の喪失が深刻であることを示しています。ImageNetデータセットを使用した連続的な教師あり学習の問題を数百回の学習試行を含めて行い、深層学習が柔軟性の喪失に悩んでいることを最初に示します。強化学習において常に発生する複雑性と関連する混乱は、代わりに教師あり学習のタスクを使用することで排除されます。何百ものタスクを持っているおかげで、柔軟性の喪失の完全な量も把握することができます。彼らは次に、MNISTの変形とゆっくり変化する回帰問題という2つの計算コストの低い問題を使用して、深層学習の柔軟性の欠如の普遍性を証明します。さらに、深層学習の柔軟性の喪失の重大性と一般性を示した後、その起源をより深く理解したいとしています。

「ベイズフローネットワークの公開：生成モデリングの新たなフロンティア」

生成モデリングは、モデルが入力データのパターンを発見することを学ぶ教師なし機械学習の一環です。この知識を活用して、モデルはオリジナルのトレーニングデータセットに関連する新しいデータを自己生成することができます。生成AIの分野では、自己回帰モデル、深層VAE、拡散モデルなど、使用されるネットワークにおいて数多くの進歩がありました。しかし、これらのモデルは連続的または離散的なデータの場合には欠点を持つ傾向があります。研究者たちは、ベイジアンフローネットワーク（BFN）と呼ばれる新しいタイプの生成モデルを提案しました。BFNは、アリスとボブを使って考えることができます。ボブは基本的な初期分布から始めます。彼はそのパラメータをニューラルネットワークに使用して新しい「出力分布」のパラメータを取得します。アリスは計画的な方法でデータにノイズを加え、それを「送信者分布」とします。ボブは出力分布と同じノイズを組み合わせて「受信者分布」を作成します。彼は出力分布に基づいてデータのすべての可能な値に対して仮想的な送信者分布を結合し、それらの確率に従って考慮します。アリスは送信者分布からサンプルをボブに送ります。ボブはこのサンプルに基づいてベイジアンの規則に従って初期分布を更新します。初期分布が各データ変数を個別にモデル化している場合、更新は容易に行われます。ボブは複数のステップでこのプロセスを繰り返します。最終的に、彼の予測は十分に正確になり、アリスはノイズのないデータを送信することができます。次に説明されたプロセスは、nステップの損失関数を作成し、無限のステップ数を考慮することで連続時間に拡張することもできます。連続時間では、ベイジアンの更新はデータからネットワークへの情報のベイジアンフローとなります。連続時間の損失を使用してトレーニングされたBFNは、推論とサンプリングの際に任意の数の離散ステップで実行でき、ステップ数が増えるにつれて性能が向上します。連続データの場合、BFNは最も関連性が高く、変分拡散モデルと非常に似た連続時間の損失関数を持っています。この場合の主な違いは、BFNではネットワークの入力が変分拡散や他の連続拡散モデルよりもはるかにノイズが少ないことです。これは一般的に、BFNの生成プロセスが固定された事前分布のパラメータから始まる一方、拡散モデルの生成プロセスは純粋なノイズから始まるためです。研究者たちは、BFNのフレームワークを連続的な、離散的な、離散化されたデータに適用することを提案しました。実験結果は、CIFAR-10（32×32の8ビットカラー画像）、動的に2値化されたMNIST（28×28の2値化された手書き数字の画像）、およびtext8（長さ256の文字列シーケンス、サイズ27のアルファベット）を対象に行われ、BFNがすべてのベンチマークで優れた性能を発揮しました。この研究は、生成モデリングにおけるBFNへの新たな視点を提供し、この分野でのさらなる可能性を開拓しました。

ニューヨーク市の可視化

「PythonとPlotlyを使用して、NYCのオープンデータプラットフォームからデータを活用するジオデータの構築、Wifiヒートマップ、そしてセントラルパークの住人について学びましょう」

このAI論文は、古典的なコンピュータによって生成される敵対的攻撃に対して、量子マシンラーニングモデルがより良く防御される可能性があることを示唆しています

機械学習（ML）は確かに急速な拡大と統合を経て、多くの分野において革新的な問題解決方法を提供し、データから価値ある洞察を抽出する能力を強化しています。この変革的な技術は、現代の科学、技術、産業においてますます普及しており、イノベーションを推進し、さまざまなセクターを再構築しています。しかし、その有用性や洗練性にもかかわらず、これらの機械学習とニューラルネットワークは、敵対的攻撃によって簡単に騙されることがあります。敵対的に操作されたデータによって予期せずに失敗することがあります。これは、ニューラルネットワークの効果と精度に挑戦する大きな問題です。このような攻撃への持続的な脆弱性は、潜在的に命を危険にさらす可能性のある状況で機械学習ニューラルネットワークを実装する際の安全性について重要な懸念を引き起こします。これには、自動運転車などの使用例が含まれます。ここでは、表面上無害な変更により、システムが交差点を横断してしまう可能性があります。これは、厳格な安全保護策と対策の必要性を強調しています。その結果、これらの敵対的攻撃に対するニューラルネットワークの強化には、重要な取り組みが行われています。量子機械学習アルゴリズムのさまざまな研究と提案が行われており、敵対的攻撃に対処するための標準的な古典的な手法の量子一般化も含まれています。量子機械学習理論は、既存の古典的な計算モデルよりも特定のタイプのデータをはるかに高速に取得できる可能性があると示唆しています。古典的なコンピュータは2つの状態（「ゼロ」または「1」）を持つ2進ビットを使用してデータを処理しますが、量子コンピュータは「キュビット」を利用します。これらのキュビットは2レベルの量子系内の状態を表し、古典的なシステムよりも特定の問題に効果的に対処するために利用できる特異な追加属性を持っています。オーストラリアの研究者は、MNIST、FMNIST、CIFAR、Celeb-Aの画像など、さまざまな有名な画像データセットでQAML（量子敵対的機械学習）を調査しました。また、研究者はPGD、FGSM、AutoAttackの3種類の異なる敵対的攻撃をこれらのさまざまなデータセットに実装しました。これらの画像分類モデルは、入力画像を変更することで簡単に騙され、操作される可能性があります。研究者たちは、さまざまな画像データセットにわたる包括的な量子および古典的なシミュレーションを実施しました。また、厳格に結果を評価するために、さまざまな敵対的攻撃のセットを作成しました。結果は、古典的（量子）ネットワークと量子（古典的）敵対的攻撃を調査および比較するものです。敵対的攻撃は、機械学習モデルが使用する特徴を特定して悪用します。このアプローチの基礎は、通常の条件下で両方のネットワーク（量子と古典）が同じ予測を行うというものです。しかし、条件が変更されると、結果は異なり、したがって調査が可能になります。古典および量子システムの防御メカニズムの明白な違いは、量子変分分類器（QVCs）がユニークかつ特に有意義な特徴スペクトルを取得し、古典的なネットワークとは異なる点にあります。この違いは、古典的なネットワークが情報提供力が高く比較的強靭でないデータ特徴に頼っていることに起因します。しかし、一般的な量子機械学習モデルによって利用される属性は古典的なコンピュータには届かず、古典的な計算資源のみを備えた攻撃者には知覚できないものとなります。この研究の観察結果は、機械学習タスクの領域において量子の利点が示唆されています。これは、量子コンピュータが古典的な対応物よりも広範なモデルを効率的に学習できるという特異な能力に起因します。ただし、これらの新しいモデルの実用性は、医療分類問題や生成型AIシステムなど、多くの実世界の機械学習タスクについては不確定です。

KerasとTensorFlowでのSiamese Networkの実装

ニューラルネットワークはAI/MLの領域では素晴らしく、非常に人気がありますが、訓練にはあまりにも多くのデータが必要ですオブジェクト検出、署名検証、音声検証、処方箋などのタスクには…

「ケンブリッジの研究者たちは、機械学習システムに不確実性を組み込むことを開発しています」

不確かな人間の洞察力の世界で、不確実性を受け入れることは、機械と人間がより効果的かつ信頼性の高い方法で協力するのに役立つかもしれません。現在のシステムは、人間の介入が常に正確で自信に満ちていると想定してプログラムされていますが、この研究ではそのような相互作用における不確実性を考慮しています。ケンブリッジ大学の研究チームは、「UElic」というプラットフォームを作成しました。これは実世界の人間の不確実性データを収集し、モデルが不確実性を扱う能力を向上させる価値を示すものです。これにより、人間が不確実性を表現することで、機械学習モデルの信頼性を向上させることが強調されています。研究者たちは、解釈性を高め、エラーを修正するための人間の介入を可能にするコンセプトベースのモデルを紹介しています。これには、入力（x）、コンセプト（c）、および出力（y）を使用した教師付き学習が含まれます。コンセプトはバイナリまたはカテゴリーであり、不確実性を含む場合もあります。彼らは画像分類データセットを使用しており、人間が特定の画像にラベル付けする際にフィードバックを提供し、不確実性を示すことができます。これらのモデルは、ニューラルネットワークを使用してコンセプトを予測し、コンセプトの埋め込みモデル（CEMs）に焦点を当てたコンセプトボトルネックモデル（CBMs）の拡張を行っています。研究では、コンセプトベースのモデルがテスト時に人間の不確実性をどのように扱い、どのように人間の不確実性をサポートし、不確実性のレベルを向上させるかを探求しました。研究者は、不確実性の異なるベンチマーク機械学習データセットを使用しました。胸部X線を分類するためのChexpertデータセットと、MNISTの数字で形成されたデジット分類に使用されるUMNISTです。これにより、研究者は鳥のデータセットを使用して不確実性をシミュレートし、人間の参加者が鳥を赤色またはオレンジ色と分類することで確実性を示しました。この研究では、制御されたシミュレーションと実際の人間の不確実性、粗視化された不確実性表現と細かい不確実性表現を調査しました。離散的な不確実性スコアの処理における設計の選択は、パフォーマンスに影響を与え、マッピングの考慮、広範囲な不確実性と狭い不確実性、インスタンスレベルと集団レベルの不確実性について検討されました。研究者たちは、人間の不確実性をコンセプトベースのモデルに組み込む重要性と、CUB-Sのような包括的なデータセットがこれらの課題を研究するために必要であることを強調しています。この研究から得られたいくつかのオープンな課題には、(1)人間と機械の不確実性の相補性、(2)人間の（誤）補正の扱い、(3)不確実性の導出のスケーリングがあります。研究者たちは、人間の不確実性介入に関するさらなる研究を促進するために、UElicインターフェースとCUB-Sデータセットを紹介しています。

「DCGANモデルの作成手順ガイド」

はじめに Deep Convolutional Generative Adversarial Networks（DCGANs）は、Generative Adversarial Networks（GANs）と畳み込みニューラルネットワーク（CNNs）の力を組み合わせることで、画像生成の分野を革新しました。 DCGANモデルは非常にリアルな画像を作成することができ、芸術生成、画像編集、データ拡張など、さまざまなクリエイティブなアプリケーションで重要なツールとなっています。このステップバイステップガイドでは、PythonとTensorFlowを使用してDCGANモデルを構築するプロセスを詳しく説明します。 DCGANsは、芸術やエンターテイメントなどのさまざまな分野で貴重な存在であり、アーティストが新しいビジュアル体験を作り出すことを可能にしています。さらに、医療画像では、DCGANsが診断の正確性のための高解像度スキャンを生成するのに役立ちます。データ拡張における役割は、機械学習モデルを強化し、建築やインテリアデザインにも貢献して、現実的な環境をシミュレートしています。創造性と技術をシームレスに融合させることで、DCGANsは単なるアルゴリズムを超えて、さまざまな領域で革新的な進歩を促進しています。このチュートリアルの最後までには、ランダムなノイズから高品質の画像を生成できる、よく構造化されたDCGANの実装ができるようになります。この記事はData Science Blogathonの一部として公開されました。前提条件実装に入る前に、次のライブラリがインストールされていることを確認してください： TensorFlow：pip install tensorflow NumPy：pip…

ML MonorepoのPantsでの組織化

「プロジェクト間でユーティリティコードの一部をコピー＆ペーストしたことがありますか？その結果、同じコードの複数のバージョンが異なるリポジトリに存在することになりましたか？または、データを保存するGCPバケットの名前が更新された後、数十のプロジェクトにプルリクエストを行わなければなりませんでしたか？上記のような状況はあまりにも頻繁に発生します...」

Learn more about Search Results MNIST - Page 3