Search Results ResNet

「CNN（畳み込みニューラルネットワーク）におけるポイントワイズ畳み込みの探求：全結合層の置き換え」

はじめに畳み込みニューラルネットワーク（CNN）は、画像とパターンを理解する上で重要な役割を果たし、深層学習の世界を変えました。この旅は、YanがLeNetアーキテクチャを紹介したころから始まり、今日ではさまざまなCNNを選択できます。従来、これらのネットワークは、特に異なるカテゴリに分類する場合には、全結合層に依存していました。しかし、そこに変化の風が吹いています。私たちは異なるアーキテクチャを探求しており、畳み込みニューラルネットワークにおける新しい方法であるPointwise Convolutionを使用しています。まるで新しい道を進むような感覚です。このアプローチは、通常の全結合層の使用方法に挑戦し、ネットワークをよりスマートで高速にするいくつかのクールな利点をもたらします。私たちと一緒にこの探求に参加し、Pointwise Convolutionの理解に深入りし、ネットワークの効率的な動作と優れたパフォーマンスの向上がいかに役立つかを発見しましょう。学習目標 LeNetなどの初期モデルから現在使用されている多様なアーキテクチャまで、畳み込みニューラルネットワーク（CNN）の歴史を理解する CNNにおける従来の全結合層に関連する計算の重さと空間情報の損失について探求する Pointwise Convolutionの効率的な特徴抽出方法を探求するネットワークの変更やハイパーパラメータのチューニングなど、CNNにおけるPointwise Convolutionの実装に必要な実践的なスキルを開発するこの記事はデータサイエンスブログマラソンの一環として公開されました。全結合層の理解従来の畳み込みニューラルネットワーク（CNN）では、全結合層は重要な役割を果たし、ある層のすべてのニューロンを次の層のすべてのニューロンに接続する密な相互接続構造を形成しています。これらの層は、画像分類などのタスクで使用され、ネットワークが特定の特徴と特定のクラスを関連付けることを学習します。要点グローバルコネクティビティ：全結合層はグローバルな接続を作成し、ある層の各ニューロンが次の層のすべてのニューロンに接続されることを可能にします。パラメータの重さ：全結合層には非常に多くのパラメータが含まれるため、モデルのパラメータ数が大幅に増加することがあります。空間情報の損失：全結合層に入力データを平坦化することで、元の画像から空間情報が失われる場合があり、特定のアプリケーションで欠点となる可能性があります。計算の重さ：全結合層に関連する計算負荷は、ネットワークの規模が拡大するにつれて特に大きくなる場合があります。実践における使用法畳み込み層の後：全結合層は通常、畳み込み層の後に使用されます。畳み込み層は入力データから特徴を抽出します。密な層：一部の場合、全結合層は「密な」層と呼ばれ、すべてのニューロンを接続する役割が強調されます。変更の必要性とは？通常の畳み込みニューラルネットワーク（CNN）における全結合層の基本的な理解ができたので、なぜ一部の人々が異なるものを探しているのかについて話しましょう。全結合層は役割を果たしていますが、いくつかの課題を抱えています。コンピューターに負荷がかかり、多くのパラメータを使用し、時には画像から重要な詳細を失うことがあります。…

ID対マルチモーダル推奨システム：転移学習の視点

この記事は、移転可能な推薦システムの開発状況と代表的な作業（IDベース、モダリティベース、および大規模言語モデルベース）についてレビューしています

複雑なAIモデルの解読：パデュー大学の研究者が、ディープラーニングの予測を位相マップに変換

複雑な予測モデルの高度なパラメータ化の性質により、予測戦略の説明と解釈が困難です。研究者たちは、この問題を解決するために、トポロジックデータ解析（TDA）を利用した新しいアプローチを導入しました。これらのモデルは、機械学習、ニューラルネットワーク、AIモデルを含むさまざまな科学分野で標準的なツールとなっていますが、広範なパラメータ化のために解釈が難しいことがよくあります。パデュー大学の研究者たちは、これらの複雑なモデルをより理解しやすい形式に変換できるツールの必要性を認識しました。彼らはTDAを活用してリーブネットワークを構築し、予測戦略の解釈を容易にするトポロジックな視点を提供しました。この方法はさまざまな領域に適用され、大規模データセットでもスケーラビリティが実証されました。提案されたリーブネットワークは、予測ランドスケープを視覚化することができる、トポロジック構造の離散化です。リーブネットワークの各ノードは、似た予測を持つデータポイントのクラスタとして計算された予測空間の局所的な単純化を表します。ノードは共有されたデータポイントに基づいて接続され、予測とトレーニングデータの間の有益な関係を示します。このアプローチの重要な応用の一つは、トレーニングデータのラベリングエラーの検出です。リーブネットワークは、曖昧な領域や予測の境界を特定するために効果的であり、潜在的なエラーのさらなる調査を導く役割を果たしました。この方法は、画像分類における一般化や、BRCA1遺伝子における病原性変異に関連する予測の理解にも有用性を示しました。 tSNEやUMAPなどの広く使用されている可視化技術との比較を行い、リーブネットワークが予測間の境界やトレーニングデータと予測の関係についてより多くの情報を提供できることが強調されました。リーブネットワークの構築には、未知のラベルを持つ大量のデータポイント、データポイント間の既知の関係、および各予測値に対する実数値のガイドなどの前提条件があります。研究者たちは、グラフベースのTDA（GTDA）と呼ばれる再帰的な分割と統合手順を使用して、元のデータポイントとグラフからリーブネットを構築しました。この方法は、ImageNetの130万枚の画像を分析することで、スケーラブル性を実証しています。実用的な応用では、Amazonのレビューに基づいて製品タイプを予測するグラフニューラルネットワークにリーブネットワークフレームワークを適用しました。これにより、製品カテゴリの曖昧さが明らかになり、予測の正確性の限界とラベルの改良の必要性が強調されました。同様の洞察が、Imagenetデータセット上の事前学習済みResNet50モデルにフレームワークを適用することで得られ、画像のビジュアルタクソノミーが明らかにされ、真のラベリングエラーが明らかにされました。研究者たちはまた、リーブネットワークを使用して、特にBRCA1遺伝子に関連する悪性遺伝子変異に関連する予測を理解するためにリーブネットワークの適用を紹介しました。ネットワークはDNA配列の局所的なコンポーネントとその二次構造へのマッピングをハイライトし、解釈を支援しました。結論として、リーブネットワークなどのトポロジック検査技術が、複雑な予測モデルを行動可能な人間レベルの洞察に変換する上で重要な役割を果たすと研究者は予想しています。この方法は、ラベリングエラーからタンパク質構造まで、さまざまな問題を識別する能力を示し、予測モデルの早期診断ツールとしての広範な適用性と潜在能力を示唆しています。

「マシンの学習を忘れることを学ぶ」

現代のテクノロジーの世界では、機械学習について聞かない人を見つけるのは困難でしょう過去10年間、この研究分野はとてもトレンディで、産業外の人々にさえ広まっています...

「コスト効率の高い高性能 AI 推論用の Amazon EC2 DL2q インスタンスが一般提供開始されました」

Qualcomm AIのA.K Royさんによるゲスト記事ですAmazon Elastic Compute Cloud（Amazon EC2）DL2qインスタンスは、Qualcomm AI 100 Standardアクセラレータによってパワーアップされ、クラウド上で効率的に深層学習（DL）タスクを展開するために使用することができますDLタスクのパフォーマンスや精度を開発し、検証するためにも利用できます

「ディープラーニングにおける転移学習とは何ですか？」

簡単に言えば、新しい異なるデータセットで実行される訓練済みモデルを使用する技術です核心のアイデアは、訓練済みモデルの知識を新しいデータセットに適用することですが...

朝鮮大学研究者が、ブリーチされたサンゴの正確な位置情報を特定するための機械学習フレームワークを紹介します特徴ベースのハイブリッドビジュアル分類によるものです

地球上で最も多様な海洋環境は、サンゴ礁に存在すると言われています。サンゴ礁では、約4,000種類の魚が見つかることがあり、全ての海洋生物の約25%が生息しています。サンゴの中では、水中寄生藻類またはゾウキサンテラエと呼ばれるものが、サンゴ礁として知られる鮮やかな炭酸カルシウムの構造物を生成します。水温が上昇し、藻類がサンゴの組織から逃げ出すと、サンゴ礁は退色します。サンゴ礁の退色は、いくつかの環境的および経済的問題と関連しています。極めて高い夏季の海面温度（SST）により、地球温暖化が退色の主な原因です。2016年にオーストラリアのグレート·バリア·リーフでは、退色によりサンゴの29～50%が死滅しました。また、退色は世界の海洋の二酸化炭素（CO2）レベルを日々高め、環境をより酸性化させ、他のサンゴや海洋生物が骨格を形成することを困難にします。サンゴ礁はさまざまな海洋生物の生息地であり、世界で最も深刻な病気の多くを治療することができる多くの薬物を含んでいます。気候変動の影響を軽減するために、海洋生態学の監視と調査が必要です。しかし、水中画像のアーティファクトと周囲のノイズにより、コンピュータビジョンシステムは前景の対象物と背景を区別するのが困難です。そのため、水中画像を改善するための技術が開発されています。写真をHSIモデルに変換し、画像の彩度と明度の要素を拡張することで、統合カラーモデル（ICM）と非教示色補正手法（UCM）はコントラストを改善します。人工知能（AI）を研究する研究者は、退色したサンゴ礁を信頼性のあるかつ計算効率の良い方法で特定できるようにしたいと考えています。しかし、照明、サイズ、方向、視点、遮蔽、および背景の乱雑さの違いが、特定モデルの性能を低下させます。カメラの深度、取り付け位置、および監視エリアの変動する光源により、対象物のスケール、視点、および照明が変化します。このプロジェクトの韓国朝鮮大学の研究者は、海洋環境の写真の幾何学的および視覚的な変動に耐えることができる深層学習と手作りの特徴抽出方法を作成することを目指しています。外観ベースの特徴は物体のテクスチャと色の詳細によるものであり、幾何学的な特徴は主に物体の形状を形成する曲線とエッジの局所的な分布に依存します。照明、サイズ、方向、視点、遮蔽、および背景の乱雑さは外観特徴と幾何学に影響を与えます。ほとんどの分類作業では、手作りの特徴抽出器は深層ニューラルネットワーク（DNN）モデルに置き換えられます。ドメインの独立性と広範なデータセットのトレーニングにより、ResNet、DenseNet、VGGNet、Inceptionsモデルなど、深層ニューラルネットワーク（DNN）はさまざまなアプリケーションで類例のないパフォーマンスを実現しています。しかし、現在のデータセットには退色した例が少ないため、DNNは過学習し、特徴の堅牢性と一意性が損なわれます。ただし、手作りの特徴の堅牢性と一意性はトレーニングデータの力に依存しません。手作りの特徴の不変性は、ノイズの堅牢性を持っていても、深度、水中光、水の濁りの変化によって影響を受けます。このプロジェクトの目標は、コーラルの写真のジオメトリとフォトメトリの変化に耐える変わらない特徴抽出モデルを作成することです。提案されたフレームワークは、ハイブリッドな手作りとDNNの手法を使用して生の特徴を抽出し、BoFを用いて次元削減と不変性を増加させ、分類精度を向上させます。提案されたモデルは、ストレージの必要性と複雑さを減らすために、グローバルな特徴ではなく写真からのローカルな特徴を使用してフォトメトリックな不変性を向上させます。試行錯誤の末、最適なパッチ、クラスタサイズ、カーネルの組み合わせ、および分類器が決定されました。

FastAPIとDockerを使用してPyTorchモデルを提供する

「個人のマシン/ディープラーニングのプロジェクトに取り組むことはとても楽しいです夜になると、ラップトップの前で好きなことをコーディングしたり、興味深い論文を読んだり、締切りもありません...」

このAI論文は、実世界の網膜OCTスキャンを使用して、年齢に関連した黄斑変性の段階を分類するためのディープラーニングモデルを紹介しています

新しい研究論文では、網膜光干渉断層法（OCT）スキャンを使用した老年性黄斑変性（AMD）の段階に基づいたディープラーニングを用いた分類器を紹介しています。二段階の畳み込みニューラルネットワークを利用して、モデルはTopcon OCT画像からマクラ中心の3Dボリュームを正常、早期/中間期のAMD（iAMD）、萎縮性（GA）、新生血管性（nAMD）の段階に分類します。第1段階では2D ResNet50を使用してB-スキャンの分類を行い、第2段階ではより小さなモデル（ResNet）を使用してボリュームの分類を行います。このモデルは、大規模なデータセットでトレーニングされ、マクラ中心の3Dボリュームを正常、iAMD、GA、nAMDの段階に強力に分類します。この研究では、タイムリーな治療開始のための正確なAMD分類の重要性を強調しています。パフォーマンス指標には、ROC-AUC、バランス精度、正確度、F1スコア、感度、特異度、マシューズ相関係数が含まれます。この研究では、網膜OCTスキャンを使用した自動AMD検出および分期システムの開発について詳細に説明しています。OCTは非侵襲的な画像技術であり、従来の方法と比較してAMD分類について詳細な洞察を提供する上で重要です。この研究では、正確なAMD分類の重要性が効果的な治療と視機能の保存において強調されています。また、堅牢な分析のための高品質のデータセットの重要性も強調されています。この研究では、ImageNetで事前トレーニングされたResNet50および4つの別々のResNetを使用した二段階のディープラーニングモデルを実装し、OCTスキャン上のAMDバイオマーカーの2値分類を行いました。第1ステージではボリューム内の疾患カテゴリを特定し、第2ステージではボリュームレベルの分類を行いました。これらのモデルは実世界のOCTデータセットでトレーニングされ、ROC-AUC、バランス精度、正確度、F1スコア、感度、特異度、マシューズ相関係数などの有望なパフォーマンス指標を示しました。研究では、異なるデバイスからのさまざまなOCTデータセットの使用に関する課題と、ポテンシャルの一般化問題についても言及しています。ディープラーニングベースのAMD検出および分期システムは、実世界のテストセットで平均ROC-AUC 0.94の有望なパフォーマンスを示しました。推論時にモンテカルロドロップアウトを組み込むことで、分類の不確実性の推定の信頼性が向上しました。この研究では、2079の眼からの3995のOCTボリュームからなる厳選されたデータセットを使用して、AUC、BACC、ACC、F1スコア、感度、特異度、MCCなどのさまざまな指標でパフォーマンスを評価しました。その結果、このモデルは正確なAMD分類と分期においてベースラインの手法と同等またはより良いパフォーマンスを示し、さらにB-スキャンレベルの疾患特定の利点もあります。さらなる研究により、このディープラーニングモデルの一般化能力を向上させることができます。これには、CirrusやSpectralisなどのスキャナに対応するための適応が考慮されるべきです。データセット固有のトレーニングに関連する制限に対処するために、ドメインシフト適応方法を検討する必要があります。モデルの潜在的な用途は、神経眼科学的なAMDの開始検出に拡張することができます。不確実性の推定を実世界のスクリーニング設定での適用や、AMD以外の疾患バイオマーカーの検出モデルの探索は、将来の調査において有望なアプローチとなり、より広範な人口の疾患スクリーニングに役立ちます。

「深層学習モデルの可視化方法」

ディープラーニングモデルは通常非常に複雑です多くの伝統的な機械学習モデルが数百のパラメータで済むことがありますが、ディープラーニングモデルは数百万または数十億のパラメータを持っていますオープンAIが2023年春にリリースした大規模言語モデルGPT-4は、約2兆のパラメータを持っていると噂されていますそれは･･･

ML Model Development

Learn more about Search Results ResNet - Page 2