Search Results で見る

「大規模な言語モデルの探索-パート3」

「この記事は主に自己学習のために書かれていますしたがって、広く深く展開されています興味のあるセクションをスキップしたり、自分が興味を持っている分野を探求するために、自由に進めてください以下にはいくつかの...」

自然言語処理：BERTやGPTを超えて

技術の世界は常に進化しており、その中でも特に進歩が見られる分野の一つが自然言語処理（NLP）です数年前には、BERTとGPTという画期的なモデルが登場しました...

「物理学と流体力学に応用されたディープラーニング」

数値シミュレーションは、物理システムの挙動を理解するために何年も使用されてきました流体が構造物と相互作用する方法、応力下で幾何学が変形する方法、または熱の挙動などを理解するために使用されます

GLIP オブジェクト検出への言語-画像事前学習の導入

今日は、言語-画像の事前学習であるCLIPの素晴らしい成功を基に、物体検出のタスクに拡張した論文であるGLIPについて掘り下げます...

「S-LabとNTUの研究者が、シーニメファイ（Scenimefy）を提案しましたこれは、現実世界の画像から自動的に高品質なアニメシーンのレンダリングを行うための画像対画像翻訳フレームワークであり、セミスーパーバイズド（半教師付き）手法を採用しています」

アニメの風景は創造力と時間を大量に必要とするため、自動的なシーンのスタイル化のための学習ベースの手法の開発には明らかな実用的かつ経済的な意義があります。自動スタイル化は、最近の生成的対抗ネットワーク（GAN）の発展により、大幅に改善されていますが、この研究のほとんどは主に人間の顔に焦点を当てています。複雑な現実世界のシーン写真から高品質なアニメの風景を作成するプロセスは、その莫大な研究価値にもかかわらず、まだ研究が必要です。現実のシーン写真をアニメスタイルに変換するには、いくつかの要素が関与して多くの作業が必要です。 1) シーンの構成：図1は、シーン内の前景と背景部分の階層関係を示しており、これらの部分はしばしば複雑な方法で接続された複数のアイテムで構成されています。 2) アニメの特徴：図1は、草、木、雲などの自然環境で事前に設計された筆触が使用されることで、アニメを定義する特異なテクスチャと正確なディテールが作成される様子を示しています。これらのテクスチャの有機的で手描きの性質は、以前の実験で示された鮮明なエッジと均一な色のパッチよりも模倣がはるかに困難です。 3) データの不足とドメインのギャップ：高品質なアニメのシーンデータセットは、背景の風景とは異なる美的を持つ多くの人間の顔や他の前景アイテムのため、現実とアニメのシーンの間のギャップを埋める上で重要です。既存のデータセットは低品質です。図1：アニメのシーンの特徴。手描きの筆触（前景の草や石）や木や雲（背景）の存在が、新海誠監督の2011年の映画「星を追う子ども」のシーンフレームで見ることができます。対称的な画像変換は、対になったトレーニングデータがない場合に複雑なシーンのスタイル化に使用される人気のある方法です。アニメスタイルに焦点を当てた既存の技術は、有望な結果を示しているにもかかわらず、いくつかの分野で追いつく必要があります。まず、複雑な風景ではピクセルごとの相関が欠如しているため、現在のアプローチでは明らかなテクスチャのスタイル化を実行するのが困難であり、意外な出力や目立つアーティファクトを含む可能性があります。2つ目に、一部の方法ではアニメのシーンの微細なディテールを生成しません。これは、エッジや表面のなめらかさを強制する構築されたアニメ固有の損失や事前抽出された表現に起因しています。上記の問題を解決するために、南洋理工大学のS-Labの研究者は、高品質なアニメスタイルのシーン写真の表現を作成するためのユニークな半教師ありイメージ間変換（I2I）パイプラインであるScenimefyを提案しています。彼らの主な提案は、疑似対応データを使用して、教師なしフレームワークに新しい教師ありトレーニングブランチを導入し、教師なしトレーニングの欠点に対処することです。彼らはStyleGANの有利な特性を使用して、実際のアニメまたは偽の対応データ間の粗い対応データを提供するためにそれを微調整するというメインの提案を行っています。図2は、Scenimefyによるアニメのシーンのレンダリングを示しています。上段：翻訳された画像；下段：翻訳の結果。彼らは、CLIPやVGGなどの豊富な事前学習モデルの先行知識を使用して、StyleGANが複雑なシーンの詳細を捉え、過学習を減らすようにするための新しい意味制約型微調整手法を提供しています。低品質のデータをフィルタリングするために、彼らはセグメンテーションに基づいたデータ選択手法も提供しています。疑似対応データとユニークなパッチごとの対照的なスタイル損失を使用することで、Scenimefyは2つのドメイン間の微細な詳細を作成し、効果的なピクセルごとの対応を学習します。彼らの半教師ありフレームワークは、シーンのスタイル化の忠実さと正確さ、教師なしトレーニングブランチの間で望ましいトレードオフを試みます。彼らはまた、トレーニングを支援するために純粋なアニメシーンの高品質なデータセットを収集しました。彼らは広範なテストを実施し、Scenimefyの有効性を示し、知覚品質と数量評価の業界基準を上回りました。以下は彼らの主な貢献の概要です： • 彼らは、実際の写真を洗練されたアニメシーンの優れた品質の画像に変換する新しい準教師付きシーンスタイライゼーションフレームワークを提供しています。彼らのシステムは、スタイライゼーションと細部を向上させるために独自のパッチ単位の対比的なスタイル損失を追加します。 • 豊富な事前トレーニングのガイダンスに続いて、セグメンテーションによるデータ選択スキームによって構造一貫性のある擬似ペアデータが生成される、新しく開発された意味制約付きStyleGAN微調整技術があります。これはトレーニングの監督の基礎となります。 • 彼らは、将来のシーンスタイライゼーションの研究に役立つ高解像度のアニメシーンのコレクションを収集しました。

「AIの利点：NVIDIA Canvas、Blender、TikTok、およびCapCutにおける高度なクリエイティブワークフロー」

編集者の注：この投稿は、NVIDIA Studioシリーズの一部であり、注目されるアーティストを称え、クリエイティブなヒントやトリックを提供し、NVIDIA Studioテクノロジーがクリエイティブなワークフローを改善する方法を示しています。さらに、新しいGeForce RTX 40シリーズGPUの機能、技術、リソースについて詳しく説明し、コンテンツ作成を劇的に高速化する方法について詳しく説明しています。アートの形態は美しく非凡であるだけでなく、創作の分野においてアーティストにとって提供されるシンプルな喜びと安らぎを忘れることは容易です。今週のIn the NVIDIA StudioシリーズのテーマであるJanice K. Lee、通称Janice.Journalは、AIを使用して創作プロセスを加速し、インスピレーションを見つけ、繰り返しの作業を自動化するTikTokのセンセーションです。 https://blogs.nvidia.com/wp-content/uploads/2023/08/week72-nvidia-bts-video-1280w-2.mp4 今週も、NVIDIA Studioテクノロジーは最も人気のあるモバイルアプリやデスクトップアプリをパワーアップしており、アスピリングアーティストやクリエイティブプロフェッショナルの創作ワークフローを推進しています。 TikTokとCapCut、NVIDIAとクラウドのパワー週ごとに、AIはコンテンツ作成においてますます普及しています。人気のあるソーシャルメディアアプリTikTokを例にとってみましょう。AI Green Screenを含むすべてのモバイルアプリの機能は、クラウド上のGeForce RTX GPUによって高速化されています。TikTokのクリエイターワークフローの他の部分も高速化されており、人気のある生成型AIパワードのビデオ編集アプリであるDescript AIは、最新のNVIDIA…

Learn more about Search Results で見る - Page 11

「大規模な言語モデルの探索-パート3」

自然言語処理：BERTやGPTを超えて

「物理学と流体力学に応用されたディープラーニング」

GLIP オブジェクト検出への言語-画像事前学習の導入

「AIの利点：NVIDIA Canvas、Blender、TikTok、およびCapCutにおける高度なクリエイティブワークフロー」

「クラスの不均衡：ランダムオーバーサンプリングからROSEへ」

ディープラーニングのためのPythonとC++による自動微分

「PyTorch ProfilerとTensorBoardを使用して、データ入力パイプラインのボトルネックを解消する」

「あなたの携帯電話の画面をぼやけさせることで、盗み見を防ぐことができるかもしれません」

Find the right Blockchain Investment for you