Learn more about Search Results ML - Page 320

「パフォーマンスと使いやすさを向上させるための機械学習システムにおけるデザインパターンの探求」

機械学習は、最近の進展と新しいリリースにより、ますます広まっています。AIとMLの人気と需要が高まり、製品レベルのMLモデルの開発が求められる中で、ML関連の問題を特定し、それらに対する解決策を構築することは非常に重要です。デザインパターンは、ML関連の問題の解決策を絞り込むための最良の方法です。パターンのアイデアは、問題を定義し、その問題の詳細な解決策を見つけるのに役立ち、同様の問題に何度でも再利用できます。 デザインパターンは、世界中の実践者が従えるように知識を指示にまとめたものです。さまざまなMLデザインパターンは、MLライフサイクルのさまざまな段階で使用されます。問題の構築、実現可能性の評価、またはMLモデルの開発や展開段階で使用されることもあります。最近、ツイッターのユーザーであるユージン・ヤン氏が、機械学習システムにおけるデザインパターンについての議論を行いました。彼はツイートでいくつかのデザインパターンをリストアップしています。 カスケード:カスケードは、複雑な問題をより単純な問題に分解し、その後のモデルを使用してより困難または具体的な問題に取り組むことを含みます。共有された例では、オンラインコミュニティプラットフォームであるStack Exchangeがスパムに対するカスケードの防御を使用していることが説明されています。スパムの検出と防止のために、複数の保護層が使用されており、各層はスパム検出の異なる側面に焦点を当てています。最初の防御ラインは、人間の可能性を超えて速く投稿された場合(HTTP 429エラー)です。2番目の防御ラインは、正規表現とルールによってキャッチされた場合(ヒューリスティクス)です。3番目の防御ラインは、シャドウテストに基づいた非常に正確なものです(ML)。カスケードは体系的かつ階層的に機能し、効果的なアプローチです。リソースはこちらからご覧ください。 リフレーミング:リフレーミングは、元の問題を再定義して解決しやすくすることを含みます。ツイートで挙げられた例は、大規模な電子商取引プラットフォームであるAlibabaが、次にユーザーが対話する可能性のある次のアイテムを予測するための連続的な推奨に関するパラダイムを再定義していることです。リソースはこちらからご覧ください。 ヒューマンインザループ:これは、ユーザー、アノテーションサービス、またはドメインエキスパートからラベルや注釈を収集し、MLモデルのパフォーマンスを向上させることを含みます。ツイートで言及されている例は、Stack ExchangeとLinkedInで、ユーザーがスパム投稿をフラグ付けできることです。これにより、ユーザーはスパムコンテンツにフィードバックを提供でき、将来のスパム検出のためにMLモデルのトレーニングに使用することができます。リソースはこちらからご覧ください。 データ拡張:これは、トレーニングデータの合成変動を作成し、サイズと多様性を増やしてMLモデルの一般化能力を改善し、オーバーフィッティングのリスクを減らすことを含みます。DoorDashというフードデリバリープラットフォームの例が挙げられており、データ拡張は、トレーニングデータが限られているかデータがない場合に、新しいメニューアイテムの正確な分類とタグ付けに取り組むために使用されています。リソースはこちらからご覧ください。 データフライホイール:これは、より多くのデータの収集がMLモデルの改善につながり、より多くのユーザーとデータを生み出す正のフィードバックループです。Teslaの例が共有されており、同社は車からセンサーデータ、パフォーマンスメトリクス、使用パターンなどのデータを収集しています。このデータは、自動運転などのタスクに使用されるモデルの改善に役立つエラーを特定しラベル付けするために使用されます。リソースはこちらからご覧ください。 ビジネスルール:これには、ドメイン知識やビジネス要件に基づいてMLモデルの出力を増強または調整するためのいくつかの追加ロジックや制約が含まれます。TwitterはMLモデルを使用してエンゲージメントを予測し、タイムラインでツイートの可視性を調整しています。また、MLモデルの出力に対するハンドチューニングされた重みやルールを使用して、意思決定プロセスに知識を組み込んでいます。リソースはこちらからご覧ください。 結果として、機械学習システムのデザインパターンは、モデルのパフォーマンス、信頼性、解釈可能性を向上させ、この領域の課題を解決するのに役立ちます。

「LangChainとOpenAI APIを使用した生成型AIアプリケーションの構築」

イントロダクション 生成AIは、現在の技術の最先端をリードしています。画像生成、テキスト生成、要約、質疑応答ボットなど、生成AIアプリケーションが急速に拡大しています。OpenAIが最近大規模な言語モデルの波を牽引したことで、多くのスタートアップがLLMを使用した革新的なアプリケーションの開発を可能にするツールやフレームワークを開発しました。そのようなツールの一つがLangChainです。LangChainは、LLMによるアプリケーションの構築を可能にする柔軟性と信頼性を備えたフレームワークです。LangChainは、世界中のAI開発者が生成AIアプリケーションを構築するための定番ツールとなっています。LangChainは、外部データソースと市場で利用可能な多くのLLMとの統合も可能にします。また、LLMを利用したアプリケーションは、後で取得するデータを格納するためのベクトルストレージデータベースが必要です。この記事では、OpenAI APIとChromaDBを使用してアプリケーションパイプラインを構築することで、LangChainとその機能について学びます。 学習目標: LangChainの基礎を学んで生成AIパイプラインを構築する方法を学ぶ オープンソースモデルやChromadbなどのベクトルストレージデータベースを使用したテキスト埋め込み LangChainを使用してOpenAI APIを統合し、LLMをアプリケーションに組み込む方法を学ぶ この記事は、データサイエンスブログマラソンの一環として公開されました。 LangChainの概要 LangChainは、最近大規模言語モデルアプリケーションのための人気のあるフレームワークになりました。LangChainは、LLM、外部データソース、プロンプト、およびユーザーインターフェースとの対話を提供する洗練されたフレームワークを提供しています。 LangChainの価値提案 LangChainの主な価値提案は次のとおりです: コンポーネント:これらは言語モデルで作業するために必要な抽象化です。コンポーネントはモジュール化されており、多くのLLMの使用例に簡単に適用できます。 既製のチェーン:特定のタスク(要約、Q&Aなど)を達成するためのさまざまなコンポーネントとモジュールの構造化された組み立てです。 プロジェクトの詳細 LangChainはオープンソースプロジェクトであり、ローンチ以来、54K+のGithubスターを集めています。これは、プロジェクトの人気と受け入れられ方を示しています。 プロジェクトのreadmeファイルでは、次のようにフレームワークを説明しています: 大規模言語モデル(LLM)は、以前は開発者ができなかったアプリケーションを作成するための変革的な技術として現れつつあります。ただし、これらのLLMを単独で使用するだけでは、本当に強力なアプリを作成するには不十分なことがしばしばあります。真のパワーは、他の計算ソースや知識と組み合わせるときに発揮されます。 出典:プロジェクトリポジトリ 明らかに、フレームワークの目的を定義し、ユーザーの知識を活用したアプリケーションの開発を支援することを目指しています。 LangChainコンポーネント(出典:ByteByteGo) LangChainには、LLMアプリケーションを構築するための6つの主要なコンポーネントがあります:モデルI/O、データ接続、チェーン、メモリ、エージェント、およびコールバック。このフレームワークは、OpenAI、Huggingface Transformers、Pineconeやchromadbなどのベクトルストアなど、多くのツールとの統合も可能にします。…

AIを使用して画像をビデオに変換する(Runway 2 チュートリアル)

RunwayMLは、ユーザーが静止画像を数秒でビデオに変換することができるAIツールです

「パッチのせいかもしれませんか? このAIアプローチは、ビジョントランスフォーマーの成功における主要な貢献要素を分析します」

畳み込みニューラルネットワーク(CNN)はコンピュータビジョンのタスクのバックボーンとなってきました。オブジェクト検出から画像の超解像まで、あらゆる問題に対して、CNNは行き先アーキテクチャとなっています。実際には、深層学習領域での有名な飛躍(例:AlexNetなど)は、畳み込みニューラルネットワークのおかげで可能になりました。 しかし、Transformerモデルに基づいた新しいアーキテクチャであるVision Transformer(ViT)が現れ、特に大規模なデータセットにおいて古典的な畳み込みアーキテクチャを圧倒し、有望な結果を示したことで状況は変わりました。それ以来、この分野では長年にわたってCNNで対処されてきた問題に対してViTベースのソリューションを可能にしようとしています。 ViTは、画像を処理するために自己注意層を使用しますが、これらの層の計算コストはピクセルごとの画像の数に対して二次的にスケーリングされます。そのため、ViTはまず画像を複数のパッチに分割し、それらを線形的に埋め込み、そのパッチのコレクションに直接Transformerを適用します。 元のViTの成功に続いて、多くの研究がViTアーキテクチャを改良してパフォーマンスを向上させました。自己注意を新しい操作で置き換える、他の小さな変更を行うなど。しかし、これらの変更にもかかわらず、ほとんどのViTアーキテクチャは共通のシンプルなテンプレートに従います。すべてのネットワークはネットワーク全体で均等なサイズと解像度を維持し、交互のステップで空間とチャネルのミキシングを実現することで等方性の振る舞いを示します。さらに、すべてのネットワークはパッチの埋め込みを使用してネットワークの開始時にダウンサンプリングを可能にし、シンプルで均一なミキシング設計を容易にします。 このパッチベースのアプローチは、すべてのViTアーキテクチャの共通の設計選択肢であり、全体の設計プロセスを簡素化します。そこで、質問が出てきます。ビジョンTransformerの成功は、主にパッチベースの表現によるものですか?それとも、自己注意やMLP(Multi-Layer Perceptron)などの高度で表現豊かな技術の使用によるものですか?ビジョンTransformerの優れたパフォーマンスに貢献する主要な要素は何でしょうか。 それを確かめる方法があり、それはConvMixerと呼ばれています。 ConvMixerの概要。出典:https://openreview.net/forum?id=rAnB7JSMXL ConvMixerは、ViTのパフォーマンスを分析するために開発された畳み込みアーキテクチャです。それはViTと多くの点で非常に似ています:画像のパッチに直接作用し、ネットワーク全体で一貫した解像度を維持し、画像の異なる部分での空間的なミキシングとチャネルごとのミキシングを分離します。 ただし、ConvMixerの重要な違いは、Vision TransformerやMLP-Mixerモデルで使用される自己注意メカニズムとは異なり、標準の畳み込み層を使用してこれらの操作を実現することです。結果として、深度方向とポイント方向の畳み込み演算は、自己注意やMLP層よりも計算コストが低くなります。 この極めてシンプルなConvMixerは、同じパラメータ数を持つResNetなどの「標準的な」コンピュータビジョンモデル、および対応するViTやMLP-Mixerのバリアントよりも優れた性能を発揮します。これは、パッチベースの等方性のミキシングアーキテクチャが、よく行動するミキシング操作のほとんどの選択肢とうまく機能する強力なプリミティブであることを示しています。 ConvMixerは、標準の畳み込みのみを使用して、パッチ埋め込みの空間的およびチャネルの位置を独立してミキシングします。これは、ViTやMLP-Mixerの大きな受容野に触発された大きなカーネルサイズを使用することで、大幅なパフォーマンス向上を実現することができます。最後に、ConvMixerは、将来のパッチベースのアーキテクチャにおける新しい操作のベースラインとして機能することができます。

韓国のこの人工知能(AI)論文では、FFNeRVという新しいフレーム単位のビデオ表現が提案されていますフレーム単位のフローマップと多重解像度の時空グリッドを使用しています

最近では、ニューラルネットワークを用いて座標を数量(スカラーまたはベクトル)にマッピングして信号を表すニューラルフィールドの研究が急速に進展しています。これにより、音声、画像、3D形状、動画など、さまざまな信号を扱うためにこの技術を利用することへの関心が高まっています。普遍近似定理と座標エンコーディング技術は、脳フィールドの正確な信号表現のための理論的な基盤を提供しています。最近の調査では、データ圧縮、生成モデル、信号操作、基本的な信号表現における適応性が示されています。 図1は、提案されたフローガイドのフレームごとの表現(a)、フレームごとの動画表現(b)、ピクセルごとの動画表現(FFNeRV)(c)を示しています。 最近では、ニューラルネットワークを用いて座標を数量(スカラーまたはベクトル)にマッピングして信号を表すニューラルフィールドの研究が急速に進展しています。これにより、音声、画像、3D形状、動画など、さまざまな信号を扱うためにこの技術を利用することへの関心が高まっています。普遍近似定理と座標エンコーディング技術は、脳フィールドの正確な信号表現のための理論的な基盤を提供しています。最近の調査では、データ圧縮、生成モデル、信号操作、基本的な信号表現における適応性が示されています。 各時刻座標は、MLPと畳み込み層のスタックによって作成されたビデオフレームによって表されます。基本的なニューラルフィールドの設計に比べて、私たちの手法はエンコーディング時間を大幅に削減し、一般的なビデオ圧縮技術を上回ります。このパラダイムは、最近提案されたE-NeRVによっても追求され、さらにビデオの品質を向上させるものです。図1に示すように、彼らはフローガイドのフレームごとのニューラル表現(FFNeRV)を提供しています。彼らは光学フローをフレームごとの表現に埋め込んで、時間的冗長性を利用しています。これは一般的なビデオコーデックからのインスピレーションを得たものです。フローによって導かれる近くのフレームを組み合わせることにより、FFNeRVは前のフレームからピクセルの再利用を強制するビデオフレームを作成します。ネットワークがフレーム間で同じピクセル値を再度覚えることを避けるように促すことで、パラメータの効率性が劇的に改善されます。 実験結果によると、UVGデータセットでのビデオ圧縮とフレーム補間では、FFNeRVが他のフレームごとのアルゴリズムを上回っています。さらなる圧縮性能の向上のために、連続的な時間座標を対応する潜在的な特徴にマッピングするために、固定された空間解像度の多重解像度の時間グリッドを使用することを提案しています。これは、グリッドベースのニューラル表現に触発されたものです。さらに、より縮小された畳み込みアーキテクチャを利用することを提案しています。彼らは、フレームごとのフロー表現において、高品質の画像と軽量なニューラルネットワークを生成する生成モデルによってドライブされたグループとポイントワイズの畳み込みを使用しています。FFNeRVは、量子化意識トレーニングとエントロピー符号化を使用した人気のあるビデオコーデック(H.264およびHEVC)を上回り、最先端のビデオ圧縮アルゴリズムと同等の性能を発揮します。コードの実装はNeRVに基づいており、GitHubで利用可能です。

「Rodinに会ってください:さまざまな入力ソースから3Dデジタルアバターを生成する革新的な人工知能(AI)フレームワーク」

生成モデルは、コンピュータサイエンスの多くの困難なタスクに対する事実上の解決策となっています。それらは視覚データの分析と合成のための最も有望な方法の一つを表しています。Stable Diffusionは、複雑な入力プロンプトから美しいリアルな画像を生成するための最もよく知られた生成モデルです。このアーキテクチャはDiffusion Models(DMs)に基づいており、画像と動画に対して驚異的な生成力を示しています。拡散と生成モデリングの急速な進歩が、2Dコンテンツの創造において革命を起こしています。その鍵となる言葉は非常にシンプルです。「それを説明できるなら、それを視覚化できる」ということです。または、さらに良いと言えば、「それを説明できるなら、モデルがそれを描くことができる」ということです。本当に信じられないほど、生成モデルが何ができるかです。 2DコンテンツはDMsにとってストレステストとなることが示されていますが、3Dコンテンツは追加の次元によると限定されないさまざまな課題をもたらします。アバターなどの3Dコンテンツを2Dコンテンツと同じ品質で生成することは、高品質のアバターに必要な豊富な詳細を生成するためのメモリと処理コストが制約となるため、困難な課題です。 技術が映画、ゲーム、メタバース、そして3D産業でデジタルアバターの使用を推進する中、誰でもデジタルアバターを作成できるようにすることは有益です。それがこの研究の進展を促している動機です。 著者たちは、デジタルアバターの作成の問題に対処するために、Roll-out diffusion network(Rodin)を提案しています。モデルの概要は、以下の図に示されています。 モデルへの入力は画像、ランダムノイズ、または望ましいアバターのテキストの説明であることができます。次に、与えられた入力から潜在ベクトルzが導かれ、拡散に使用されます。拡散プロセスは、いくつかのノイズ除去ステップから成り立っています。最初に、ランダムノイズが初期状態または画像に追加され、より鮮明な画像が得られるようにノイズが除去されます。 ここでの違いは、望ましいコンテンツの3D性質にあります。拡散プロセスは通常通り実行されますが、2D画像を対象とする代わりに、拡散モデルはアバターの粗いジオメトリを生成し、詳細合成のための拡散アップサンプラーを生成します。 計算およびメモリの効率性は、この研究の目標の一つです。このため、著者たちはニューラル輝度場の三軸(三軸)表現を利用しました。この表現は、ボクセルグリッドと比較して、記憶フットプリントをかなり小さくすることができるため、表現力を犠牲にすることなく効率性を高めることができます。 次に、別の拡散モデルが訓練され、生成された三面体プレーン表現を望ましい解像度にアップサンプリングします。最後に、4つの完全接続層から構成される軽量なMLPデコーダを利用して、RGBの体積画像を生成します。 以下にいくつかの結果を報告します。 先述の最先端の手法と比較して、Rodinは最も鮮明なデジタルアバターを提供します。モデルでは、他の手法とは異なり、共有されたサンプルにはアーティファクトが見られません。 これは、さまざまな入力ソースから簡単に3Dデジタルアバターを生成するための新しいフレームワークであるRodinの概要でした。興味がある場合は、以下のリンクで詳細情報を見つけることができます。

「Amazon SageMaker StudioでAmazon SageMaker JumpStartを使用して安定したDiffusion XLを利用する」

「今日、私たちはお知らせすることを喜んでいますStable Diffusion XL 1.0(SDXL 1.0)がAmazon SageMaker JumpStartを通じて顧客に利用可能ですSDXL 1.0は、Stability AIからの最新の画像生成モデルですSDXL 1.0の改良点には、さまざまなアスペクト比でのネイティブな1024ピクセルの画像生成が含まれていますプロフェッショナルな使用を目的としており、高解像度に合わせてキャリブレーションされています...」

「テキストゥアをご紹介します:3Dメッシュのテキストゥアリングのための新しい人工知能(AI)フレームワーク」

テキストから画像を生成することは、人工知能(AI)の分野における新しい興味深い研究領域であり、テキストの説明に基づいて現実的な画像を生成することを目指しています。テキストから画像を生成する能力は、アートからエンターテイメントまでさまざまな応用があります。本や映画、ビデオゲームの視覚的な要素を作成するために使用することができます。 テキストから画像を生成する応用の一つは、テクスチャイメージです。これは、布地や表面、素材など、さまざまな種類のテクスチャを表現する画像を作成することを意味します。テクスチャイメージは、コンピュータグラフィックス、アニメーション、仮想現実などで重要な応用があり、リアルなテクスチャはユーザーの没入体験を向上させることができます。 AIの研究のもう一つの興味深い分野は、3Dテクスチャの転送です。これは、3D環境でのオブジェクト間でテクスチャ情報を転送することを意味します。このプロセスにより、ソースオブジェクトからターゲットオブジェクトへのテクスチャ情報の転送によって、真実味のある3Dモデルが作成されます。このアプローチは、製品の視覚化などの分野で利用することができます。 ディープラーニングの技術は、テキストから画像を生成する分野を革新し、高度にリアルで詳細な画像を作成することが可能となりました。深層ニューラルネットワークを使用することで、研究者はテキストの説明に合わせて画像を生成したり、3Dオブジェクト間でテクスチャを転送したりするモデルを訓練することができます。 最近の言語ガイドモデルに関する研究では、よく知られたテキストから画像を生成するモデルである安定拡散を利用してスコア蒸留を行っています。この技術は、大規模なネットワークから小さなネットワークに知識を蒸留することを意味します。小さなネットワークは、最初のネットワークから画像に割り当てられたスコアを予測するために訓練されます。 これらのモデルは以前に使用されていた技術と比べて大幅な改良をもたらしていますが、2Dの対応物に比べて3Dテクスチャの転送プロセスで達成される品質にはまだ十分ではありません。 3Dテクスチャの転送の精度を向上させるために、新しいAIフレームワークであるTEXTureが提案されています。 パイプラインの概要を以下に示します。 出典:https://texturepaper.github.io/TEXTurePaper/static/paper.pdf 上記のアプローチとは異なり、TEXTureは深度条件付きの拡散モデルを利用してレンダリングされた画像に完全なノイズ除去処理を適用します。 テクスチャを適用する3Dメッシュが与えられた場合、核心となるアイデアは、異なる視点から反復的にレンダリングし、深度に基づいたペイントスキームを適用し、アトラスに再投影することです。 ただし、このプロセスを単純に適用するリスクは、生成プロセスの確率的な性質により、非現実的なまたは一貫性のないテクスチャリングが生成されることです。 この問題に対処するために、選択された3Dメッシュは、「保持」「改善」「生成」の領域に分割されます。 「生成」の領域は、地面から塗りつぶす必要のあるオブジェクトの部分を指します。「改善」は、異なる視点からテクスチャを適用し、新しい視点に合わせて調整する必要があるオブジェクトの部分を指します。「保持」は、塗りつぶされたテクスチャを保持する行為を表します。 著者によれば、これらの3つの技術を組み合わせることで、わずか数分で高度にリアルな結果を生成することができます。 著者によって提示された結果は、以下に報告され、最先端の手法と比較されています。 出典:https://texturepaper.github.io/TEXTurePaper/static/paper.pdf これは、TEXTureという新しいAIフレームワークの要約であり、3Dメッシュのテキストガイドテクスチャリングに使用されます。 もし興味がある場合やこのフレームワークについてもっと学びたい場合、論文とプロジェクトページへのリンクがあります。 以下の論文、コード、プロジェクトページをチェックしてください。この研究に関するすべてのクレジットは、このプロジェクトの研究者に帰属します。また、最新のAI研究ニュース、素晴らしいAIプロジェクトなどを共有している、私たちの26k+のML SubReddit、Discordチャンネル、およびメールニュースレターにも参加することを忘れないでください。 効果的な転移学習のためのTensorLeapの活用: ドメインのギャップの克服 この記事「TEXTure:…

この脳AIの研究では、安定した拡散を用いて脳波から画像を再現します

人間の視覚システムと似たように、世界を見て認識する人工システムを構築することは、コンピュータビジョンの重要な目標です。 人工ネットワークのアーキテクチャの特徴を生物学的脳の潜在的表現と比較することで、最近の人口脳活動測定の進歩と深層ニューラルネットワークモデルの実装と設計の改善により、脳活動から視覚画像を再構築することが可能になりました。 たとえば、機能的磁気共鳴イメージング(fMRI)によって検出される脳活動のようなものです。 これは魅力的ですが、脳の基礎となる表現はほとんどわかっておらず、脳データのサンプルサイズが通常小さいため、困難な問題です。 近年の学術研究では、教師なし学習や生成的対抗ネットワーク(GAN)、自己教師あり学習などの深層学習モデルや技術が、これらの課題に取り組むために使用されています。 ただし、これらの試みは、fMRI実験で使用される特定の刺激に対して微調整するか、fMRIデータを使用して新しい生成モデルをトレーニングする必要があります。 これらの試みは、脳科学データの量が少ないことと、複雑な生成モデルの構築に関連する複数の困難により、ピクセルごとの信頼性や意味の信頼性において非常に制約されたパフォーマンスを示しました。 拡散モデル、特に計算資源をあまり必要としない潜在的拡散モデルは、最近のGANの代替手段です。 しかし、LDMはまだ比較的新しいため、内部でどのように機能するかを完全に理解することは困難です。 大阪大学とCiNetの研究チームは、fMRI信号から視覚画像を再構築するためのLDMであるStable Diffusionを使用して、上記で述べた問題に取り組む試みを行いました。 彼らは、複雑な深層学習モデルのトレーニングや調整の必要性を排除し、高解像度で高い意味の信頼性を持つ画像を再構築することができる直感的なフレームワークを提案しました。 この調査で著者が使用したデータセットは、ナチュラルシーンデータセット(NSD)であり、各被験者が10,000枚の画像の3回のリピートを見た間に収集されたfMRIスキャナからのデータを提供しています。 出典:https://www.biorxiv.org/content/10.1101/2022.11.18.517004v2.full まず、著者たちはLatent Diffusion Modelを使用してテキストから画像を作成しました。上の図(上部)では、zは生成された潜在表現であり、cは画像を説明するテキストの潜在表現であり、zcはオートエンコーダによって圧縮された元の画像の潜在表現と定義されています。 デコーディングモデルを分析するために、著者たちは3つのステップに従いました(上の図、中央)。まず、彼らは初期の視覚皮質(青)内のfMRI信号から提示された画像Xの潜在表現zを予測しました。 zはその後、デコーダによって粗い復号化画像Xzを生成するために処理され、次に拡散プロセスを経てエンコードされました。最後に、ノイズのある画像には、高次視覚皮質(黄色)内のfMRI信号からの復号化された潜在テキスト表現cが追加され、zcが作成されました。 zcから、デコーディングモジュールが最終的な再構築画像Xzcを生成しました。このプロセスに必要なトレーニングは、fMRI信号をLDMコンポーネントzc、z、およびcに線形にマッピングすることだけであることを強調しておくことが重要です。 zc、z、およびcから始めると、著者たちはエンコーディング分析を実施し、それらを脳活動にマッピングすることでLDMの内部動作を解釈しました(上の図、下部)。表現から画像を再構築した結果は以下の通りです。 出典:https://www.biorxiv.org/content/10.1101/2022.11.18.517004v2.full 単にzを使用して再作成された画像は、元の画像と視覚的な一貫性を持っていましたが、その意味的な価値は失われました。一方、cを使用して部分的に再構築された画像は、意味的な忠実度が高いが視覚的に不一致な画像を生成しました。zcを使用して回復された画像が高解像度の画像を作成し、意味的な忠実度も高いことで、この方法の妥当性が示されました。 脳の最終解析では、DMモデルに関する新しい情報が明らかになりました。脳の後ろにある視覚皮質では、全ての3つの要素が優れた予測性能を達成しました。特に、zは視覚皮質の後ろにある初期視覚皮質で強力な予測性能を提供しました。また、上部視覚皮質(視覚皮質の前部)でも強力な予測値を示しましたが、他の領域ではより小さな値でした。一方、上部視覚皮質では、cが最も優れた予測性能を示しました。…

「Amazon Transcribe Toxicity Detectionを使用して、会話中の有害な言語をフラグ付けします」

オンラインのソーシャルネットワーキングやオンラインゲームなどの活動が増えるにつれて、しばしば敵意や攻撃的な行動が見られ、それによってヘイトスピーチやサイバーいじめ、嫌がらせなどの不要な表現が引き起こされることがあります例えば、多くのオンラインゲームコミュニティでは、ユーザー間のコミュニケーションをサポートするためにボイスチャット機能を提供していますボイスチャットは通常、友好的なコミュニケーションを促進しますが、

Find the right Blockchain Investment for you

Web 3.0 is coming, whether buy Coins, NFTs or just Coding, everyone can participate.

Advertising with us