Learn more about Search Results 16 - Page 205

原子力輸送船のAI推進帆のテスト

英国の使用済み核燃料輸送船団は、燃料費と排出物を減らすために、人工知能による帆を備えた改装を目指しています

人間の脳プロジェクトによるマッピングは、神経受容体の組織に関する理解を進める

「ヒューマンブレインプロジェクトの科学者たちは、新たなマッピングを通じて、脳内の神経伝達物質受容体の配置に関する新しい知見を得ました」

ロボットは人間と同じく植物を育てることができますが、より少ない量の水を使用します

カリフォルニア大学バークレー校の研究者たちは、人間と同じように植物を育てることができ、より多くの水を節約することができるロボット園芸家を開発しました

ディープフェイクビデオを出し抜く

「真実を探し求める時、現実を歪めることが驚くほど簡単になっている」という言葉を訳すと、「真実を求める際に、現実を驚くほど歪めることが簡単になっている」となります

チャットボットの台頭

ボットがますます巧妙な嘘つきになっているときに、真実を追跡するにはどうすればよいですか？

マイクロソフトは、奇妙な新しい粒子が量子コンピュータを改善する可能性があると発表しています

マイクロソフトの研究者たちは、Majoranaゼロモードと呼ばれる難捉える準粒子を作成したと発表していますが、企業外の科学者たちは懐疑的です

AIをトレーニングするために雇われた人々が、AIに仕事を外注している…

これは、既にエラーが多いモデルにさらにエラーを導入する可能性のある実践です

はじめに Transformerモデルについて詳しく学ぶ良い方法は、アテンションメカニズムについて学ぶことです。特に他のタイプのアテンションメカニズムを学ぶ前に、マルチヘッドアテンションについて学ぶことは良い選択です。なぜなら、この概念は少し理解しやすい傾向があるためです。アテンションメカニズムは、通常の深層学習モデルに追加できるニューラルネットワークレイヤーと見なすことができます。これにより、重要な部分に割り当てられた重みを使用して、入力の特定の部分に焦点を当てるモデルを作成することができます。ここでは、マルチヘッドアテンションメカニズムを使用して、アテンションメカニズムについて詳しく見ていきます。学習目標アテンションメカニズムの概念マルチヘッドアテンションについて Transformerのマルチヘッドアテンションのアーキテクチャ他のタイプのアテンションメカニズムの概要この記事は、データサイエンスブログマラソンの一環として公開されました。アテンションメカニズムの理解まず、この概念を人間の心理学から見てみましょう。心理学では、注意は他の刺激の影響を除外して、イベントに意識を集中することです。つまり、他の注意を引くものがある場合でも、私たちは選択したものに焦点を合わせます。注意は全体の一部に集中します。これがTransformerで使用される概念です。彼らは入力のターゲット部分に焦点を当て、残りの部分を無視することができます。これにより、非常に効果的な方法で動作することができます。マルチヘッドアテンションとは？マルチヘッドアテンションは、Transformerにおいて中心的なメカニズムであり、ResNet50アーキテクチャにおけるskip-joiningに相当します。場合によっては、アテンドするべきシーケンスの複数の他の点があります。全体の平均を見つける方法では、重みを分散させて多様な値を重みとして与えることができません。これにより、複数のアテンションメカニズムを個別に作成するアイデアが生まれ、複数のアテンションメカニズムが生じます。実装では、1つの機能に複数の異なるクエリキー値トリプレットが表示されます。出典：Pngwing.com 計算は、アテンションモジュールが何度も反復し、アテンションヘッドとして知られる並列レイヤーに組織化される方法で実行されます。各別のヘッドは、入力シーケンスと関連する出力シーケンスの要素を独立して処理します。各ヘッドからの累積スコアは、すべての入力シーケンスの詳細を組み合わせた最終的なアテンションスコアを得るために組み合わされます。数式表現具体的には、キーマトリックスとバリューマトリックスがある場合、値をℎサブクエリ、サブキー、サブバリューに変換し、アテンションを独立して通過させることができます。連結すると、ヘッドが得られ、最終的な重み行列でそれらを組み合わせます。学習可能なパラメータは、アテンションに割り当てられた値であり、各パラメータはマルチヘッドアテンションレイヤーと呼ばれます。以下の図はこのプロセスを示しています。これらの変数を簡単に見てみましょう。Xの値は、単語埋め込みの行列の連結です。行列の説明クエリ：シーケンスのターゲットについての洞察を提供する特徴ベクトルです。クエリは、何がアテンションを必要としているかをシーケンスに要求します。キー：要素に含まれるものを説明する特徴ベクトルです。クエリによってアテンションが与えられ、要素のアイデンティティを提供します。値:…

Plotlyの3Dサーフェスプロットを使用して、地質表面を視覚化する

地球科学の分野においては、地下に存在する地質層の完全な理解が不可欠です層の正確な位置と形状を知ることで、...

Find the right Blockchain Investment for you

Web 3.0 is coming, whether buy Coins, NFTs or just Coding, everyone can participate.

Advertising with us