Search Results Go

Google Quantum AIの研究者が、拡張性のある量子エラー訂正のための漏洩管理において大きな進展を達成

最近、Google Quantum AIと他の研究機関の研究者がNature Physicsに発表した論文で、量子コンピューティングにおける重要な課題が取り上げられました。具体的には、Googleの量子デバイスにおけるキュビットの感受性、特にビットフリップエラーやフェーズフリップエラーについてのものです。これらのエラーが信頼性のある量子コンピュータの構築を妨げています。量子誤り訂正（QEC）は有望なアプローチですが、ビットフリップエラーやフェーズフリップエラー以外のさまざまなエラー機構により、障害に直面しています。論文では、Googleの量子プロセッサの基盤となる超伝導キュビットであるトランスモンキュビットにおいて、リーク状態と呼ばれる高エネルギーレベルからのエラーの追加的な原因が特定されています。これらのリーク状態は、特に広く使用されているCZゲート操作中に近くのキュビットを破壊し、操作エラーやアルゴリズムの実行を妨げる可能性があります。この課題に対処するため、研究者たちはデータキュビットリーク除去（DQLR）という新しい量子操作を導入しました。DQLRは、データキュビットのリーク状態を特に対象とし、それらを効率的に計算状態に変換します。このプロセスは、CZゲートにインスパイアされた二キュビットゲートであるリークiSWAPに続き、エラーを除去するために測定キュビットを高速にリセットすることを含みます。研究は、DQLRがすべてのキュビットで平均リーク状態の人口を約1％から約0.1％に大幅に減少させることを示しています。重要なことに、DQLRは実装前に観察されたデータキュビットのリークの漸進的な上昇を防ぎます。ただし、研究者たちは、リーク除去だけでは十分ではないと強調しています。彼らは、各サイクルの最後にDQLRを交互に挿入した量子誤り訂正（QEC）実験を実施し、論理的な量子状態の保存との互換性を確保しました。その結果、検出確率メトリックが著しい改善を示し、成功したQECの実行を示しています。さらに、DQLRはリーク除去の効果的な手法である測定リーク除去（MLR）よりも優れており、保存された量子状態を消去することもありません。結論として、DQLRは大規模なQEC実験において有望であり、リーク以外のエラー機構と、より大きなトランスモングリッドにおけるリークへの感度の増加を予期しています。研究者たちは、リークとそれに関連するエラーの理解と効果的な対処が、トランスモンキュビットの大規模なグリッド上でのサーフェスコードQECプロトコルの実現における重要な一歩であると考えています。研究者たちは、DQLR操作を導入することでリーク状態を効率的に除去し、QECプロセスの安定性を向上させる手段を提案しました。その結果、信頼性のある機能的な量子コンピュータの達成への有望な道筋が示されています。

「Googleの ‘隠された’ 生成型AI画像作成ツールにアクセスする方法」

GoogleのジェネレーティブAI画像作成機能を検索で利用する方法無料で実験バージョンにアクセスするには、ChatGPT DALLEを使います

Google AIは、『AltUp（Alternating Updates）』というアートフィシャルインテリジェンスの手法を導入しましたこれは、トランスフォーマーネットワークのスケールの拡大を利用するための手法であり、計算コストを増やさずに行われます

ディープラーニングにおいて、トランスフォーマーニューラルネットワークは、自然言語処理やコンピュータビジョン、ロボティクス、自動運転などの新興アプリケーションを含め、さまざまなドメインでの有効性に対して注目を集めています。ただし、パフォーマンスの向上に伴い、これらのモデルの規模がますます拡大することで、計算コストと推論遅延が大幅に増加します。大規模なモデルの利点を享受する際に、実用上の計算負荷をもたらさないような困難が存在します。特にトランスフォーマーモデルを含むディープラーニングモデルの現在の状況は、さまざまな領域で著しい進歩を示しています。ただし、増加した計算要件により、これらのモデルのスケーラビリティを向上させる必要がある場合があります。従来の取り組みは、Switch Transformer、Expert Choice、V-MoEなど、スパース混合専門家モデルによって示されるように、ネットワークパラメータの効率的なスケーリングや入力あたりの計算の増加を軽減することに主に焦点を当ててきました。ただし、トークン表現の次元自体のスケーリングに関する研究上の課題が存在します。ここで、この課題を解決するために導入された新しい方法であるAltUpが登場します。 AltUpは、計算のオーバーヘッドを増やさずにトークン表現を拡張する方法を提供することで際立っています。この方法では、拡張された表現ベクトルを等しいサイズのブロックに分割し、各層で1つのブロックのみを処理します。AltUpの有効性の核心は、処理されていないブロックの推論を可能にする予測-訂正メカニズムにあります。直接的な拡張に伴う計算量の二次的な増加を回避することで、モデルの次元を維持しながら、AltUpは、より大きなTransformerネットワークによってもたらされる計算上の課題に対する有望な解決策として浮上しています。 AltUpのメカニズムは、トークン埋め込みの複雑さに深く入り込み、計算の複雑さを増やさずにトークン表現を拡張する方法を検討しています。この方法は以下の手順で行われます: ブロックの1x幅トランスフォーマーレイヤーを呼び出します。「アクティブ」ブロックと呼ばれます。同時に軽量な予測子を使用します。この予測子は、すべての入力ブロックの重み付き組み合わせを計算し、予測値と活性化されたブロックの計算値は、軽量な修正子を介して修正されます。この修正メカニズムにより、非活性なブロックは活性化されたブロックに基づいて更新されます。重要なのは、予測と修正のステップの両方が、通常のトランスフォーマーレイヤーよりもはるかに高速なベクトルの加算と乗算を必要としないということです。 T5モデルに対するAltUpの評価は、同じ精度で密なモデルを上回る一貫した能力を示しています。特に、AltUpで拡張されたT5ラージモデルは、GLUE、SuperGLUE、SQuAD、Trivia-QAの各ベンチマークで、それぞれ27%、39%、87%、29%の著しいスピードアップを実現しています。AltUpの相対的な性能向上は、モデルのサイズが大きくなるにつれてより顕著になり、スケーラビリティと向上した効果を強調しています。 AltUpは、Transformerニューラルネットワークの効率的なスケーリングアップの長年の課題に対する注目すべき解決策として浮上しています。計算コストの比例的な増加を伴わずにトークン表現を拡張する能力は、さまざまなアプリケーションにおいて重要な約束を持っています。AltUpの革新的なアプローチは、分割と予測-訂正メカニズムを特徴とし、大きなモデルの利点を活用するための現実的な方法を提供します。計算要求に適しています。研究者たちによるAltUpの拡張であるRecycled-AltUpは、提案された手法の適応性をさらに示しています。初期トークンの埋め込みを広げる代わりに、再現埋め込みによってRecycled-AltUpは、認識可能な遅延を引き起こすことなく、事前学習パフォーマンスの厳格な改善を示しています。AltUpとMoEのような他のテクニックとのシームレスな統合を伴うこの二重アプローチは、その多様性を具現化し、トレーニングとモデルのパフォーマンスのダイナミクスを探求するための将来的な研究の可能性を開いています。 AltUpは、Transformerネットワークの効率的なスケーリングの追求における画期的なものであり、モデルのサイズと計算効率のトレードオフに対する魅力的な解決策を提供しています。この論文で述べられているように、研究チームの貢献は、大規模なTransformerモデルをさまざまな応用によりアクセス可能で実用的なものにするための重要な一歩です。

Google DeepMindの研究者たちは、人工汎用知能（AGI）モデルとそれらの前身の能力と行動を分類するためのフレームワークを提案しています

人工知能（AI）と機械学習（ML）モデルの最近の進歩により、人工汎用知能（AGI）の議論は直ちに実際的な重要性を持つ問題になりました。コンピュータ科学において、人工汎用知能またはAGIは、人間と同等以上に幅広いタスクを実行できる人工知能システムを指す重要な概念です。機械学習モデルの能力が進化するにつれて、AGIモデルとその前身の行動を分類し理解するための形式的なフレームワークがますます必要とされています。最近の研究では、Google DeepMindの研究チームが、自動運転のレベルと同様のシステム的なアプローチを作成するために、「AGIのレベル」というフレームワークを提案しました。このフレームワークは、自律性、一般性、パフォーマンスという3つの重要な次元を導入しています。このアプローチは、モデルを比較し、リスクを評価し、人工知能への進展を追跡するための共通の用語を提供しています。研究チームは、実用的なAGIオントロジーに必要と思われる6つのアイデアを抽出するために、以前のAGIの定義を分析しました。提案されたフレームワークの開発は、メカニズムではなく能力に焦点を当てる重要性を示すこれらの原則によって案出されました。これには、一般性とパフォーマンスの独立した評価、およびAGIへの移行時の終了目標だけでなく、ステップの特定も含まれます。研究者たちは、AGIフレームワークのレベルは、パフォーマンスである「深さ」と能力の一般性である「幅広さ」という2つの基本的な側面を中心に構築されたと述べています。このフレームワークは、これらの特徴に基づいてAGIを分類することで、人工知能システムのダイナミックな環境を理解するのを容易にします。パフォーマンスと一般性の両方の能力の異なる程度に対応するステップを示しています。研究チームは、既存のAIシステムが提案されたアプローチにどのように適合するかを評価する際に関わる困難さと複雑さについても認識しました。また、AGIモデルの能力と行動を既定の閾値と比較するために正確に測定するために必要な将来のベンチマークについても議論しました。開発の評価、開発の必要な領域の特定、およびAIテクノロジーの明確かつ測定可能な進展を保証するために、ベンチマーキングへの焦点を当てることは重要です。フレームワークは、技術的な考慮事項に加えて、リスクと自律性という特定の導入上の懸念も考慮に入れています。展開要因とAGIレベルの複雑な関係を強調することで、研究チームは人間-AIの相互作用のパラダイムを注意深く選択することがいかに重要かを強調しました。高い能力を持つAIシステムの実装における倫理的側面も、方法論的で慎重なアプローチを求めるこの責任ある安全な展開への強調によって強調されています。結論として、AGIの行動と能力の分類に関する提案された分類スキームは綿密でよく考慮されたものです。フレームワークは人間中心のコンテキストへの責任ある安全な統合の必要性を強調し、AGIシステムの開発および展開を評価し、比較し、誘導するための構造化された方法を提供しています。

Google Translateが同音異義語を認識する方法を教えた方法

Google Translateのニューラルモデルがベースとベースの違いを理解する方法

「画像認識の再構想：GoogleのVision Transformer（ViT）モデルが視覚データ処理のパラダイムシフトを明らかにする」

画像認識において、研究者や開発者は常に革新的なアプローチを追求してコンピュータビジョンシステムの精度と効率を向上させようとしています。伝統的に、畳み込みニューラルネットワーク（CNN）は画像データの処理に使用されるモデルとして主要な選択肢であり、意味のある特徴を抽出し視覚情報を分類する能力を活用してきました。しかし、最近の進展により、トランスフォーマベースのモデルを視覚データ分析に統合することが促進され、代替アーキテクチャの探求が行われるようになりました。そのような画期的な進展の一つが、ビジョントランスフォーマ（ViT）モデルであり、画像をパッチのシーケンスに変換し、標準のトランスフォーマエンコーダを適用して価値ある洞察を視覚データから抽出する方法を再考しています。セルフアテンションメカニズムを活用し、シーケンスベースの処理を利用することで、ViTは画像認識に新しい視点を提供し、伝統的なCNNの能力を超え、複雑な視覚課題の効果的な処理に新たな可能性を拓いています。 ViTモデルは、2D画像をフラット化された2Dパッチのシーケンスに変換することで、画像データの処理において伝統的な理解を再構築し、元々自然言語処理（NLP）タスクで考案された標準的なトランスフォーマーアーキテクチャを適用します。各層に焼きこまれた画像固有の帰納バイアスに大きく依存するCNNとは異なり、ViTはグローバルなセルフアテンションメカニズムを活用し、モデルが効果的に画像シーケンスを処理するための一定の潜在ベクトルサイズを使用します。また、モデルの設計では学習可能な1D位置埋め込みを統合し、埋め込みベクトルのシーケンス内で位置情報を保持することが可能になります。さらに、ViTはCNNの特徴マップからの入力シーケンス形成を受け入れるハイブリッドアーキテクチャを通じて、異なる画像認識タスクに対する適応性と汎用性を向上させます。提案されたビジョントランスフォーマ（ViT）は、画像認識タスクでの優れたパフォーマンスを示し、精度と計算効率の面で従来のCNNベースのモデルに匹敵します。セルフアテンションメカニズムとシーケンスベースの処理の力を活かして、ViTは画像データ内の複雑なパターンと空間関係を効果的に捉え、CNNに内在する画像固有の帰納バイアスを超越します。モデルの任意のシーケンス長の処理能力と画像パッチの効率的な処理により、ViTはImageNet、CIFAR-10/100、Oxford-IIIT Petsなどの人気のある画像分類データセットを含むさまざまなベンチマークで優れた結果を収めることができます。研究チームによって実施された実験は、JFT-300Mなどの大規模データセットで事前学習を行った場合、ViTが最先端のCNNモデルを圧倒し、事前学習には大幅に少ない計算リソースを使用することを示しています。さらに、モデルは自然な画像分類から幾何学的理解を必要とする特殊なタスクまで幅広いタスクを扱う能力を示し、堅牢かつスケーラブルな画像認識ソリューションとしての潜在能力を確立しています。まとめると、ビジョントランスフォーマ（ViT）モデルは、Transformerベースのアーキテクチャの力を活用して視覚データを効果的に処理する、画像認識における画期的なパラダイムシフトを提案しています。伝統的な画像解析アプローチを再構築し、シーケンスベースの処理フレームワークを採用することにより、ViTは従来のCNNベースのモデルを上回るパフォーマンスを示し、計算効率を維持しながら、さまざまな画像分類ベンチマークで優れた結果を収めます。グローバルなセルフアテンションメカニズムと適応的なシーケンス処理を活用することにより、ViTは複雑な視覚タスクを処理するための新たな展望を開き、コンピュータビジョンシステムの未来に向けた有望な方向性を提供します。

Google AIは、埋め込みモデルのスケーラビリティの利点と、クロスアテンションモデルの品質を効果的に組み合わせた新しいクラスタリングアルゴリズムを紹介します

画像：クラスタリングは、データマイニングや教師なし機械学習の領域で基本的かつ広範な課題として用いられています。その目的は、似たアイテムを異なるグループにまとめることです。クラスタリングには2つのタイプがあります：メトリッククラスタリングとグラフクラスタリングです。メトリッククラスタリングでは、データ点間の距離を設定する特定のメトリック空間を使用します。これらの距離は、データ点をグループ化するための基準となります。一方、グラフクラスタリングでは、類似したデータ点をエッジで結ぶ与えられたグラフを使用します。クラスタリングプロセスは、これらのデータ点を結ぶ関係に基づいてデータ点をグループ化します。 BERTやRoBERTaなどの埋め込みモデルを用いてメトリッククラスタリング問題を定式化するクラスタリング戦略もあります。また、他のアプローチとして、PaLMやGPTなどのクロスアテンション（CA）モデルを使用してグラフクラスタリング問題を確立する方法があります。CAモデルは非常に正確な類似性スコアを提供できますが、入力グラフの構築にはモデルへの推論呼び出しの二乗の数が必要となる場合があります。一方、埋め込みモデルによって生成される埋め込み間の距離は、効果的なメトリック空間を定義することができます。研究者たちは、「KwikBucks: Correlation Clustering with Cheap-Weak and Expensive-Strong Signals」というクラスタリングアルゴリズムを提案しました。この革新的なアルゴリズムは、埋め込みモデルの拡張性の利点とCAモデルが提供する優れた品質をうまく組み合わせています。グラフクラスタリングのためのアルゴリズムは、CAモデルと埋め込みモデルの両方にクエリアクセスを持っていますが、CAモデルへのクエリ数に制約が課せられています。このアルゴリズムでは、CAモデルをエッジクエリに対応するために使用し、埋め込みモデルからの類似性スコアに無制限アクセスを活用します。このプロセスは、まず非類似のエッジを共有しないセンターと呼ばれるドキュメントのセットを特定し、それらのセンターに基づいてクラスタを作成することから始まります。また、高品質な情報を提供するCross-Attention（CA）モデルと埋め込みモデルの効果的な操作をバランスさせるために、コンボ類似性オラクルと呼ばれる手法が提示されています。この手法では、埋め込みモデルを使用してCAモデルに対してクエリを適切に指示します。センターの集合とターゲットドキュメントが与えられた場合、コンボ類似性オラクルメカニズムは、ターゲットドキュメントと類似性が存在する場合にセットからターゲットドキュメントに類似したセンターを特定することで出力を生成します。このコンボ類似性オラクルは、センターの選択とクラスタの形成時にCAモデルへのクエリ呼び出しの数を制限することで、割り当てられた予算を節約するのに役立ちます。これは、まず埋め込みの類似性に基づいてセンターをランキングし、その後CAモデルに識別されたペアのクエリを行うことによって達成されます。初期のクラスタリングに続いて、クラスタは統合されるという後処理のステップも行われます。統合は、2つのクラスタ間で強い接続が確認された場合に行われます。具体的には、接続エッジの数が2つのクラスタ間の欠落エッジの数を超える場合に行われます。研究者たちは、さまざまな特徴を持ついくつかのデータセットでアルゴリズムをテストしました。アルゴリズムのパフォーマンスは、埋め込みとクロスアテンションに基づくさまざまなモデルを使用して、2つの最も優れたベースラインアルゴリズムと比較してテストされました。提案されたクエリ効率の高い相関クラスタリングアプローチは、クロスアテンション（CA）モデルと予算制限内のクラスタリング機能のみを使用します。このため、k最近傍グラフ（kNN）を使用して、スペクトラルクラスタリングを適用します。各頂点のk最近傍ノードをCAモデルにクエリするための埋め込みベースの類似性を使用して、このグラフを作成します。評価では、適合率と再現率の計算が行われます。適合率は、共にクラスタリングされたペアのうち類似なペアの割合を示し、再現率は、共にクラスタリングされた類似ペアの割合を示します。

Learn more about Search Results Go - Page 8

Google Quantum AIの研究者が、拡張性のある量子エラー訂正のための漏洩管理において大きな進展を達成

「Googleの ‘隠された’ 生成型AI画像作成ツールにアクセスする方法」

Google DeepMindの研究者たちは、人工汎用知能（AGI）モデルとそれらの前身の能力と行動を分類するためのフレームワークを提案しています

Google Translateが同音異義語を認識する方法を教えた方法

「画像認識の再構想：GoogleのVision Transformer（ViT）モデルが視覚データ処理のパラダイムシフトを明らかにする」

Google AIは、埋め込みモデルのスケーラビリティの利点と、クロスアテンションモデルの品質を効果的に組み合わせた新しいクラスタリングアルゴリズムを紹介します

「AI革命の背後には Paige BaileyがGoogleのPaLM 2などについて話す」

「AIコーディング：Google Bardは優れたPython開発者ですか？」

「Google Bard vs. ChatGPT ビジネスにおいてどちらのツールが優れているのか？」

Find the right Blockchain Investment for you