Search Results 重ね合わせ

『完全な初心者のための量子コンピューティング』

「地球の資源に対する人類の支配の数千年ぶりを、人新世と形容する者もいるこの言葉は、ギリシャ語の「anthropo」で人間を意味し、「cene」で最近を意味するものである最後の...」

UCバークレーの研究者たちは、「リングアテンション：トランスフォーマーのメモリ要件を削減するためのメモリ効率の良い人工知能アプローチ」という提案を行っています

ディープラーニングモデルアーキテクチャの一種であるTransformerは、多くの最先端のAIモデルの文脈で使われます。これらは人工知能の分野を革新しました、特に自然言語処理や機械学習のさまざまなタスクにおいて。予測を行う際に、モデルは入力シーケンスの異なる部分の重要性を重さ付けする自己注意メカニズムに基づいています。これらはエンコーダとデコーダからなり、入力を処理します。ただし、Transformerのコンテキストの長さを拡張するのは多くの作業が必要です。これは、負荷のかかる自己注意のためです。自己注意は、入力シーケンスの長さに平方比例するメモリのコストを持ち、長い入力シーケンスにスケールすることは困難になります。UCバークレイの研究者たちは、この問題に対処するために、シンプルな観察に基づいた「リングアテンション」と呼ばれる方法を開発しました。彼らは、自己注意とフィードフォワードネットワークの計算をブロックごとに行い、シーケンスを複数のデバイスに分散して容易に解析できることを観察しました。彼らは、ブロックごとの注意をホスト間で分散し、各デバイスが指定された入力ブロックに特化したブロックごとの注意とフィードフォワード操作を計算します。彼らのホストデバイスは概念的なリングを形成し、リング内の次のデバイスにブロックごとの計算に使用されているキー-値ブロックのコピーを送信します。同時に前のデバイスからキーバリューブロックを受信します。ブロック計算にはブロック転送よりも長い時間がかかります。研究チームはこれらのプロセスを重ね合わせ、通常のTransformerと比較して追加のオーバーヘッドが発生しませんでした。これにより、各デバイスには元の入力シーケンスの長さに依存しないブロックサイズに比例したメモリのみが必要となります。これにより、個々のデバイスによって課せられるメモリ制約がなくなります。実験の結果、リングアテンションにより、従来の効率的なメモリ使用状態を持つ最先端のTransformerよりも500倍以上長いシーケンスに対してトレーニングを行うことができることが示されました。この方法では、アテンションの近似を行わずに、1億以上の長さのシーケンスをトレーニングすることも可能です。また、リングアテンションにより、個々のデバイスによって課せられるメモリ制約をなくすことで、ほぼ無限のコンテキストサイズを実現することもできます。ただし、シーケンスの長さはデバイスの数に比例するため、多くのデバイスが必要になります。この研究では、大規模なトレーニングモデルは含まれていません。コンテキストの長さはデバイスの数に依存するため、モデルの効率性は最適化に依存します。研究者たちは将来的には最大シーケンス長と最大コンピューターパフォーマンスの両方に取り組みたいと述べています。無限に近いコンテキストの可能性により、大規模なビデオオーディオ言語モデル、拡張されたフィードバックとトライアンドエラーからの学習、コードベースの理解と生成、および遺伝子配列などの科学データを理解するためのAIモデルの適応など、多くの興味深い機会が生まれます。

「7つの新興量子テクノロジーの探求（2024）」

「2024年を形作る7つの量子テクノロジーを発見する：量子機械学習、クラウドコンピューティング、AI、暗号化、イメージング、気候モデリング」

Tech

世界のトップ10量子コンピューティング企業（2024年）

この記事にリストされているトップ10の量子コンピューティング企業は、量子コンピューティングの分野が急速に変化している中、この技術革命の最前線に立っています

Tech

キュービットマジック：量子コンピューティングで神話の生物を創造する

しかし、少しの創造力を持つことで、私たちは多くの印象的な偉業を成し遂げることができますその一つに、魅力的な能力であるイメージや音楽の生成がありますそして、この記事では—神話上の生物の可視化が含まれます！

「AIおよびARはデータ需要を推進しており、オープンソースハードウェアはその課題に応えています」

「データはデジタル経済の命脈であり、新しい技術が現れ進化するにつれて、データセンターにおける高速データ転送速度、低い遅延時間、高い計算能力への需要が指数関数的に増加しています新しい技術はデータの伝送と処理の限界を押し広げており、オープンソース技術の採用はデータセンターの運用者にとって有益です[…]

「LLMの利点：電子商取引の検索を変革する」

「LLMの優れた能力は、さまざまなビジネス領域で数多くの課題に取り組む上で、顕著な成果を上げています知識発見に関連する高度な成果は、...」

スタンフォード大学の研究者たちは、「Protpardelle」という画期的な全原子拡散モデルを導入しましたこれは、タンパク質の構造と配列を共同設計するためのものです

タンパク質設計の驚くべき進展として、研究チームが連続的なと離散的なタンパク質構造の複雑な相互作用に対処するオールアトム拡散モデル「Protpardelle」を発表しました。このモデルは、品質、多様性、革新性に優れたタンパク質を生成する画期的な成果を達成し、従来の分野の枠組みを超えています。タンパク質は生物学的な機能の要となり、正確な化学的相互作用を通じてさまざまな重要なプロセスを組織化します。課題は、効果的なタンパク質設計を可能にするため、主に側鎖によって支配されるこれらの相互作用を正確にモデリングすることにあります。Protpardelleは、さまざまな潜在的な側鎖状態を包括し、それらを後退拡散の開始に崩壊させるユニークな「重ね合わせ」技術を利用しています。 Protpardelleは、配列設計手法とシナジーを発揮し、オールアトムタンパク質構造と配列の共同設計を先駆的に行っています。その結果、設計されたタンパク質は、自己整合性を評価する広く受け入れられている指標によって評価される優れた品質を示します。この指標は、設計された配列の構造的な形状を予測し、予測された構造とサンプルされた構造との一致を測定します。Protpardelleは、既存の手法と比較して、300残基までのタンパク質に対して90％以上の成功率を一貫して達成し、設計可能性の飛躍的な向上を示しています。さらに、これを効率的に行うための計算コストを大幅に削減しています。多様性は生成モデルの重要な特徴であり、モードの崩壊を防ぎ、実行可能な解のスペクトルを広げる役割を果たします。Protpardelleはこの点で優れており、サンプルをクラスタリングして構造の多様性の豊かな風景を明らかにします。α型およびβ型の幅広い構造のタンパク質を生成する能力は、その多用途性を示しています。重要なことに、Protpardelleはトレーニングデータセットの制約に縛られていません。トレーニングセット内のタンパク質とは異なる新しいタンパク質を生成する能力は、未踏の領域に踏み込む可能性を示しています。オールアトムモデルのProtpardelleは、特に150残基までのタンパク質の無条件の生成において、その能力を発揮します。ここでは、構造の類似性指標によって評価された成功率が約60％に達します。サンプルの視覚的な検査は、2次構造要素で飾られた多様なタンパク質の折り畳みの多様な配列を示しています。 Protpardelleは、生成されたサンプルの化学的な整合性を維持し、天然のタンパク質で観察される結合長と角度の分布に一致します。モデルは、サイ角の天然分布の主なモードを巧みに捉え、側鎖の振る舞いを包括的に描き出します。 Protpardelleの非凡な能力を支えるチームのネットワークアーキテクチャは、戦略的に設計されたレイヤーとアテンションヘッドを備えたU-ViT構造を組み込んでいます。ノイズコンディショニングは、訓練プロセスに重要な情報を注入する役割を果たします。モデルは、その基盤の堅牢性を証明するCATH S40データセットで綿密にトレーニングされています。 Protpardelleのユニークなノイズ除去ステップは、そのサンプリングプロセスの重要な要素であり、最適な結果を得るためのパラメータを微調整します。 Protpardelleの登場は、バイオテクノロジーと製薬の未曽有の可能性への扉を開く、タンパク質設計におけるパラダイムシフトを示しています。構造と配列を組み合わせることによってタンパク質エンジニアリングを革新する潜在能力は、この分野における新たな時代の到来を予示しています。研究者がその無限の可能性を探求し続ける中で、Protpardelleはタンパク質設計とエンジニアリングの景観を変える準備が整っています。

「ウィーンのオープンデータポータルを利用した都市緑地の平等性の評価」

特に、最近専門家や地方自治体の間で関心が高まっている都市開発の問題を提起しますこの問題は、緑の平等として知られる概念に関連しています

Learn more about Search Results 重ね合わせ - Page 2