Search Results EU

Google Researchがジェネレーティブな無限語彙トランスフォーマー（GIVT）を発表 – AIにおける先駆的な実数値ベクトルシークエンス

トランスフォーマーは最初に導入され、自然言語処理の主要なアーキテクチャとして急速に台頭しました。最近では、コンピュータビジョンでも非常に人気があります。Dosovitskiyらは、画像をパッチのシーケンスに分割し、それらのパッチを線形に埋め込み、その結果得られる特徴のシーケンスをトランスフォーマーエンコーダに供給することで、CNNベースのアーキテクチャに勝る効果的な画像分類器を作成する方法を示しました。セグメンテーション、検出、および分類などの多くの区別的なビジョンタスクにおいて、このアプローチは現在の標準です。ただし、生成トランスフォーマーデコーダはある事前定義された有限のボキャブラリーから離散的なトークンを消費して予測するため、画像を（非量子化された）特徴ベクトルのシーケンスにマッピングすることは、トランスフォーマーベースの画像生成には適切ではありません。このような構造は自然言語に自然に適合し、デコーダーモデル単体では、効果的なトレーニングがインストラクターフォースと強力な連続生成モデリングを介して可能です。最近の取り組みでは、ベクトル量子化変分オートエンコーダ（VQ-VAE）を使用して画像を離散トークンのシーケンスにマッピングし、その後、トランスフォーマーデコーダを使用して潜在的な離散トークンの分布をモデル化するための手法を採用しています。このアプローチは、画像を利用した多走的生成モデルも容易にします。しかし、2段階のメソッドは画像とマルチモーダルコンテンツの作成には適していますが、いくつかの問題があります。 VQ-VAE内のボキャブラリーサイズによって、潜在的なモデリングや画像の細部調整の調整が困難になるため、潜在的なコードの情報量が減少します。また、トークンを使用して密度予測や低レベルの区別的なタスクにトークンを使用するアプリケーションの品質にも影響を与えます。ボキャブラリーサイズの拡大はこの問題の解決に役立ちますが、それによってボキャブラリーの使用が不十分になる場合があります。したがって、高品質なVQ-VAEセットアップでは、エントロピー損失やコードブックの分割などの洗練された方法に頼る必要があります。さらに、巨大なボキャブラリーは記憶容量を多く消費する埋め込み行列をもたらし、異なるモダリティのボキャブラリーが混在するマルチモーダルシナリオでは、問題が発生する可能性があります。研究チームは、これらの問題を回避するために、デコーダーモデルを変更して、離散的なトークンと、したがって、固定された有限のボキャブラリーを必要としない連続した実数値のベクトルシーケンスで動作する生成トランスフォーマーデコーダを提案しています。特に、Google DeepMindとGoogle Researchの研究チームは、実数値のベクトルシーケンスを用いて機能する生成型無限ボキャブラリートランスフォーマー（GIVT）を提案しています。実数値のベクトルは無限ボキャブラリーと見なすことができるため、研究チームはこれをGIVTと呼んでいます。図1に示されているように、研究チームはトランスフォーマーデコーダの設計をわずかに変更しました（合計2つの変更）。1）入力では、研究チームは離散的なトークンの代わりに連続した実数値のベクトルシーケンスを線形に埋め込む。2）出力では、研究チームは有限のボキャブラリー上のカテゴリカル分布のパラメータを予測するのではなく、連続した実数値のベクトル上の連続した分布のパラメータを予測します。研究チームは、教師強制と因果関係注意マスクを使用してこのモデルをトレーニングしました。また、研究チームはMaskGITに類似した高速進行マスクバイダイレクショナルモデリングも調査しました。図1は、連続した無限ボキャブラリーのバリエーション（右側のGIVT）を典型的な離散トークン生成トランスフォーマー（左側）と比較するための同じデコーダーモデルを使用しています。 GIVTは、入力時に斜めに並んだ連続した実数値ベクトルのシーケンスで離散トークンを置き換えます。有限のボキャブラリー上のカテゴリカル分布を予測する代わりに、GIVTは出力時に連続した実数値ベクトル上の連続した分布のパラメータを予測します。高解像度の画像を平坦化して生成されるRGBピクセルの系列は、理論的には任意の特徴ベクトルの系列にGIVTを適用することができるものの、直接的にモデル化するのは難しい例です。それは長くて複雑な分布を持っていることもあります。したがって、研究チームはまず、ガウス事前VAEを使用して低次元の潜在空間をトレーニングし、次にGIVTでモデル化します。これは、VQ-VAEと類似した2段階のテクニックに似ています。研究チームはまた、シーケンスモデリングの文献からいくつかの推論戦略（温度サンプリングや分類器フリーガイディングなど）を転用しました。注目すべきは、実数値トークンだけを使って、これによってVQベースの技術と同等か優れたモデルが生成されることです。以下に彼らの主な貢献を簡潔に述べます： 1. UViMを使用して、研究チームはGIVTが密な予測タスク（セマンティックセグメンテーション、深度推定、ピクチャーシンセシスなど）において、通常の離散トークン変換デコーダーよりも同等または優れたパフォーマンスを達成することを示しています。 2. 研究チームは、連続ケースにおける従来のサンプリング方法の効果（温度サンプリング、ビームサーチ、分類器フリーガイディング）の派生と有効性を導き出し、証明しました。 3. KL項の重み付けを使用して、研究チームはVAE潜在空間の正規化レベルと現れるGIVTの特性との関連性を検討しました。研究チームは、VQ-VAE文献の洗練されたトレーニング方法（潜在表現への補助損失、コードブックの再初期化、専用の最適化アルゴリズムなど）はVAEおよびGIVTのトレーニングでは使用されていないことを強調しており、単純に通常の深層学習ツールボックスのアプローチに依存していると述べています。

「エキスパートのミックスについて解説」

ミクストラル8x7Bのリリース（発表、モデルカード）により、トランスフォーマのクラスがオープンAIコミュニティで最も話題となっています。それがエキスパートの混合（Mixture of Experts、略してMoEs）です。このブログ記事では、MoEsの構成要素、トレーニング方法、および推論時の考慮事項について見ていきます。さあ、深く掘り下げてみましょう！目次ミクストラルとは何ですか？ MoEsの簡潔な歴史スパース性とは何ですか？ MoEsのトークンのロードバランシング MoEsとトランスフォーマスイッチトランスフォーマルータZ損失によるトレーニングの安定化エキスパートは何を学ぶのですか？エキスパートの数をスケーリングすると事前トレーニングにどのような影響を与えるのですか？ MoEsの微調整スパースMoEsと密なモデルの使用時期はいつですか？ MoEsを効果的に活用するためにエキスパート並列処理能力係数と通信コストサービングテクニック効率的なトレーニングオープンソースのMoEs ワークのエキサイティングな方向性いくつかのリソース…

メタAIは、リアルタイムに高品質の再照明可能なガウシアンコーデックアバターを構築するための人工知能手法「Relightable Gaussian Codec Avatars」を紹介しますこれにより、新しい表情を生成するためにアニメーションさせることができるハイフィデリティのヘッドアバターが作成されます

“`html 画期的な進展を遂げたMeta AIの研究者たちは、ダイナミックな3Dヘッドアバターの高精細なリライティングを実現するという長年の課題に取り組みました。従来の方法では、特にリアルタイムの応用において効率性が重要となる場合に、表情の複雑な細部を捉えることができるようになるまでに時間がかかることがよくあります。Meta AIの研究チームは、この課題に対処すべく、「リライト可能ガウシアンコーデックアバター」という方法を発表し、アバターのリアリズムの領域を再定義する用意のある手法を作り出しました。研究チームが取り組んだ中核的な問題は、ダイナミックな顔のシーケンスにおいて、髪の毛や毛穴などのサブミリメートルの詳細をより明確に捉える必要があるということです。目、肌、髪などの人間の頭部の異質な材料を効率的にモデル化しながら、すべて周波数の反射に対応するというのは困難な課題です。既存の手法の制約は、リアリズムとリアルタイムのパフォーマンスをシームレスに組み合わせる革新的な解決策が必要とされています。リライト可能なアバターに関する既存のアプローチは、リアルタイムのパフォーマンスと忠実度のトレードオフに悩まされてきました。リアルタイムのアプリケーションにおいて、動的な顔の詳細を捉えることができるメソッドが必要とされてきたのです。Meta AIの研究チームは、この課題に目をつけ、「リライト可能ガウシアンコーデックアバター」を革新的な解決策として導入しました。 Meta AIの手法は、3Dガウシアンに基づくジオメトリモデルを導入し、サブミリメートルの精度まで拡張する精密さを提供しています。これは、ダイナミックな顔のシーケンスを捉えるための大幅な進歩であり、髪の毛や毛穴の微妙なニュアンスを含め、アバターが生命的な詳細を示すことを保証します。この革新的な手法の重要な要素であるリライト可能な外観モデルは、学習可能な輝度伝達に基づいています。 https://arxiv.org/abs/2312.03704 これらのアバターの優れた点は、アバターの構築における包括的なアプローチにあります。3Dガウシアンによってパラメータ化されたジオメトリモデルは、アバターのバックボーンを形成し、ガウシアンスプラッティング技術を使用した効率的なレンダリングを可能にします。学習可能な輝度伝達によって駆動される外観モデルは、拡散球面調和関数と反射球面ガウシアンを組み合わせています。この組み合わせにより、アバターは点光源と連続的な照明によるリアルタイムのリライティングを実現できます。これらの技術的側面を超えて、この手法は表情、視線、ビュー、照明に対する切り離し可能な制御を紹介しています。アバターは、潜在的な表情コード、視線情報、および目標視野方向を利用してダイナミックにアニメーション化することができます。この制御のレベルは、アバターアニメーションにおける重要な進展であり、繊細でインタラクティブなユーザーエクスペリエンスを提供します。これらのアバターは、単なる理論的な進展ではありません。その手法によって、ヘッドマウントカメラからのライブビデオによるアニメーションが実証されています。この能力により、リアルタイムのビデオ入力がアバターをシームレスに動かすことで、ダイナミックでインタラクティブなコンテンツを作り出すことができます。総括すると、Meta AIの「リライト可能ガウシアンコーデックアバター」は、複雑な課題に対処するためのイノベーションの力を示すものです。3Dガウシアンに基づくジオメトリモデルと革新的な学習可能な輝度伝達の外観モデルを組み合わせることで、研究チームは既存の手法の制約を超え、アバターのリアリズムに新たな基準を打ち立てました。 “`

「NVIDIAがゲームチェンジャーとマーケットメーカーへの投資でAI革命を推進する方法」

偉大な企業は物語によって繁栄します。NVIDIAのベンチャーキャピタル担当であるシド・サイディックは、これをよく知っています。サイディックは、最初の仕事のひとつで、投資家のミーティングからプレゼン資料を運び回り、トレーラーでの仕事中に、ドアが開くと「揺れる」トレーラーで、スタートアップのCEOとマネジメントチームが物語を伝えるのを手伝いました。そのCEOはJensen Huangであり、スタートアップはNVIDIAでした。サイディックは、投資家と起業家として働いた経験から、顧客やパートナー、従業員や投資家など、会社の物語を早い段階で共有するために適切な人々を見つけることがどれほど重要かを知っています。この原則こそが、NVIDIAが次世代イノベーションを支援するために取り組んでいる多面的なアプローチの基盤です。この戦略は、NVIDIAの企業開発責任者であるヴィシャル・バグワティも支持しています。この取り組みは、今年に入ってこれまでに2ダース以上の投資を果たしました。AIと加速コンピューティングのイノベーションのペースが加速するにつれ、さらに加速しています。 AIエコシステムを支援するNVIDIAの三本の戦略 NVIDIAがエコシステムを投資する方法は3つあります。まず、バグワティが監督するNVIDIAの企業投資によるもの。次に、サイディックが率いる私たちのベンチャーキャピタル部門であるNVenturesによるもの。そして最後に、ベンチャーキャピタルとスタートアップを結び付ける私たちのNVIDIA Inceptionです。 PwCによれば、AIだけで2030年までに世界経済に15兆ドル以上の寄与ができる可能性があります。したがって、現在AIと加速コンピューティングに取り組んでいる場合、NVIDIAは手助けする準備ができています。あらゆる業界の開発者が加速コンピューティングアプリケーションを作成しています。そして、まだ始まったばかりです。その結果、AIの物語を日々進化させている企業のコレクションが生まれました。Cohere、CoreWeave、Hugging Face、Inflection、Inceptiveなどが含まれます。私たちは彼らと一緒にいます。「NVIDIAと提携することはゲームチェンジャーです」とMachina LabsのCEOであるEd Mehrは言いました。「彼らの類まれな専門知識が、私たちのAIとシミュレーション能力を飛躍的に向上させます」。企業投資：エコシステムの成長 NVIDIAの企業投資部門は戦略的な協力に焦点を当てています。これらのパートナーシップは共同イノベーションを促進し、NVIDIAプラットフォームを強化し、エコシステムを拡大します。2023年の始め以来、14件の投資に関する発表が行われています。これらのターゲット企業には、チップ間の光接続に特化したAyar Labsや、先進的なAIモデルのハブであるHugging Faceなどがあります。ポートフォリオには、次世代のエンタープライズソリューションも含まれています。Databricksは、機械学習のための業界をリードするデータプラットフォームを提供しており、CohereはAIを通じた企業自動化を提供しています。他の注目すべき企業にはRecursion、Kore.ai、Utilidataなどがあり、それぞれが薬物発見、会話型AI、スマート電力グリッドのユニークなソリューションを提供しています。消費者サービスも投資の焦点です。Inflectionは、クリエイティブ表現のためのパーソナルAIを作り上げており、Runwayは生成AIを通じたアートと創造性のプラットフォームとして機能しています。…

「E.U.は画期的な人工知能規制に合意」

「A.I.アクトに関する合意は、人工知能の使用を制限する世界で最初の包括的な試みの一つを確固たるものとします」

ヨーロッパのAI最大手MISTRAL AIが3億8500万ユーロを調達

技術のダイナミックな世界では、人工知能（AI）が産業を再構築している中、フランスのスタートアップ企業であるMistral AIが注目されています。3億8500万ユーロの資金調達を達成したMistral AIは、単なるヘッドラインを作るだけでなく、欧州がグローバルAI競争で進むための道を切り開いています。本記事では、Mistral AIの旅について探求し、イノベーションの新たな基準を設定し、これが欧州におけるAIの将来にどのような意味を持つのかを探ります。資金調達のマイルストーン Mistral AIの最近の財務的な成功は、同社の可能性と投資家たちがそのビジョンに対する信頼の現れです。3億8500万ユーロの調達は、欧州のAI企業における最大の資金調達ラウンドの一つであり、重要な成果です。この資金の流入により、Mistral AIの研究開発の取り組みが加速され、チームが拡大され、製品の提供が向上する見込みです。イノベーションと拡大この投資は、単なる資金の増加にとどまらず、成長とイノベーションの触媒です。トップの人材を採用し、事業を拡大する計画を立てたMistral AIは、欧州におけるAIの卓越性の象徴となることでしょう。同社が最先端のAIソリューションの開発に注力することは、医療から金融など、様々なセクターを変革する可能性があります。欧州のAIの野望 Mistral AIの台頭は、欧州がグローバルなAIのパワーハウスになるという大きな進展です。欧州のテックシーンは長い間シリコンバレーの影に隠れていましたが、これまでのリーダーとして台頭するこの企業によって、その風景は変わりつつあります。この資金調達ラウンドは、欧州がAIイノベーションの世界的な舞台で自分の場所を確立できる準備が整ったことを明確に示しています。また読む： EUのAI法によってグローバルなAI規制の基準が設定され、アジア諸国は慎重な姿勢をとる競争力のある特徴この競争的な産業でMistral AIを際立たせるのは、問題解決への独自のアプローチと倫理的な開発への取り組みです。同社のソリューションはスケーラブルで効率的かつ責任あるものとして設計されており、ビジネスのニーズに応えるだけでなく、社会的な価値観とも一致しています。このイノベーションと誠実さのバランスは、投資家やクライアントを惹きつける要素です。私たちの意見 Mistral AIの驚異的な資金調達の成功は、単なる財務的な勝利を超えたものであり、欧州のAIセクターにとっては希望の光となっています。同社がAIと可能性の限界を押し広げ続ける間、欧州が明日のテクノロジーのリーダーとなる道を切り開いています。Mistral AIが先頭に立つことで、欧州のAIの未来はこれまで以上に輝かしくなります。

「サポートベクターマシン（SVM）とは何ですか？」

サポートベクターマシン（SVM）は、機械学習の分野で利用される教師あり学習アルゴリズムです。主に分類や回帰などのタスクを実行するために使用されます。このアルゴリズムは、メールがスパムかどうかの判断、手書き文字の認識、写真での顔の検出など、さまざまなタスクを処理できます。データ内の多くの情報や複雑な関係に対応できる非常に適応性のあるアルゴリズムです。 SVMの主な役割は、特徴に基づいて異なるグループの間を最適な線（または面）で分離することです。データが紙の上の点のようなもので、それらを完全に異なるクラスに分けるための単一の直線を引くことができると想像してください。これは、データが完全に線形に分離可能である必要があります。 SVMの種類線形サポートベクターマシンデータが直線を使用して簡単に2つのグループに分割できる場合、線形SVMが最適です。データが紙の上の点のようなもので、1本の直線を引いてそれらをきれいに2つの異なるクラスに分離できる状態であることを想像してください。非線形サポートベクターマシンデータが直線を使用して2つの別々のグループに分類できない場合、非線形SVMを使用します。ここでは、データは線形に分離できません。このような場合には、非線形SVMが救世主となります。データが複雑なパターンに従わずにしばしば乱雑な現実世界では、非線形SVMのカーネルトリックが使用されます。どのように動作するのか？床に散らばった2つのグループ、例えば緑と青の点があると想像してください。SVMの役割は、これらの点をそれぞれのグループに分けるための最適な線（または3次元の世界では面）を見つけ出すことです。今、点を分けるための多くの線があるかもしれませんね？しかし、SVMは特別な線を探します。すなわち、線と最も近い緑の点から線までの距離と線と最も近い青の点から線までの距離が最大となる線です。この距離を「マージン」と呼び、SVMはできるだけ大きくすることを目指します。この線を定義するのに重要な役割を果たす最も近い点を「サポートベクター」と呼びます。SVMは、2つのグループの間のスペースを最大化する最良の線を描くためにこれに焦点を当てます。しかし、もし点がきれいに直線で分離されていない場合はどうでしょうか？もし点があちこちに散らばっている場合はどうでしょうか？そんなときに、SVMは問題を高次元空間に持ち上げるために「カーネルトリック」と呼ばれるものを使用することができます。これにより、より複雑な分割曲線や曲面を引くことが可能になります。用途とアプリケーション 1. スパムメールフィルタリング: スパムと普通のメールが混在するメールボックスがあると想像してください。SVMを使用して、スパムと通常のメールを区別するスマートフィルターを作成できます。使用される単語などのメールの様々な特徴を見て、スパムと非スパムを区別する境界線を描き、メールボックスをきれいに保ちます。 2. 手書き文字認識: コンピュータが異なる人々の手書き文字を認識することを希望する場合、SVMが役立ちます。手書き文字の形や大きさなどの特徴を分析することで、SVMは一人の人の手書き文字を別の人のものと分離する線や曲線を描くことができます。これは郵便サービスでの数字認識などのアプリケーションに役立ちます。 3. 医療診断: 医学の世界では、SVMは疾患の診断に役立ちます。ある特定の状態の患者とその他の一般の患者についてのデータがあるとします。SVMは様々な健康指標を分析し、健康な患者と状態を持つ患者を区別する境界線を作成します。これにより、医師がより正確な診断を行うのに役立ちます。 4. 画像分類:…

Learn more about Search Results EU - Page 11

Google Researchがジェネレーティブな無限語彙トランスフォーマー（GIVT）を発表 – AIにおける先駆的な実数値ベクトルシークエンス

「エキスパートのミックスについて解説」

「NVIDIAがゲームチェンジャーとマーケットメーカーへの投資でAI革命を推進する方法」

「E.U.は画期的な人工知能規制に合意」

ヨーロッパのAI最大手MISTRAL AIが3億8500万ユーロを調達

「サポートベクターマシン（SVM）とは何ですか？」

データのアルトリズム：企業エンジンのデジタル燃料

ニューラルネットワークチュートリアルのプログラミング：ヴィンテージスタイル

次元性の祝福？！（パート1）

Find the right Blockchain Investment for you