Search Results A

「ULTRAに会おう：あらゆるグラフで機能する事前学習済みの知識グラフ推論用基礎モデルで、50以上のグラフで教師あり最先端モデルを上回るパフォーマンスを発揮します」

<img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/10/Screenshot-2023-10-30-at-9.12.12-PM-1024×545.png”/><img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/10/Screenshot-2023-10-30-at-9.12.12-PM-150×150.png”/>ULTRAは、知識グラフ（KG）のための普遍的で転移可能なグラフ表現を学習するために設計されたモデルです。 ULTRAは、相互作用に基づいて関係イラストを作成し、異なるエンティティと関係の語彙を持つどのKGにも一般化できるようにします。事前学習されたULTRAモデルは、リンク予測の実験で新しいグラフに対して見事なゼロショット帰納推論を示し、しばしば専門的なベースラインを上回ります。 さまざまな研究所の研究者が、普遍的推論が可能なKGの基礎的なモデルを作成するという課題に取り組んでいます。 ULTRAは、テキスト情報に依存せずに多目的なグラフ表現を学習するモデルを提案しています。彼らの研究では、テキストベースの手法とULTRAの違いについて論じ、新しいエンティティを持つ推移的および帰納的なデータセットを含む実験で使用されるデータセットのタイプについて議論しています。 KGでのリンク予測の既存の帰納的手法については、それらの制約に焦点を当ててレビューしています。 彼らの手法は、事前学習と微調整のパラダイムをKGに適用するチャレンジについて論じており、言語やビジョンなどのドメインで効果的な事前学習と微調整が可能な理由として、KGの異なるエンティティと関係の語彙を挙げています。 ULTRAは、異なる関係と構造を持つ新しいKGにゼロショット転送を可能にする、普遍的なグラフ表現を学習するアプローチです。 ULTRAは関係の相互作用を活用し、さまざまなサイズのKGおよび関係の語彙間での一般化を容易にし、KGの推論のための効果的な事前学習と微調整を実現することを目指しています。 ULTRAは、エンティティと関係の語彙が異なるグラフ上の推論を可能にする、普遍的なグラフ表現を学習するために導入されています。グラフのリフト、クエリに基づく関係表現の取得、リンクの予測を実現するために、ULTRAは3つのステップのアルゴリズムを使用します。 57個のKGでULTRAのパフォーマンスを、専門化されたベースラインと比較して、ゼロショット帰納推論が優れています。微調整によりパフォーマンスが向上し、特定のグラフにトレーニングされたベースラインモデルと競合するか優れています。 普遍的なグラフ表現であるULTRAの提案された手法は、特定のグラフにトレーニングされたベースラインに比べ、ゼロショット推論で非常に優れたパフォーマンスを発揮します。事前学習とベースラインの結果との間のギャップを効果的に縮小する微調整により、ULTRAのパフォーマンスをさらに向上させることができます。 ULTRAは、FB-25およびFB-50でほぼ3倍のパフォーマンス向上を達成し、より小規模な帰納的グラフでの優れた性能を示します。評価指標にはMRRとH10が含まれており、全エンティティセットについて報告されています。 まとめとして、ULTRAは、入力特徴を必要とせずに多様な多関係グラフ上でのトレーニングと推論に優れた普遍的で転送可能なグラフ表現を提供します。ゼロショットシナリオでも、特定のグラフに合わせた監視型ベースラインを平均で15以上も上回す性能を発揮します。 ULTRAは、新しい関係構造を持つ未知のグラフに一般化できる能力により、帰納的および転送可能な知識グラフ推論の有望な選択肢となっています。 57のKGの評価では、特定のグラフにトレーニングされたベースラインと比較して、一貫して優れたパフォーマンスを示しています。 将来の展望では、関係間の相互作用を捉えるための追加の戦略の探求を示唆しています。 50のランダムネガティブを持つHits10以外の包括的な評価指標の必要性が強調されています。現在の研究では、KG表現学習のための転移学習の潜在的な利点の探求が奨励されており、これはまだ完全に探求されていません。さらに、異なる関係セットを持つKGに一般化する帰納的学習手法の研究も推奨されています。

ゲームプレイ再創造：AI革命

ゲームでAI革命を探求しましょう！この詳細な解説では、生成AIがゲームプレイを変革し、プレイヤーの興味を豊かにし、経済成長を促進していることが明らかになります

「バイデン大統領の画期的なAI行政命令を解説する」

人工知能が世界の技術の地図を再構築する時代において、アメリカ合衆国はバイデン大統領による包括的な大統領令を通じてそのリーダーシップを確固たるものにしようとしていますこの待ち望まれた動きは、世界中の国々がAIの約束を活かしながら固有のリスクを緩和するという重要な時期に行われますこの大統領令は広範であり、[...]

regulation

「Amazon Bedrockへのプライベートアクセスを設定するために、AWS PrivateLinkを使用してください」

「Amazon Bedrockは、AWSが提供する完全管理型サービスであり、開発者にファウンデーションモデル（FM）へのアクセスとそれらを特定のアプリケーションにカスタマイズするためのツールを提供しますインフラストラクチャの管理をせずに、APIを通じてFMを使用して生成AIアプリケーションを構築およびスケールすることができますAmazonや主要な[…]から様々なFMを選択することができます」

「Amazon SageMaker JumpStartを使用して、2行のコードでファウンデーションモデルを展開して微調整する」

「Amazon SageMaker JumpStart SDKのシンプル化されたバージョンの発表をお知らせすることを楽しみにしていますこのSDKを使用することで、基礎モデルの構築、トレーニング、デプロイが簡単に行えます予測のためのコードも簡略化されていますこの記事では、わずか数行のコードで基礎モデルの使用を開始するために、簡略化されたSageMaker JumpStart SDKの使用方法をご紹介します」

「AIがデジタルツインを2024年にどのように変えているか」

2024年には、AIがデジタルツインを通じて産業をどのように変革しているのかを探求してくださいデータ収集、予測分析、リアルタイムの洞察について学びましょうアプリケーション、課題、そして将来のトレンドを発見してください

Tech

最新のデータを使ってファンデーションモデルを最新の状態に保つ方法は？ AppleとCMUの研究者が、VLMの継続的なトレーニングのための最初のウェブスケールの時系列連続性（TiC）ベンチマークを導入しましたこれには12.7Bのタイムスタンプ付きのイメージとテキストのペアが含まれています

CLIP、Flamingo、およびStable Diffusionなどの大規模なマルチモーダル基盤モデルの貢献により、画像生成とゼロショット汎化の以前に考えられなかった改善が実現し、マルチモーダル学習におけるパラダイムの変革が起こっています。これらのベースラインモデルは通常、大規模なウェブスケールの静的データセットを用いてトレーニングされます。OpenAIのCLIPモデルなどの従来のモデルが、2020年までのインターネットスケールのデータでトレーニングされた場合に、将来のデータでどのように機能するかは不明です。まず、AppleとCarnegie Mellon Universityの研究者たちは、OpenAIのCLIPモデルが、2022年までの最新のキュレーションされたウェブデータセットを使用して開発されたOpenCLIPリポジトリのモデルと比較して、ロバスト性の点でどのように優れているかを調査しています。CLIPモデルを測るための標準が存在しないため、2014年から2022年までの動的な分類および検索のタスクをカバーするデータセットを作成しました。OpenCLIPモデルはパフォーマンスを維持している一方、OpenAIモデルは2021年から2022年のデータと2014年から2016年のデータとの間で検索パフォーマンスに大きな差があることがわかりました。OpenAIのCLIPモデルはわずかによりロバストであるものの、これはImageNetの分布シフトにおける正確性などの典型的なテストに完全に反映されていません。彼らの研究は、静的ベンチマーク（ImageNetなど）を使用することには限界があり、モデルはデータの分布が変化するに伴って適応・進化する必要があることを明らかにしました。データの変化に対応するための単純で頻繁な手法の1つは、新しい画像テキストデータを得た場合に再びトレーニングを開始し、新しいCLIPモデルをトレーニングすることです。この方法の理論的な根拠は、既存のモデルから新しい入力にモデルの振る舞いを適応させることはより困難であるというものです。ただし、新たな基盤モデルを始めからトレーニングするのに必要な時間とエネルギーを何度も投資することは現実的ではありません。最近のCLIPモデルの持続的学習技術に焦点を当てた取り組みは、一つの後続タスクまたは少数のタスクで効率を向上させることを目的としています。最近の研究の一部はこれらの課題に取り組み始めていますが、現在のベンチマークは範囲が狭すぎるか、画像テキストデータが関連していないため、真に有用ではありません。 CLIPモデルの時系列トレーニングへの第一歩として、研究者たちは時間の経過によるデータ分布の自然な変化を観察しました。既存のCommonPoolデータセットに「クロールタイム」データを含めることにより、彼らはCLIPモデルの時系列連続トレーニングのための新たなベンチマークであるTIC-DataCompを確立しました。研究者たちはまた、RedditやFlickrなどから収集したインターネットの大規模データセットを再利用して、新たな目的に使用しました。特に、YFCCとRedcapsが提供する時系列情報を使用して、それぞれTIC-YFCCとTICRedCapsを編集しました。新しいデータセットが利用可能になるたびに、この研究は時間の制約内で機能する持続学習技術を構築することを目指しています。これらの戦略は、新しいデータが受け取られるたびにトレーニングパラメータをリセットし、累積計算予算を新しいモデルに費やすOracleとは逆の方向を示しています。研究者たちは、TIC-CLIPフレームワークでトレーニングされたモデルのゼロショット評価を行いました。評価には、ImageNetやImageNetの分布シフト、Flickrなどの28の確立された分類および検索タスクが使用されました。最後に、彼らは自身のベンチマークを使用して、リプレイバッファ、学習率スケジュール、ウォームスタート、パッチング、蒸留など、さまざまな持続学習アプローチを設計・テストしました。チームは、最新のチェックポイントでトレーニングを開始し、過去のすべてのデータをリプレイすることにより、累積技術がOracleと同等のパフォーマンスを2.7倍の計算効率で実現することを示す重要な教訓を得ました。彼らはまた、順次トレーニングのための学習率スケジュールや、静的および動的パフォーマンスのためのバッファサイズの間における興味深いトレードオフを示しました。彼らの結果は、11Mサンプルから3Bまでのデータセットにわたる傾向を強調し、テクニックによって一貫性を持たせました。既存のデータセットに追加で収集されたコードとタイミングデータは、近々公開され、広いコミュニティが提案されたベンチマークを使用できるようにする予定です。研究チームは、この未開拓のトピックに光を当てることで、基盤モデルの持続トレーニングへの道を切り開くことを望んでいます。

シリコンボレー：デザイナーがチップ支援のために生成AIを活用

今日公開された研究論文によれば、生成AIは、最も複雑なエンジニアリングプロジェクトの1つである半導体設計を支援できる方法を示しています。この研究では、高度な専門分野の企業が、内部データを使用して大規模な言語モデル（LLM）を訓練し、生産性を向上させるアシスタントを作成することができることが示されています。半導体設計は非常に困難な職業の一つです。最先端のチップであるNVIDIA H100 Tensor Core GPU（上記）は、人間の髪の毛の1万分の1の幅の通りよりも10,000倍細いストリート上に接続された数百億のトランジスタで構成された計画された都市のように見えます。数多くのエンジニアリングチームが2年以上にわたり協力し、これらのデジタルメガシティを構築しています。一部のグループはチップの全体的なアーキテクチャを定義し、他のグループはさまざまな超小型回路を作成・配置し、さらに別のグループはその作業をテストします。それぞれの作業には専門的な方法、ソフトウェアプログラム、コンピュータ言語が必要です。 LLMに向けた広範なビジョン「私は大規模な言語モデルが時間の経過とともに、あらゆるプロセスを支援することになると考えています」と、筆頭著者であるNVIDIA ResearchのディレクターであるMark Ren氏は述べています。 NVIDIAの最高科学責任者であるBill Dally氏は、この論文をサンフランシスコで開催された年次の電子設計自動化（EDA）に関する国際会議で発表しました。「この取り組みは、特に高度な専門分野でも、内部データを使用して有用な生成AIモデルを訓練することができることを示しています。これは、半導体設計の複雑な作業にLLMsを適用するための重要な一歩です」とDally氏は述べました。 ChipNeMoの登場この論文では、NVIDIAのエンジニアが、社内データを使用して会社の内部データを生成し最適化するためのカスタムLLMであるChipNeMoを作成した方法について詳しく説明されています。長期的には、エンジニアはチップ設計の各段階に生成AIを適用し、全体的な生産性を大幅に向上させることを期待しています。Ren氏はEDA分野で20年以上のキャリアを持つエンジニアの一人です。 NVIDIAのエンジニアによる可能なユースケースの調査の結果、研究チームは3つのユースケースを開始することを選びました：チャットボット、コード生成器、および分析ツールです。初期のユースケース後者は、既知のバグの維持に関連する時間のかかるタスクを自動化するツールであり、これまでで最も好評を得ています。 GPUアーキテクチャとデザインに関する質問に回答するプロトタイプチャットボットは、早期のテストで多くのエンジニアが技術文書を迅速に見つけるのに役立ちました。コード生成ツールは、チップ設計のソフトウェアの一部を書くのに役立ちます。…

予想外な方法でAIがイスラエル・ハマス戦争を混乱させる

「ディスインフォメーション研究者は、人工知能を利用してイスラエル・ハマス戦争で誤情報を広めることが、オンラインコンテンツの信憑性について疑念を抱かせていることを発見しました」

バイデン大統領がAI実行命令を発布し、安全評価、市民権のガイダンス、労働市場への影響に関する研究を要求しています

「この命令は、ホワイトハウスが以前に主要なAI企業から得た自発的な取り組みに基づいており、技術に対する最初の重要で拘束力のある政府の行動を表しています」

Learn more about Search Results A - Page 124