Search Results L

『UltraFastBERT：指数関数的に高速な言語モデリング』

言語モデルと生成型AIは、その能力で有名であり、AI業界では注目されている話題です世界中の研究者たちは、効果と能力を向上させていますこれらのシステムは、通常、深層学習モデルであり、広範なラベル付きデータで事前学習され、自己注意のためのニューラルネットワークを組み込んでいますフィードフォワード、再帰、埋め込み、注意の各種レイヤーを使用して、入力テキストを処理し、[...]を生成します

最初のネイティブLLMは電気通信業界に最適化されました

キネティカのSQL-GPT for Telecomは、ネットワークのパフォーマンスと顧客体験を最適化するためのより高速な分析と対応を可能にします

「ChatGPTの新たなライバル：Googleのジェミニ」

グーグルは、ChatGPTを上回ると言われるリニューアルされたAIモデルを導入しました詳しく見てみましょう

language models

マイクロソフトの研究者が提案するTaskWeaver：LLMを活用した自律エージェントの構築のためのコード優先の機械学習フレームワーク

大規模言語モデル（LLMs）は、印象的な自然言語生成および解釈能力を示しています。これらのモデルの例には、GPT、Claude、Palm、Llamaがあります。チャットボット、バーチャルアシスタント、コンテンツ生成システムなど、様々な応用でこれらのモデルが広く使用されています。LLMsは、より直感的かつ自然な体験を提供することで、人々がテクノロジーとのインタラクションを完全に変えることができます。エージェントは、自律的なエンティティであり、タスクの計画、環境の監視、適切な対応策の実施が可能です。LLMsやその他のAI技術を使用するエージェントも、このカテゴリに該当します。 Langchain、Semantic Kernel、Transformers Agent、Agents、AutoGen、およびJARVISなど、多くのフレームワークがタスク指向の対話にLLMsを使用しようと試みています。これらのフレームワークを使用すると、ユーザーは自然言語で質問をして回答を得ることで、LLMパワードのボットと対話することができます。ただし、多くのフレームワークには、データ分析活動や特定の領域に固有の状況にうまく対応できる機能が制約されているという欠点があります。現在のほとんどのフレームワークには、洗練されたデータ構造を処理するためのネイティブサポートの不足がその主な欠点の一つです。データ分析アプリケーションや他の多くのビジネスシナリオでは、LLMパワードエージェントはネストされたリスト、辞書、またはデータフレームなどの複雑なデータ構造を処理する必要があります。ただし、現在の多くのフレームワークは、特にデータを複数のプラグインやチャットラウンド間で共有する場合に、これらの構造の管理に支援が必要です。これらの状況では、フレームワークは複雑な構造を文字列またはJSONオブジェクトとしてエンコードし、プロンプトに保持するかデータをディスクに永続化します。これらの手法は機能しますが、特に大規模なデータセットで作業する場合には困難になり、エラーレートを上げることがあります。現在の方法がドメイン知識を組み込むために設定可能ではないという別の欠点もあります。これらのフレームワークは、迅速なエンジニアリングツールとサンプルを提供する一方で、ドメイン固有の情報を計画とコード生成プロセスに組み込むための体系的な手段を提供する必要があります。特定のドメインニーズに合わせて計画とコード生成プロセスを制御することは制約のために難しいです。現在の多くのフレームワークには、ユーザーの要件の広範な範囲に対応することが困難になる可能性があるという別の問題もあります。プラグインは一般的な要件を処理できますが、臨時の要求を処理するためには支援が必要です。臨時のクエリごとに別のプラグインを作成することは現実的ではありません。ユーザーのクエリを実行するために独自のコードを開発できるエージェントの能力は、これらの場合には重要になります。この問題を解決するには、独自のコードの実行とプラグインの実行をスムーズに統合するソリューションが必要です。これらの欠点を克服するために、Microsoftの研究チームはTaskWeaverというLLMパワードの自律エージェントを作成するためのコードファーストフレームワークを提案しました。TaskWeaverの特徴的な機能は、ユーザー定義のプラグインを呼び出し可能な関数として扱うことで、各ユーザーリクエストを実行可能なコードに変換することができることです。TaskWeaverは、洗練されたデータ構造のサポート、柔軟なプラグインの使用、および動的なプラグインの選択を提供し、他のフレームワークの制約を克服するのに役立ちます。TaskWeaverはLLMsのコーディング能力を活用して複雑なロジックを実装し、例を通じてドメイン固有の知識を統合します。さらに、TaskWeaverは開発者に直感的なインターフェースを提供し、作成されたコードの安全な実行を大幅に向上させています。研究チームは、TaskWeaverのアーキテクチャと実装について説明し、さまざまなジョブをどのようにうまく処理するかを示すいくつかの事例研究を紹介しています。TaskWeaverは、課題の多いジョブを処理し、特定のドメイン条件に適合するために変更することが可能な知能を持つ会話エージェントを作成するための強力で柔軟なフレームワークを提供しています。

イリノイ大学の研究者は、コードのための完全なオープンソース大規模言語モデル（LLM）のシリーズであるマジコーダを紹介しました

イリノイ大学アーバナ・シャンペーン校と清華大学の研究者チームは、オープンソースのコードスニペットからの低バイアスと高品質なコーディングチャレンジの生成の課題に取り組むために、Magicoderを導入しました。Magicoderは、Pythonテキストからコードを生成する、多言語のコーディング、データサイエンスプログラムの言語モデルを含むさまざまなコーディングベンチマークで、既存のLLMよりも優れたパフォーマンスを発揮します。 CodeGen、CodeT5、StarCoder、CODELLAMAなどのような主要なベースモデルは、LLMのコード生成と理解の基本的な能力を確立しています。事前学習されたLLMを改善するためには、自己指導とEvol-Instructのような手法を使った指示の調整が提案されており、HumanEval、MBPP、APPS、およびCodeContestsなどの既存のコードベンチマークは、自然言語の説明から単一機能プログラムを開発する際のLLMの評価に利用されます。 Magicoderは、コードのための完全なオープンソースのLLMシリーズであり、OSS-INSTRUCTを使用して75,000件の合成指示データでトレーニングされています。これは、GitHubのシードコードスニペットから多様性と現実世界の関連性を確保しながら、LLMにコーディングの問題と解決策を引き起こすように促します。評価には、HumanEvalとMBPPのようなベンチマークが使用され、pass1メトリックに焦点が当てられます。INSTRUCTORは、埋め込みの類似性に基づいてOSS-INSTRUCT生成データを分類するために使用されます。データのクリーニング技術、含められているのは浄化とプロンプトのフィルタリングなどがあり、堅牢性が向上しています。 Magicoderは、最大でも70億を超える控えめなパラメータサイズで、優れたパフォーマンスを示しています。OSS-INSTRUCTを使用して75,000件の合成指示データをトレーニングしたMagicoderは、Pythonテキストからコードを生成する、多言語のコーディング、データサイエンスプログラムの言語モデリングなど、先進的なコードモデルよりも優れたパフォーマンスを発揮します。拡張版のMagicoderSは、コード生成性能をさらに向上させ、さまざまなベンチマークで同じまたはより大きなサイズの他のモデルを上回ります。MagicoderS-CL-7Bは、コードモデルの中で最先端の結果を同時に達成し、堅牢で優れたコード生成能力を示します。まとめると、この研究では、オープンソースのコードスニペットからコーディングチャレンジを生成するためにLLMを利用する効果的な手法であるOSS-INSTRUCTの有用性が強調されています。OSS-INSTRUCTを使用して訓練されたMagicoderは、大きなパラメータを持つ他のLLMよりもさまざまなコーディングベンチマークで優れたパフォーマンスを発揮します。また、Evol-Instructと組み合わせると、ChatGPTのような先進的なモデルと同様に、HumanEvalベンチマークで印象的なパフォーマンスを発揮するMagicoderSモデルを向上させます。この研究では、将来のLLMに関する研究や、OSS-INSTRUCTを拡大してより高品質なデータを生成するために、モデルの重み、トレーニングデータ、およびソースコードをオープンソース化することを推奨しています。

「Googleのジェミニを使い始める方法はこちらです！」

GoogleのGemini AIで会話型AIの未来を体験してみましょう。このモデルは、理解、要約、推論、コーディング、計画において、他の追随を許さない能力を提供しています。この記事では、GoogleのBardチャットボット内でいつでもGemini AIを使用する方法について話します。これにより、対話型かつ洗練されたチャット体験の新たな次元を開放します。 The Gemini Googleの最新モデルGeminiは、Nano、Pro、Ultraの3つのバージョンで提供されるAIモデルで、言語処理の進歩を象徴しています。Nanoは高速なオンデバイスタスクに秀でており、Proは多目的の作業馬として機能し、Ultraは現在安全性のチェックを受けており、言語処理の最高峰を約束しています。この階層的なアプローチにより、ユーザーは特定のニーズに合わせて理想的なLLMにアクセスできます。 GeminiとGoogleのBardチャットボットの融合により、ユーザーの対話が変容します。Geminiの高度な機能により、Bardはユーザーの意図を高精度で理解し、より正確で高品質な応答を提供することができます。また、Geminiのマルチモーダル処理の能力により、テキストだけでなく画像、音声、動画のシームレスなハンドリングが可能となり、より自然で魅力的な対話時代の到来をもたらします。関連記事：ChatGPT vs Gemini : AI競技場のタイタン同士の激突 Bard内のGemini Gemini ProとGoogleのチャットボットBardの統合は、ユーザーの対話の進化における重要な飛躍を示しています。Googleはユーザーエクスペリエンスの向上に取り組んでおり、Geminiの高度な機能により、Bardはユーザーの意図をより正確に理解し、高品質な応答を提供することができます。さらに、Geminiのマルチモーダル処理能力により、Bardはテキストに加えて画像、音声、動画を扱うことができ、より自然で魅力的な対話体験が生まれます。 Bard内でのGemini Proの導入により、洗練された対話の領域が開かれます。ただし、一定の制約に留意する必要があります。現時点では、Gemini Proは英語のみの提供となっており、グローバルでのアクセスが制限されています。チャットボット内での統合はまだ進化中であり、将来のアップデートでさらなる統合の改善やAIの機能強化が見込まれます。また、Gemini Proは現在、欧州連合では利用できないため、地理的な制約があります。現時点では、BardはGemini Proのテキストベースのバージョンのみをサポートしています。マルチメディアの対話を求めるユーザーは、さまざまな機能を備えた将来のアップデートを待つ必要があります。関連記事：GoogleのBARDはYouTube動画についての質問に答えることができるようになりました当社の見解 GoogleのBardに統合されたGeminiは、AIと人間のシナジーの新時代を告げています。高度な機能とシームレスな統合の融合により、Geminiはチャット体験の向上に向けた頼もしいツールとなります。現在の制約を認識しつつも、成長の軌道はGeminiをAIモデルの先駆者と位置づけています。

「SageMakerエンドポイントとしてカスタムMLモデルを展開する」

「機械学習（ML）モデルを開発するには、データ収集からモデルの展開までの重要なステップがありますアルゴリズムの改善やテストを通じてパフォーマンスを確認した後、最後の重要なステップは...」

Amazon AlexaのAI研究者がQUADRoを発表：QAシステムの向上に向けた画期的なリソースで、440,000以上のアノテーション付きの例があります

人工知能（AI）と機械学習（ML）の能力は、あらゆる可能な産業に進出することを成功裏に可能にしました。最近では、大規模言語モデル（LLM）と質問応答システムの導入により、AIコミュニティは大きな進歩を遂げています。事前計算されたデータベースから効率的に応答を取得することは、自動質問応答（QA）システムの開発における一般的なステップです。主なQAパラダイムには、オープンブック型とクローズドブック型の2つがあります。オープンブック型、またはリトリーブアンドリード型は、適切な素材を大量の文書コーパス、頻繁にインターネットから取得する2つの手順を経て、異なるモデルや手法を適用して取得された素材から解決策を取り出す手法です。一方、クローズドブック型は最近の手法であり、外部のコーパスを利用せずにT5などのSeq2Seqモデルを基にしたモデルを訓練することで、結果を生成します。クローズドブック技術は優れた結果を示しているものの、多くの産業アプリケーションに対してリソースが過剰であり、システムのパフォーマンスに重大なリスクをもたらす可能性があります。質問応答型データベース（DBQA）は、パラメータや大規模なコーパスの情報に頼るのではなく、事前生成された質問応答のデータベースから応答を取得する方法です。これらのシステムの主要な部分は、質問と回答のデータベース、データベースのクエリに対する検索モデル、および最適な回答を選ぶランキングモデルです。DBQA技術により、迅速な推論と再学習モデルなしで新しいペアを追加できる能力が可能となり、新しい情報を導入することができます。 DBQA技術の課題の一つは、検索およびランキングモデルの開発における充分なトレーニングデータの不足です。既存のリソースはスコープと内容の面で不足しており、注釈プロセスの品質を向上させる必要があるものや、質問と質問の類似性に焦点を当て、回答を無視するものが多数存在しています。これらの課題に対処するため、研究者チームは質問応答データベースの検索に関するデータセットとモデルであるQUADRoを提案しました。これは訓練と評価のために特別に作成された新しいオープンドメインの注釈リソースです。リポジトリの15,211の入力質問には、各質問に関連する30の質問応答ペアがあります。このコレクションには合計で443,000の注釈付きサンプルが含まれています。入力クエリに対する各ペアの重要性を示すバイナリインジケータがラベル付けされています。研究チームはまた、このリソースの品質と特性をいくつかの重要なQAシステムコンポーネントに関して評価するための徹底した実験も行いました。これらの要素には、トレーニング方法、入力モデルの構成、および回答の関連性が含まれます。実験は、このデータセットで訓練されたモデルの挙動とパフォーマンスを検討することで、関連する応答を取り出すために提案された方法がどれだけうまく機能するかを示しました。まとめると、この研究は、自動品質保証システムにおけるトレーニングとテストデータの不足を解決するために、有用なリソースを導入し、リソースの属性を慎重に評価することで、包括的な理解を支援しています。トレーニング戦略と回答の関連性のような重要な要素に重点を置くことで、評価が補完されます。

『Google AI Researchが効率的な連成振動子のシミュレーションに革新的な量子アルゴリズムを導入』

古典力学は、物体の運動、それに作用する力、およびその活動に関連付けられたエネルギーについて扱います。量子力学は、物質とエネルギーの振る舞いを原子スケールと亜原子レベルで記述する物理学の基本理論です。量子コンピュータは、古典コンピュータよりも指数関数的に速く問題を解決することを約束しています。しかし、ショアの因数分解アルゴリズムや量子シミュレーションなどの、これほどの劇的なスピードアップを示す例はほんの一握りです。古典力学の問題は、特に結合した調和振動子のシミュレーションにおいて計算上の障壁を持っています。質量がばねで結ばれた系は、この振動子の一つの群の変位が系全体で連続的な振動を引き起こす一般的な例です。質量の数が増えるにつれて、これらの相互に関連する運動をシミュレートする複雑さも増します。複雑さの課題は、長い間古典力学のシミュレーションを妨げ続けてきました。そのため、研究者たちは、すべての質量とばねの位置と速度を量子ビット系の量子波動関数に符号化するマッピング技術を考案しました。量子ビット系のパラメータの指数関数的な増加を利用して、研究者たちは、質量の情報を効率的に符号化するにはおおよそ log(N) 個の量子ビットが必要であることを見つけました。これは、量子ビット系の量子波動関数を記述するパラメータの数が、量子ビットの数に指数関数的に増加するためです。このパラメータの指数関数的な成長の利用により、量子ビット系の波動関数の進化によって後でボールとばねの座標が決定されるため、このようなシステムをシミュレートするために必要なリソースは、単純な古典的なアプローチに比べてはるかに少なくて済みます。研究者たちは、量子アルゴリズムで効率的に解決可能な任意の問題を、結合した振動子ネットワークを含む状況に変換できることを示しました。この発見により、量子コンピュータの使用方法に新たな可能性が生まれました。また、古典的なシステムについて考えることにより、量子アルゴリズムの新しい開発方法も提案されました。研究者たちは、古典力学と量子力学の動力学が等価であることを証明するだけでなく、この研究は指数的なスピードアップを提供するさらなる量子アルゴリズムの開発への道を切り開いています。この革新的な量子アルゴリズムにより、計算上要求の厳しい問題を解決する能力が革命的に向上しました。彼らは、古典的な波が量子環境でどのように伝播するかを理解することにより、科学者が難解な問題を効果的に解決するための新たな可能性を開くことができると述べています。まとめると、この研究は古典力学と量子コンピューティングを組み合わせる重要な一歩となります。発見された量子アルゴリズムは、効率的なシミュレーションによる結合した古典的調和振動子を行う強力なツールを提供します。この革新的な発見の可能性が広がるにつれて、量子コンピューティングの範囲も拡大しています。

「 Omnivore に会いましょう：SiBORG Lab は OpenUSD と NVIDIA Omniverse を使ってアクセシビリティのアプローチを高める」

アクセシビリティは、すべてのデザイナーがスペースや製品を構築する前に考慮しなければならない重要な要素ですが、評価プロセスは従来、手間と時間がかかるものでした。ニュージャージー工科大学の建築とデザインの助教授であるマシュー・シュワルツは、NVIDIA OmniverseプラットフォームとUniversal Scene Descriptionフレームワーク（別名OpenUSD）を使用して、建築家、インテリアデザイナー、産業デザイナーがこの課題に取り組むのを支援しています。シュワルツの研究および設計ラボSiBORG（シミュレーション、バイオメカニクス、ロボット工学、グラフィックス）は、特にアクセシビリティ、人間要因、自動化に関連するデザインのワークフローを理解し、改善することに焦点を当てています。シュワルツと彼のチームは、研究プロジェクトのためのアルゴリズムを開発し、それらを利用可能な製品に転換します。 Omniverseを使用することで、チームはシュワルツのコードを使用してグラフやそれが生成するパスを視覚化することができます。これは、デザイナーが建築基準と居住者の安全性をより良く評価するのに役立ち、重要なアクセシビリティの洞察を提供します。 https://blogs.nvidia.com/wp-content/uploads/2023/12/Pathloop.mp4 OpenUSDの力従来、建築設計プロセス中のアクセシビリティや環境条件に関するフィードバックは、建築基準分析に限定されていました。シュワルツの研究により、OmniverseとOpenUSDをシームレスに統合することで、デザイナーはこの壁を乗り越えることができるようになりました。以前は、彼はシミュレーションとモデリングのプロジェクトのさまざまな側面を達成するために複数のアプリケーションの切り替えが必要でした。彼のワークフローは、人々をサポートするUnityや3Dモデリング機能を提供するMcNeel Rhino3Dなどのツールの間で分割されることが多かったのです。 OpenUSDを使用することで、彼は研究、Pythonコード、3D環境とレンダリング、お気に入りのツールをOmniverseに統合することができます。彼は言いました。「Omniverseに魅了されたのは、Pythonアプリケーションプログラミングインタフェースを強力な物理、レンダリング、アニメーションソフトウェアと組み合わせることができる点でした。チームは、柔軟なPython APIをOmniverseで活用して、ほぼすべてのユーザーインターフェースを開発しました。」シュワルツのチームは、OpenUSDに互換性のあるプログラムと相互作用できる汎用的なデータ分析ツールをOmniverseを使用して活用しています。彼は言いました。「OpenUSDとOmniverseを使用すると、研究の範囲を広げることができました。データ分析と可視化を設計プロセスと簡単に組み合わせることができます。」リアルなレンダリングとシミュレーションの実行シュワルツはまた、Omniverseを使用して人々の動きや相互作用をシミュレートしています。彼は、リアルタイムの可視化を可能にする2つのNVIDIA RTX A4500 GPUsを使用して大規模な群衆のシミュレーションとアニメーションを高速化しています。これにより、デザイナーは移動能力の制限がある人々がどのように空間を移動し、相互作用するかに関する貴重な洞察を得ることができます。シュワルツは言いました。「看板を最も目立つ位置に配置するための最適な場所を示すこともできます。シミュレーションの結果は、早期の設計段階で取られるパスを可視化するために使用できます。これにより、建築基準に問題が生じることを防ぎながら、最小の要件を超えるデザインを作成できます。」…

Learn more about Search Results L - Page 13