Search Results A

「モノのインターネット」から「すべてのインターネット」へ：AIと6Gの融合によるつながる知性

「人工知能や6Gなどの最先端技術が、すべてがインターネットに接続される新しい時代を招く方法を学びましょう」

『Qwen Large Language Models（LLMs）Seriesについて知っておくべきすべて』

大型言語モデル（LLM）は、登場以来、人工知能（AI）の領域を大きく変えました。これらのモデルは、厳しい推論や問題解決の問題に対する堅固なフレームワークを提供し、数々のAIの分野を革新しています。LLMは、膨大な知識をニューラルネットワークに圧縮する能力により、さまざまなタスクを実行する柔軟なエージェントです。彼らはクリエイティブな取り組みやエキスパートレベルの問題解決など、かつて人間にしか行えないと考えられていた仕事をチャットインターフェースへのアクセスが与えられた場合に実行することができます。この移行の結果、チャットボットやバーチャルアシスタント、言語翻訳や要約ツールなど、さまざまなアプリケーションが作成されました。 LLMは、人々によって設定された目標を達成するために、他のシステム、リソース、モデルと一緒に働く汎用のエージェントとして機能します。これには、マルチモーダルな指示の従順性、プログラムの実行、ツールの使用などが含まれます。これにより、自動車、医療、ファイナンスなど、AIの応用分野において新たな可能性が開かれます。その優れた能力にもかかわらず、LLMは繰り返し可能性、操作性、およびサービスプロバイダのアクセシビリティの欠如に対して批判を浴びています。最近の研究では、研究者のグループが、チームの包括的な大型言語モデルシリーズであるQWEN1を発表しました。QWENは単一のモデルではなく、パラメータ数が異なる複数のモデルのコレクションです。このシリーズの主なカテゴリは、基本的な事前学習言語モデルを表すQWENと、人間の整合性の方法を用いて洗練されたチャットモデルを表すQWEN-CHATです。 QWENによって表されるベース言語モデルは、さまざまな下流タスクで一貫して優れたパフォーマンスを発揮しています。これらのモデルは、テキストとコーディングのさまざまなデータセットでの充実したトレーニングにより、多様なドメインの包括的な理解力を持っています。さまざまな活動において適応性と成功の能力を持つため、さまざまなアプリケーションにとって貴重な資産です。一方で、QWEN-CHATモデルは、自然言語での対話やトークに特化して作成されています。これらのチャットモデルの機能性を向上させるために、強化学習や教師付き微調整などの人間の整合性の手法を用いた徹底的な微調整が行われています。また、チームはモデルシリーズで特にコーディング関連のタスクに向けた2つの専用バリアントも導入しています。CODE-QWENとCODE-QWEN-CHATと呼ばれるこれらのモデルは、大規模なコードデータセットでの徹底的な事前トレーニングの後、コードの理解、作成、デバッグ、解釈における優れたパフォーマンスを発揮するために微調整が行われています。これらのモデルは、所有モデルには若干劣るかもしれませんが、パフォーマンスの点でオープンソースの対抗馬を大きく上回るため、学術界や開発者にとって貴重なツールです。同様に、数学パズルの解決に特化したMATH-QWEN-CHATも開発されました。数学に関連する仕事においては、これらのモデルはオープンソースのモデルをはるかに上回り、商用モデルの能力に近づいています。結論として、QWENは幅広いモデルを含み、LLMsのAIの分野における変革の潜在能力を集約することができます。オープンソースの代替品に比べて優れたパフォーマンスを発揮しています。

トップAIアドベンチャー：OpenAIレジデンシー

「AIの最も優秀な才能たちと肩を並べながら、機械学習の領域の謎を解き明かすことを夢見たことはありませんか？それは夢物語ではなく、あなたを待ち受けている現実です」

「AIガバナンスの12のコア原則」

ベテランのAI開発者であるサラは、道徳的な十字路に立たされた一つのアルゴリズムは効率を最大化する一方で、プライバシーの犠牲が必要となる他方は個人データを保護するが、スピードに欠けるこれらの…

「ジェネレーティブAIによる先進的なトランスフォーマーで創造性を解き放つ」

導入人工知能の絶え間なく進化する風景において、近年際立った存在となっている名前があります。それがトランスフォーマーという強力なモデルです。これらのモデルは、AIにおける生成タスクのアプローチ方法を変革し、機械が創造し想像することのできる範囲を広げました。本記事では、トランスフォーマーの生成AIにおける高度な応用について掘り下げ、その内部構造、現実世界での使用事例、そしてこの分野への画期的な影響について探求します。学習目標トランスフォーマーの生成AIにおける役割と、さまざまな創造的な領域への影響を理解する。テキスト生成、チャットボット、コンテンツ作成、さらには画像生成などのタスクにトランスフォーマーを使用する方法を学ぶ。 MUSE-NET、DALL-Eなどの高度なトランスフォーマーについて学ぶ。トランスフォーマーの使用に伴う倫理的考慮事項と課題を探求する。トランスフォーマーベースのモデルの最新の進展と現実世界での応用について洞察を得る。この記事は、Data Science Blogathonの一環として掲載されました。トランスフォーマーの台頭先転げする前に、トランスフォーマーがどのようなものであり、なぜAIにおいて力強い存在になったのかを理解するための時間を取りましょう。トランスフォーマーは、その中核となるのは、シーケンシャルなデータに適用されるディープラーニングモデルです。これらは、2017年にVaswaniらによる画期的な論文「Attention Is All You Need」で紹介されました。トランスフォーマーの特徴は、予測を行う際にシーケンス全体の文脈を見つけたり認識したりすることができる注目メカニズムです。このイノベーションは、自然言語処理（NLP）と生成タスクの革命を助けます。トランスフォーマーは固定されたウィンドウサイズに頼るのではなく、シーケンスの異なる部分に動的に焦点を当てることができるため、コンテキストと関係をキャプチャするのに非常に適しています。自然言語生成への応用トランスフォーマーは、自然言語生成の領域で最も有名です。この領域でのいくつかの高度な応用について探求しましょう。 1. GPT-3とその先 Generative…

HNSW（Hierarchical Navigable Small World）への序章

イントロダクション AIの革新は驚異的なスピードで進んでいます。その革新のひとつがベクトル検索エンジンです。では、これらの検索エンジンとは何でしょうか？簡単に言えば、大規模な言語モデル(LLM)を訓練するためのもので、大量のデータセットを徹底的に調査し、関連する情報を選び出します。さて、このインデックス付けは、ベクトルデータベース内でさまざまな方法で行われますが、その中でも階層的ナビゲーション可能な小世界(HNSW)はパフォーマンスと拡張性に優れています。主要なベクトルストアはすべて、HNSWをインデックスメソッドとして提供しています。HNSWは高速で効率的、堅牢かつ信頼性があります。今回の記事では、HNSWの内部機能を解説し、なぜそれほど速いのかについて学びます。学習目標埋め込みとベクトルデータベースの理解。ベクトルデータベースにおけるインデックスの異なる方法について知る。 HNSWとは何か、その仕組みを学ぶ。 HNSWlib、ヘッダのみのHNSW実装を理解する。この記事は、Data Science Blogathonの一部として公開されました。埋め込みとは何ですか？埋め込みとは、データ（テキスト、画像）のベクトル表現です。意味的に関連するデータはベクトル空間で近接しており、異なるデータは離れています。言い換えれば、Messiやサッカーの埋め込みは埋め込み空間で近くに位置し、サッカーやJoe Bidenの埋め込みは埋め込み空間で遠くに位置しています。ベクトルの長さは数百から数千以上に及ぶことがあります。そのため、格納、クエリ、検索が困難です。しかし、リトリーバル強化生成（RAG）ベースのアプリケーションでは、データの埋め込みの高速な検索とクエリが必要です。ここでベクトルデータベースが登場します。ベクトルデータベースとは何ですか？従来のデータベースが構造化および非構造化データを格納することを目指しているのと同様に、ベクトルデータベースは高次元ベクトルの埋め込みを格納し、検索およびクエリを行います。ユーザーフレンドリーなインターフェースを提供し、埋め込みと関連データを操作できるようにします。ベクトルデータベースは基本的には従来のデータベースとは異なりません。ベクトルデータベースはシリアライズされた埋め込みを格納するために従来のデータベースを使用します。例えば、Chromaはメモリ内ストレージとしてSQLiteを使用し、Pgvectorは埋め込みと関連するメタデータを格納するためにPostgresデータベースを使用します。従来のデータベースとベクトルデータベースの違いは、基礎となるインデックスアルゴリズムです。ベクトルデータベースでのインデックス作成インデックス作成とは、最も近い近傍ベクトルの効率的なクエリを提供するために、高次元ベクトルを組織化するプロセスを指します。これは任意のベクトルデータベースの構築において最も重要な部分です。これらのインデックスは高次元埋め込みの高速かつ効率的なクエリを可能にします。ベクトルインデックスを作成するためには、次のような複数のインデックス作成方法があります。線形検索アルゴリズム（フラットインデックス）：これは線形検索アルゴリズムであり、データベースに格納されているすべてのベクトルとクエリベクトルを比較します。これは最も単純な方法であり、小規模なデータセットではうまく動作します。クラスタベースアルゴリズム（IVF）：反転ファイルはクラスタベースのインデックス技術です。k-meansクラスタリングを使用してすべてのベクトルをクラスタ化します。クエリベクトルが提供されると、クエリベクトルと各クラスタの重心の距離を計算します。そして、クエリベクトルに最も近い重心を持つクラスタで最近傍ベクトルを検索します。これにより、クエリ時間が大幅に短縮されます。量子化（スカラーおよびプロダクト量子化）：量子化技術は、大規模な埋め込みのメモリフットプリントを削減するために、精度を低下させる方法です。グラフベース（HNSW）：最も一般的なインデックス作成方法です。階層的なグラフアーキテクチャを使用してベクトルをインデックスします。そして、これについても探索します。…

Reka AIは、視覚センサと聴覚センサを備えたマルチモーダル言語アシスタントであるYasa-1を紹介しますYasa-1は、コードの実行を通じてアクションを起こすことができます

人工知能の進化する景色の中で、より高度で多機能な言語アシスタントの需要は着実に増加しています。課題は、テキストを完全に理解し、視覚的な情報や聴覚的な入力と対話することができる本格的なマルチモーダルAIを作成することにあります。この問題は、長い間AIの研究開発の最前線にあり、Rekaはその解決に向けて大胆な一歩を踏み出しました。 AIの世界における既存のソリューションは、主にテキストベースのアシスタントに焦点を当ててきました。これにより、我々の多様なメディアリッチな世界の複雑さを完全に把握する能力が制限されました。これらのソリューションは、多くの応用分野で間違いなく価値がありましたが、包括的かつマルチモーダルなアプローチの必要性はますます明らかになっています。 Yasa-1は、Rekaの画期的なマルチモーダルアシスタントです。Yasa-1は、情報が単語だけに制約されない現実の世界と、従来のテキストベースのAIとのギャップを埋めるように設計されています。これまでには可能でなかったことを超えて、テキストや画像、音声、短いビデオクリップを処理できる単一の統一モデルを提供します。これは、私たちの環境のマルチモーダル性を真に理解するAIアシスタントの創造における大きな進歩です。 Yasa-1の背後にある指標は、その能力を物語っています。長い文脈の文書処理を誇り、広範なテキスト情報をスムーズに処理します。最適化された検索強化型生成により、迅速かつ正確な応答を提供することができます。20言語のサポートにより、Yasa-1は言語の壁を取り払い、多言語コミュニケーションを促進します。検索エンジンインターフェースを備えたYasa-1は情報検索を向上させ、研究とデータ探索に欠かせないツールとなります。Yasa-1にはコードインタープリターも搭載されており、コード実行によるアクションを取ることができるため、自動化の可能性が広がります。結論として、RekaのYasa-1はAIアシスタントにおける画期的な進歩です。多機能で多様なアプリケーションに対応するさまざまな機能と能力を提供し、私たちが日々の生活でAIとのやり取りを革新することを約束しています。

Google DeepMindは、1M以上の軌跡データと汎用AIモデル（𝗥𝗧-X）を含むロボットデータセットであるOpen X-Embodimentをリリースし、ロボットが新しいスキルを学ぶ方法を進化させるための支援を行います

人工知能と機械学習の最新の進展は、多様で広範なデータセットからの大規模な学習能力を示し、非常に効果的なAIシステムの開発が可能であることを示しています。最良の例は、一般的なプリトレーニングモデルの作成であり、タスク固有の小規模なデータにトレーニングされた狭義の専門モデルよりも頻繁に優れた性能を示しています。オープンボキャブラリーの画像クラシファイアや大規模言語モデルは、専門化され制約のあるデータに基づいてトレーニングされたモデルと比較して、より優れたパフォーマンスを示しています。しかし、ロボティクスのための比較可能なデータセットの収集は、コンピュータビジョンや自然言語処理（NLP）とは対照的に困難です。これらの分野では、大規模なデータセットがインターネットから簡単にアクセスできます。一方、ロボットインタラクションのためのデータセットは、ビジョンとNLPのベンチマークと比較してはるかに小さく、多様性に欠けるものです。これらのデータセットは、特定の場所、アイテム、または制限されたグループのタスクに集中することがよくあります。ロボティクスの障壁を乗り越え、他の分野で効果を上げた大規模ビジョンや言語モデルに刺激を受けた大規模ロボット方針の開発に向け、研究チームが提案した解決策があります。チームはX具現トレーニングと呼ばれる手法を共有しています。この手法では、多くのロボットプラットフォームからのデータを利用して、汎用性のあるロボット方針を開発することが必要です。チームはOpen X-Embodiment (OXE) リポジトリを公開しました。これには、21の機関から22の異なるロボット具現を特集したデータセットと、X具現モデルに関する研究を促進するためのオープンソースツールが含まれています。このデータセットには、50万以上のエピソードで500以上のスキルと15万以上のタスクが示されています。主な目的は、異なるロボットと環境のデータを使用して学習されたポリシーが、1つの特定の評価セットアップのデータのみを使用して学習されたポリシーよりも利益を上げることを示すことです。研究者たちは、このデータセットで高容量モデルRT-Xをトレーニングしました。彼らの研究の主な発見は、RT-Xがポジティブな転移を示すということです。さまざまなロボットプラットフォームから学んだ知識を利用することで、この広範なデータセットのトレーニングにより、複数のロボットの能力を向上させることができます。この発見は、柔軟で効果的な一般的なロボットルールを、さまざまなロボットの文脈で実現することができる可能性を示唆しています。チームは、幅広いロボットデータセットを使用して2つのモデルをトレーニングしました。大規模なビジョン言語モデルRT-2と効果的なトランスフォーマーベースのモデルRT-1は、位置、方向、グリッパー関連のデータを表す7次元ベクトル形式でロボットのアクションを生成するためにトレーニングされました。これらのモデルは、ロボットがオブジェクトを扱い操作するのを容易にするために作られています。さらに、これらはより幅広い範囲のロボットアプリケーションとシナリオにおけるより良い一般化を可能にするかもしれません。まとめると、この研究は、NLPやコンピュータビジョンが成功してきたように、ロボティクスにおいてもプリトレーニングモデルを組み合わせるアイデアについて議論しています。実験結果は、ロボティクスの操作の文脈で、これらの一般的なX-ロボット戦略の可能性と効果を示しています。

清华大学和微软研究人员推出ToRA：用于数学问题解决的人工智能工具集成推理代理

“`html 人工知能と数学問題解決において、特に大規模な言語モデルの出現により、顕著な進展がなされています。しかし、これらのモデルは依然として複雑な数学的な課題に取り組んでいます。マイクロソフトと清華大学の研究者は、自然言語推論と外部計算ツールを組み合わせた画期的なアプローチである「Tool-integrated Reasoning Agents（TORA）」を紹介し、複雑な数学の問題に対処することを目指しています。研究者は、計算機、コードインタプリタ、およびシンボリックソルバなどの外部ツールを統合することで、これらの課題に対処しています。プログラムベースの手法は、推論タスクをプログラム合成タスクに変換することで効果的に推論を変革していますが、微妙な推論、計画、エラーハンドリングの問題があります。大規模な言語モデル（LLM）にこれらのツールを組み込むことで、推論と生成の性能が大幅に向上しました。LLM生成の軌跡を用いたナレッジ蒸留技術は、先生モデルから生徒モデルへの知識の転移にも役立っています。 LLMは、数学的な推論を含む言語タスクで注目すべき進展を遂げていますが、複雑な数学は依然として困難です。LLMの数学的な能力を高めるための現在の戦略は、ステップバイステップの自然言語推論とプログラム合成です。前者は意味的で抽象的な推論において優れていますが、後者は厳密な操作において優れており、方程式ソルバなどの特殊なツールを利用することができます。このアプローチは、数学的な推論データセットにおいてオープンソースモデルよりも優れた精度を持ち、特に競技レベルのMATHSデータセットで高い精度を達成しています。彼らの手法はまた、数学的な推論におけるツールの相互作用の利点と解決されていない課題に関する洞察を提供し、この領域における将来の研究を指針としています。 TORAモデルは、数学のデータセット上の対話型ツール使用軌跡を用いて訓練され、アノテーションによる模倣学習を適用し、出力空間形成による推論の挙動を洗練しました。訓練セットではGPT-4が多様な推論パターンを生成しました。プロンプトのキュレーションのため、命令と少量の例が交互に構成され、rationalesとプログラムの統合を行うTORAの効果も評価されました。重要な推論性能の向上が実現されています。特定された課題には、ジオメトリスペースのより深い理解と、中級代数と前計算問題における複雑な象徴的推論への対処が含まれます。 TORAは、自然言語の推論とプログラムベースのツール使用をシームレスに統合することで、数学的な推論を向上させます。TORAモデルは、十の数学的な推論データセットにおいて優れた性能を発揮し、平均して13％から19％の絶対的な改善を取り、プログラムベースの問題解決においても優れた性能を発揮しています。ツールの相互作用の利点と課題を分析するこの手法は、rationalesとプログラムの実行を交錯させるTORAのTool-integrated Reasoning形式の効果を示しています。 TORAは、自然言語原理とプログラムベースのツール使用を無理なく統合することにより、数学的な問題解決の前進を実現しています。既存の原理とプログラムベースの手法を凌駕し、さまざまな数学的な推論タスクにおいて最先端の性能を発揮しています。ツールの相互作用の利点と課題に関する包括的な分析は、将来の研究において重要な洞察を提供し、より高度かつ適応性のある推論エージェントの開発を約束しています。 “`

「Python標準ライブラリのNaN値」

「NaN」とは「Not-a-Number」の略であり、その名前が示す通り、数値ではないものを表します欠損値であることもありますが、数値としては扱えない非数値を表すこともあります...

Learn more about Search Results A - Page 175