Search Results A

オープンAIによるこの動きは、AGIへの道を開くだろう

人工知能（AI）の能力向上を目指した画期的な取り組みの一環として、OpenAIはデータパートナーシップイニシアチブを発表しました。このプログラムは、世界の組織との協力を招き、包括的な公共およびプライベートデータセットの共同構築を目指してAIモデルのトレーニングを強化し、AGIへの道を切り拓くことを目的としています。多様なトレーニングデータセットの必要性現代のAIの基盤は、人間社会の複雑さを理解する能力にあります。OpenAIは、さまざまな主題、産業、文化、言語を深く理解するAIモデルの作成の重要性を強調しつつ、トレーニングデータセットの幅広さと深さがこれを実現する鍵であることを認識しています。既存のパートナーとの協力 OpenAIは、国や産業に特化したデータの貢献に熱心な複数のパートナーと緊密に協力しています。アイスランド政府やMiðeind ehfとの最近の連携では、AIに適したキュレートされたデータセットを統合することで、GPT-4のアイスランド語能力を向上させる取り組みが行われています。さらに、OpenAIはFree Law Projectと提携し、法的理解へのアクセスを民主化するために広範な法的文書のコレクションをAIのトレーニングに組み込んでいます。 OpenAIが求めるデータの種類 OpenAIは、人間社会を反映し、オンラインでは簡単に入手できない大規模なデータセットを積極的に求めています。テキスト、画像、音声、ビデオなど、さまざまなモダリティのデータを対象とし、言語、トピック、形式にわたる人間の意図を伝えるデータセットに特に関心を持っています。パートナーシップの機会と方法 OpenAIは、組織がこの革新的な取り組みに貢献するための2つの方法を提供しています: オープンソースアーカイブ：OpenAIは、言語モデルのトレーニング用のオープンソースデータセットの共同作成パートナーを募集しています。このデータセットは一般に公開され、より広範なAIエコシステムに貢献します。プライベートデータセット：データを機密に保ちながらAIモデルの理解を向上させたい組織に対して、OpenAIはプライベートデータセットの作成オプションを提供しています。OpenAIは、最高水準の機密性とアクセス制御を確保し、データの機密性を保ちながらAIの進歩の恩恵を受けることができるよう支援します。私たちの意見 OpenAIのデータパートナーシップイニシアティブは、AIの進歩を民主化するための重要な一歩です。組織が独自のデータセットを共有することを奨励することで、OpenAIはより安全で人類にとって有益なモデルを作り出すことを目指しています。この協力的な取り組みは、真にグローバルなコミュニティに奉仕する人工汎用知能（AGI）を実現する旅路における転換点を示しています。OpenAIは、潜在的なパートナーがAI研究の未来を形作るために手を結ぶことと、私たちの世界を包括的に理解するモデルの開発に貢献することを歓迎しています。

スケーリングダウン、スケーリングアップ：モデルの量子化での生成AIのマスタリング

紹介人工知能の進化する風景の中で、生成型AIは確実に革新の中核となってきました。これらの高度なモデルは、芸術の創造、テキストの生成、医療画像の向上などに使用され、驚くほどリアルで創造的な結果を生み出すことで知られています。ただし、生成型AIの力は、モデルサイズと計算要件を必要とします。生成型AIモデルが複雑さとサイズを増すと、より多くの計算リソースとストレージ容量を要求します。これは特に、これらのモデルをエッジデバイスやリソース制約のある環境に展開する際には大きな障害となる場合があります。ここで、モデル量子化を使用する生成型AIが登場し、品質を犠牲にすることなくこれら巨大なモデルを縮小する方法を提供します。出典 – Qualcomm 学習目標生成型AIの文脈におけるモデル量子化の概念を理解する。モデル量子化の実装に関連する利点と課題を探索する。芸術の生成、医療画像、テキスト作成における量子化された生成型AIモデルの実世界の応用について学ぶ。 TensorFlow LiteとPyTorchのダイナミック量子化を使用したモデル量子化のためのコードスニペットに関する洞察を得る。この記事はデータサイエンスブログマラソンの一環として公開されました。モデル量子化の理解出典 – Youtube.com 簡単に言えば、モデル量子化は、モデルのパラメータの数値の精度を低下させます。ディープラーニングモデルでは、ニューラルネットワークはしばしば高精度の浮動小数点値（例：32ビットまたは64ビット）を使用して、重みと活性化を表現します。モデル量子化は、これらの値をより低精度の表現（例：8ビット整数）に変換しながら、モデルの機能性を維持します。生成型AIにおけるモデル量子化の利点メモリの使用量削減：モデル量子化の最も顕著な利点は、メモリ使用量の大幅な削減です。モデルのサイズが小さくなることで、生成型AIをエッジデバイス、モバイルアプリケーション、メモリ容量の制約がある環境に展開することが可能となります。高速な推論：量子化されたモデルはデータサイズが小さくなるため、より高速に実行します。この速度の向上は、ビデオ処理、自然言語理解、自動運転などのリアルタイムアプリケーションにおいて重要です。エネルギー効率：モデルサイズの縮小はエネルギー効率に貢献し、バッテリ駆動デバイスやエネルギー消費が懸念される環境で生成型AIモデルを実行することが実用的になります。コスト削減：モデルのフットプリントが小さくなることは、開発者およびエンドユーザーにコスト削減をもたらします。ストレージおよび帯域幅の要件が低くなるためです。生成型AIにおけるモデル量子化の課題利点がある一方、生成型AIにおけるモデル量子化にはいくつかの課題があります：…

中国のこのAI論文は、ダイナミックなSLAM環境における革新的な時間変動NeRFアプローチを紹介しています：トラッキングとマッピングの精度を向上させる

コンピュータビジョンとロボット工学において、同時の位置推定と地図作成（SLAM）システムは、機械が周囲の環境をナビゲートし理解することを可能にします。ただし、動的環境の正確なマッピング、特に移動オブジェクトの再構築は、従来のSLAM手法にとって大きな課題でした。最近のブレイクスルーでは、研究チームがニューラルインプリシット表現を動的領域で活用する画期的なソリューション、TiV-NeRFフレームワークを導入し、密なSLAM技術を革新しています。事前学習モデルへの依存を軽減し、重複率に基づく革新的なキーフレーム選択戦略を取り入れることで、この手法は3D環境理解と再構築の重要な進歩となります。従来の手法の限界に取り組むため、中国の研究者チームは、3D空間位置を4Dの時空間位置に拡張する革新的な戦略を採用しました。この時間変動表現をSLAMシステムに統合することで、環境内の動的オブジェクトのより正確な再構築が可能になります。このイノベーションは、動的シーンの正確で包括的なマッピングのための新たな可能性を開拓する、この分野における大きな進歩です。提案手法の主なハイライトの一つは、重複率に基づくキーフレーム選択戦略の導入です。従来の手法とは異なり、この戦略により、より頑健で安定した再構築プロセスが可能となり、従来のSLAMシステムによく見られるゴーストトレイル効果やギャップの問題が軽減されます。現在のフレームとキーフレームデータベースとの重複率を正確に計算することで、システムはより包括的で正確な動的オブジェクトの再構築を実現し、SLAM分野における新たな基準を設定します。提案手法は合成データセットで有望なパフォーマンスを示していますが、研究チームはさらなる実世界のシーケンス評価の必要性を認識しています。高速な動的オブジェクトが存在する環境は、カメラ姿勢推定の正確さに影響を与える可能性があります。そのため、チームはシステムのパフォーマンスを改善し、これらの課題に効果的に対応するための継続的な研究の重要性を強調しています。この革新的な手法は、既存の手法がもたらす制限に対する有望な解決策を提供することにより、密なSLAMにおける注目すべき進展を示しています。ニューラルインプリシット表現を活用し、重複率に基づくキーフレーム選択戦略を実装することで、研究チームは動的シーンのより正確で包括的な再構築の道を切り拓きました。ただし、現在の限界を認識しつつも、より広範な実世界の評価と、高速移動するオブジェクトを持つ動的環境におけるカメラ姿勢推定の改善が求められるため、今後の発展と実際のシナリオへの適用の可能性には大いなる期待が寄せられます。まとめると、この研究は動的環境と包括的なオブジェクト再構築に重点を置いたSLAMシステムの進化において、大きな前進です。提案手法のニューラルインプリシット表現と効率的な重複率に基づくキーフレーム選択戦略は、動的シーンの取り扱いにおいてより頑健で安定したアプローチを提供し、SLAMシステムのパラダイムの転換を象徴しています。現在の制限はあるものの、実世界のシナリオにおける評価の拡充と、動的環境におけるカメラ姿勢推定の向上の可能性は、密なSLAM技術の将来において大きな期待を持っています。

PythonでのChatGPT統合：AI会話の力を解き放つ

このブログでは、PythonとのChatGPTの統合について掘り下げ、さまざまなアプリケーションにChatGPTをPythonと統合する方法について説明します

「GenAIのモデルの出力を改善する方法」

ジェネレーティブAIは、DLアルゴリズムのおかげで強力なコンテンツ生成器に進化しましたただし、より正確な結果を得るためには、異なるサイクルと反復を使用することができます

生成AIの逆説を調和させる：生成と理解における人間と機械の知能の相反する進化の道

ChatGPTからGPT4まで、DALL-E 2/3、Midjourneyまで、最新の生成AIの波は世界中で前例のない注目を集めています。この魅力は、「知性」と思われるものは人間の能力をも超えることで、それに対する深刻なリスクへの懸念とともに抑制されています。現在の生成モデルは、言語と視覚の両分野での長年の経験と専門知識を持つ専門家にも挑戦できる結果を生み出す可能性があり、これは機械が人間の知能を超えたという主張を説得力を持って支持しています。同時に、モデルの出力を詳しく調べると、専門家でない人にとっても驚きのある基本的な理解のミスが明らかになります。これは、矛盾のように思える問題を提起します：これらのモデルの明らかに超人的な力をどのように説明できるのか、同時に多くの人が修正できる基本的なミスを保持しています。彼らは、現在の生成モデルの能力構成と人間の知能の構成との違いからこの矛盾が生じると示唆しています。具体的には、ワシントン大学とアレン人工知能研究所の研究者たちは、この研究で「生成AIパラドックス仮説」を提案し、調査しました。この仮説は、生成モデルは専門家のような出力を直接生成するように訓練されているため、専門家のような出力通訳よりも創造的である可能性があるというものです。対照的に、人々はほとんど常に専門家レベルの結果を提供する前に基礎的な理解を必要とします。彼らは制御された研究で、言語と視覚のモーダリティを横断する生成モデルの生成と理解の能力を評価するために、「理解」という概念を構築するために2つの観点を使用します。つまり、1）生成タスクが与えられた場合、モデルは同じタスクの識別バージョンで適切な回答を選択できるか、および2）正解である場合、モデルは生成された応答の性質と適格性についてのクエリにどの程度応答できるかということです。したがって、2つの異なる実験設定があります：尋問と選択です。彼らの結果はタスクやモーダリティによって異なるものの、特定の傾向が明らかになります。選択的評価においては、モデルは生成タスクの文脈でしばしば人と同等のパフォーマンスを発揮するか、さらに優れていますが、識別的な状況では人間ほど優れていません。後続の調査では、人間の識別パフォーマンスは敵対的な入力に対してより強く、GPT4よりも生成パフォーマンスとより密接に関連していることが明らかになります。モデルと人間の識別のギャップは、タスクの複雑さが増すにつれて拡大します。同様に、尋問評価ではモデルは様々なタスクに対して高品質な出力を提供できますが、同じ生成に関する質問に答える際には頻繁にミスを comしがちであり、彼らの理解力は人間の理解力で改善が必要です。著者たちは、生成モデルと人間の能力構成の違いに関するさまざまな説明を検討しています。たとえば、モデルトレーニングの目標や入力の種類と量などです。彼らの結論には、いくつかの重要な影響があります。まず、現在の知性に基づいている現行の人間の経験に基づく考えが人工知能には適応しないかもしれないことを示唆しています。AIの能力は多くの側面で人間の知性に類似しているかまたはそれを超えていますが、その実際の特性は人間の思考プロセスの予想されるパターンとは大幅に異なる場合があります。反対に、彼らの結果は、生成モデルから人間の知性と認知についての結論を引き出すことはできないと警告しています。なぜなら、生成モデルの専門家のような出力は、非人間的なメカニズムを覆い隠している可能性があるからです。全体として、モデルを人間の知性と比較するのではなく、生成AIのパラドックスはそれらを興味深い対照として見ることを示唆しています。

NVIDIAとUTオースティンの研究者がMimicGenを紹介：ロボティクスのための自律的なデータ生成システム

様々な操作動作をロボットに学習させるために、人間のデモンストレーションを模倣学習することが可能になりました。人間のオペレータは、さまざまな制御インターフェースを介してロボットアームをテレオペレートし、ロボットが異なる操作タスクを実行する様々なデモンストレーションを生成し、そのデータを使用してロボットにこれらのタスクを独立して実行させるように学習させる方法が一般的です。最近の取り組みでは、より多くのデータをより多くの人間オペレータの大規模なグループから、より広範な機能領域で収集することで、このパラダイムを拡大しようとする試みが行われています。これらの研究では、大規模で多様なデータセット上の模倣学習が印象的な性能を示し、ロボットが新しいオブジェクトや未知のタスクに対して汎化できることを示しています。これは、幅広く優れたロボットを作成するための重要な第一歩であることを意味しています。しかし、これは高価で時間のかかる人間の作業によってのみ可能な達成です。例えば、コーラの缶を一つのビンから別のビンに移動させるエージェントのケーススタディを見てみましょう。この単純な作業においても、200のデモが必要で、成功率は73.3%でした。さらに、最近の試みでは、様々なシーンやアイテムの設定に拡大するために、数万のデモが必要であることが明らかになりました。例えば、20,000の軌跡データを使用して、オブジェクトや目標のわずかな変化に対する課題を一般化できることが示されています。図1：研究者たちは、既存のデモを新しいコンテキストで有用に着想し、大規模で多様なデータセットを生成するデータ生成システムを提供しています。彼らはMimicGenを使用して、様々なアイテム、ロボットギア、シーンの設定に対してデータを提供しています。約1.5年にわたるデータ収集の取り組みで、NVIDIAとUT Austinの研究者は、複数の人間オペレータ、複数のキッチン、ロボットアームを使用して、キッチン内の物事を再配置、清掃、回復するためのルールを97%の成功率で作成しました。ただし、実世界のキッチンでこのシステムを実装するためには、必要なデータを収集するために何年もかかることがまだわかっていません。彼らは、「このデータはどの程度異なる操作動作から構成されているのか」と尋ねています。これらのデータセットには、さまざまな設定や状況で使用される類似の変更技術が含まれる場合があります。たとえば、カップを掴む場合、カップの配置に関係なく、人間のオペレータは非常に似たようなロボットの軌跡を示すかもしれません。これらの軌跡をさまざまな状況に適用することで、様々な操作動作を生成するのに役立ちます。しかし、これらの手法の適用範囲は、特定のタスクやアルゴリズムに対する仮定により制約されています。それよりも、彼らは現在の模倣学習プロセスに簡単に組み込むことができ、さまざまな活動のパフォーマンスを向上させることができる普遍的なシステムを作成したいと考えています。この研究では、限られた数の人間の例から自動的に多数のシナリオで巨大なデータセットを生成するユニークなデータ収集手法であるMimicGenを提案しています。彼らの手法は、ヒトのデモンストレーションをオブジェクトにフォーカスしたパーツに分割し、それらを空間上で変形させ、組み合わせ、ロボットにこの新しい経路をたどるように指示して、異なるオブジェクトの姿勢を持つ新たなシナリオで最新のデモンストレーションを収集するものです。単純な手法ですが、この手法は様々なシナリオから大規模なデータセットを生成するのに非常に適していることがわかりました。これらのデータセットは、模倣学習を使用して有能なエージェントの訓練に使用することができます。彼らの貢献は以下の通りです： • NVIDIAとUT Austinの研究者が、限られた数の人間のデモンストレーションを利用して、新しい状況適応を用いた技術で大規模で多様なデータセットを作成するMimicGenを提案しています。 • 彼らは、MimicGenが高品質のデータを提供できることを示しています。これらのデータは、元のデモには含まれていないさまざまなシーンの設定、オブジェクトのインスタンス、ロボットアームに対して訓練されたスキルのあるエージェントを模倣学習で訓練するのに適しています（図1を参照）。ピック＆プレース、挿入、関節オブジェクトとのインターフェースなど、MimicGenが広範で高精度なアクティビティに適しており、異なる操作能力が求められます。200の元の人間のデモで、彼らは2つのシミュレータと実際のロボットアームを使って、18のジョブのために50,000以上の追加のデモを生成しました。 • 彼らの方法は、より多くの人間のデモを集める代替方法と同等のパフォーマンスを発揮します。これは、いつ追加データを人間から要求する必要があるかについて重要な懸念を引き起こします。MimicGenを使用して同じ量の合成データを生成する（例：10人から生成された200のデモと200人のデモ）と、エージェントのパフォーマンスが同等になります。

正確なクラスタリングを簡単にする方法：kscorerの最適なK-meansクラスタを自動選択するガイド

kscorerはクラスタリングプロセスを効率化し、高度なスコアリングと並列化を通じたデータ分析への実用的なアプローチを提供します

Google AIは、埋め込みモデルのスケーラビリティの利点と、クロスアテンションモデルの品質を効果的に組み合わせた新しいクラスタリングアルゴリズムを紹介します

画像：クラスタリングは、データマイニングや教師なし機械学習の領域で基本的かつ広範な課題として用いられています。その目的は、似たアイテムを異なるグループにまとめることです。クラスタリングには2つのタイプがあります：メトリッククラスタリングとグラフクラスタリングです。メトリッククラスタリングでは、データ点間の距離を設定する特定のメトリック空間を使用します。これらの距離は、データ点をグループ化するための基準となります。一方、グラフクラスタリングでは、類似したデータ点をエッジで結ぶ与えられたグラフを使用します。クラスタリングプロセスは、これらのデータ点を結ぶ関係に基づいてデータ点をグループ化します。 BERTやRoBERTaなどの埋め込みモデルを用いてメトリッククラスタリング問題を定式化するクラスタリング戦略もあります。また、他のアプローチとして、PaLMやGPTなどのクロスアテンション（CA）モデルを使用してグラフクラスタリング問題を確立する方法があります。CAモデルは非常に正確な類似性スコアを提供できますが、入力グラフの構築にはモデルへの推論呼び出しの二乗の数が必要となる場合があります。一方、埋め込みモデルによって生成される埋め込み間の距離は、効果的なメトリック空間を定義することができます。研究者たちは、「KwikBucks: Correlation Clustering with Cheap-Weak and Expensive-Strong Signals」というクラスタリングアルゴリズムを提案しました。この革新的なアルゴリズムは、埋め込みモデルの拡張性の利点とCAモデルが提供する優れた品質をうまく組み合わせています。グラフクラスタリングのためのアルゴリズムは、CAモデルと埋め込みモデルの両方にクエリアクセスを持っていますが、CAモデルへのクエリ数に制約が課せられています。このアルゴリズムでは、CAモデルをエッジクエリに対応するために使用し、埋め込みモデルからの類似性スコアに無制限アクセスを活用します。このプロセスは、まず非類似のエッジを共有しないセンターと呼ばれるドキュメントのセットを特定し、それらのセンターに基づいてクラスタを作成することから始まります。また、高品質な情報を提供するCross-Attention（CA）モデルと埋め込みモデルの効果的な操作をバランスさせるために、コンボ類似性オラクルと呼ばれる手法が提示されています。この手法では、埋め込みモデルを使用してCAモデルに対してクエリを適切に指示します。センターの集合とターゲットドキュメントが与えられた場合、コンボ類似性オラクルメカニズムは、ターゲットドキュメントと類似性が存在する場合にセットからターゲットドキュメントに類似したセンターを特定することで出力を生成します。このコンボ類似性オラクルは、センターの選択とクラスタの形成時にCAモデルへのクエリ呼び出しの数を制限することで、割り当てられた予算を節約するのに役立ちます。これは、まず埋め込みの類似性に基づいてセンターをランキングし、その後CAモデルに識別されたペアのクエリを行うことによって達成されます。初期のクラスタリングに続いて、クラスタは統合されるという後処理のステップも行われます。統合は、2つのクラスタ間で強い接続が確認された場合に行われます。具体的には、接続エッジの数が2つのクラスタ間の欠落エッジの数を超える場合に行われます。研究者たちは、さまざまな特徴を持ついくつかのデータセットでアルゴリズムをテストしました。アルゴリズムのパフォーマンスは、埋め込みとクロスアテンションに基づくさまざまなモデルを使用して、2つの最も優れたベースラインアルゴリズムと比較してテストされました。提案されたクエリ効率の高い相関クラスタリングアプローチは、クロスアテンション（CA）モデルと予算制限内のクラスタリング機能のみを使用します。このため、k最近傍グラフ（kNN）を使用して、スペクトラルクラスタリングを適用します。各頂点のk最近傍ノードをCAモデルにクエリするための埋め込みベースの類似性を使用して、このグラフを作成します。評価では、適合率と再現率の計算が行われます。適合率は、共にクラスタリングされたペアのうち類似なペアの割合を示し、再現率は、共にクラスタリングされた類似ペアの割合を示します。

オープンAIは、最新のモデルGPT-4 Turboを発表しました

今週、OpenAIは公式ウェブサイトのブログを通じて、ChatGPTの複数の新機能を発表しましたまた、彼らは最近の開発者会議で、他のAIパワードツールに関する新しい情報も公開しました2023年はGPTのリリースの年になるようで、実際、OpenAIは3月にGPT-4を発表しました

Learn more about Search Results A - Page 97