Search Results A

マイクロソフトの研究者が「LoRAShear LLMの構造的な剪定と知識の回復に対する画期的な人工知能効率的アプローチ」を紹介

LLMは大量のテキストデータを処理し、関連情報を迅速に抽出することができます。これは、検索エンジン、質問応答システム、データ分析などに応用され、ユーザーが必要とする情報をより簡単に見つけるのに役立ちます。LLMは、即座に広範な情報データベースにアクセスすることにより、研究者、プロフェッショナル、様々な分野で知識を求める個人にとって価値のある情報を提供することで、人間の知識を補完することができます。知識の復元は、LLMにおいて最も重要なタスクの1つです。LLMにおける知識の復元には、ファインチューニングという一般的な方法があります。開発者は、事前学習済みのモデルを取り、特定のデータセットでファインチューニングすることで、その知識を更新することができます。最新のイベントや特定の領域についてのモデルを知識を持たせたい場合、関連するデータでのファインチューニングが役立ちます。LLMを維持する研究者や組織は、定期的に新しい情報でモデルを更新し、より最新のデータセットや特定の知識の更新手順でモデルを再学習しています。マイクロソフトの研究者は、LLMの枝刈りと知識の構造的な回復を効率的に行う革新的な手法を開発しました。これを「LoRAShear」と呼んでいます。構造的な枝刈りは、ニューラルネットワークのアーキテクチャの特定の要素を削除または減少させることで、より効率的でコンパクトで計算量の少ないものにすることを指します。彼らは、LoRAモジュールとの間で進行的な構造的な枝刈りを可能にするために、Lora Half-Space Projected Gradient（LHSPG）を提案し、さらに、事前学習と指示付きファインチューニングの両方の方法でのマルチステージのファインチューニングを行うためのダイナミックな知識回復ステージを導入しています。研究者たちは、LoRAShearをLoRAモジュールを持つLLMに適用することで、一般的なLLMに適用できると述べています。彼らのアプローチは、元のLLMおよびLoRAモジュールの依存関係グラフを作成するためのアルゴリズムを固有に定義します。また、LoRAモジュールからの情報を利用して重みを更新する構造的疎密最適化アルゴリズムも導入しており、知識の保存を向上させています。 LoRAPruneは、LoRAを反復的な構造的な枝刈りと組み合わせることで、パラメータの効率的なファインチューニングと直接的なハードウェアアクセラレーションを実現しています。彼らは、これはLoRAの重みと勾配のみを用いた枝刈り基準に依存しているため、メモリの効率的なアプローチであると述べています。彼らは、LLMを与えられた場合、トレースグラフを構築し、圧縮するノードグループを確立します。学習可能な変数を最小限の削除構造に分割し、学習可能な変数グループを再構成してLLMに返します。彼らは、これをオープンソースのLLAMAv1に実装することで、その効果を実証しています。20％削減されたLLAMAv1はパフォーマンスが1％低下し、50％削減されたモデルは評価ベンチマークで82％のパフォーマンスを保持することを発見しました。ただし、LLMへの適用は、大量の計算リソースと事前学習および指示付きファインチューニングデータセットの利用できない要件により、重要な課題に直面しています。今後の課題は、これを解決することです。

xAIはPromptIDEを発表しました：Promptエンジニアリングと人工知能AIの透明性における新たなフロンティア

人工知能開発における画期的な一手として、xAIはPromptIDEを公開しました。PromptIDEは、プロンプトエンジニアリングと機械学習モデルの解釈性を革新するために設計された最先端の統合開発環境です。この革新的なツールは、Grokプラットフォームの基本モデルであるGrok-1の複雑な解析に取り組むエンジニアや研究者にとって大変便利なものです。PromptIDEはモデルの思考プロセスに覗きを提供し、プロンプトに対する言語モデルの応答方法やその出力の精度と関連性を深く理解することが可能になります。 PromptIDEの中核にはPythonのコードエディタがあり、新たにリリースされたSDKとともに、複雑なプロンプト技術の実装が可能です。この強力な組み合わせにより、モデルのパラメータをリアルタイムに探索・操作することができます。 PromptIDEがもたらす最も重要な進歩の1つは、豊富な分析スイートです。プロンプトが実行されると、IDEはトークンごとの分解、サンプリング確率、代替トークンの提案、アテンションの可視化など、多くの情報を提供し、モデルの意思決定プロセスを詳しく分析できます。これらの技術的な特長に加えて、PromptIDEはユーザーエクスペリエンス向上のための使いやすい機能も提供しています。全てのプロンプトは自動的に保存され、変更履歴の追跡を簡単にするためのバージョン管理システムが組み込まれており、分析結果は比較的研究のために永久的に保存することができます。さらに、ファイル処理機能の追加により、環境内でデータのアップロードと処理が可能となります。SDKの並行処理機能により、非常に大規模なデータセットでも迅速に処理することができます。 xAIは単なるツールを提供するだけでなく、コミュニティを育てています。PromptIDEは共同作業を可能にし、ユーザーはボタンをクリックするだけでプロンプトと関連する分析結果を共有できます。この機能により、共有学習の経験とプロンプトエンジニアリング技術の累積的な進歩が実現されます。現在、PromptIDEはxAIのアーリーアクセスプログラムの参加者に限定されていますが、既にAIコミュニティで話題となっています。PromptIDEは、Grokの開発を加速するだけでなく、AIベースのアプリケーションの透明性と効果性を向上させる道を切り開くことが期待されています。 AI開発の新たな時代の門出に立つ今、PromptIDEは機械学習技術との対話、理解、ガバナンスの未来を形作る重要な役割を果たすことが予想されます。これはAIのよく分からないプロセスを明らかにし、開かれた進歩に取り組むxAIのコミットメントの証です。アーリーアクセスプログラムに興味がある方々は、PromptIDEの特徴について包括的な解説を期待することができます。これにより、透明で協力的、そして最も重要なことは手の届く範囲であるAI開発の未来の一端を垣間見ることができます。 Announcing the xAI PromptIDE The xAI PromptIDE is an integrated development environment for prompt…

ロボットが「グリップ」のアップグレードを取得：AO-Graspがロボットに物を落とさない技術を教えます！

近年、ロボットは製造業から医療まで、様々な産業でますます使用されています。しかし、彼らのタスクを遂行する効果は、環境との相互作用能力に大いに依存します。この相互作用の重要な側面の1つは、物体を掴む能力です。それがAO-Graspが登場する場所です-関節物体のために安定で信頼性のある掴みを生成するために設計された革新的な技術です。 AO-Graspは、合成および実世界のシナリオの両方で既存の手法よりも成功率を向上させ、ロボットがキャビネットや家電製品と効果的に相互作用することを可能にします。研究者は、グラスプ計画の文献で自分たちを位置づけ、安定した掴みの必要性と、行動可能性に焦点を当てた関節物体との相互作用において、包括的な解決策が必要であることを強調しています。既存の研究では、音響的で多様な握持掴みの生成に関する包括的な解決策が必要です。それはしばしばグラスプの生成を単純化したり、非握持相互作用ポリシーに焦点を当てたりします。彼らの研究では、実世界での評価の欠如と、関節物体のための広範なグラスプデータセットの重要性にも言及しています。それはこのような物体を掴むことの難しさと、適切な掴みポイントのための局所幾何学の理解の必要性を強調しています。提案された手法は、キャビネットや家電製品などの関節物体との相互作用の課題に取り組みます。そのような物体を掴むことは複雑であり、掴むことが安定し、実行可能であり、物体の関節構成に応じて掴むことが可能な領域が変化します。既存の研究は非関節物に焦点を当てているため、この論文ではAO-Graspデータセットとモデルを紹介し、関節物体上で安定した実行可能な掴みを生成するためのデータと方法を提供します。目的は、ロボットがこれらの物体とさまざまな操作タスクで効果的に相互作用できるようにすることです。研究者は、関節物体上で安定した実行可能な掴みを生成するためのAO-Graspメソッドを提案しています。それは2つのコンポーネントで構成されています：実行可能な掴みポイント予測モデルと最先端の剛体オブジェクト掴みアプローチです。予測モデルは、48Kのシンセティック関節物体上の実行可能な掴みを含むAO-Graspデータセットを使用して最適な掴みポイントを見つけます。モデルの方向予測性能は、ACRONYMデータセットでトレーニングされたCGNモデルと比較され、トレーニングデータの違いが強調されます。彼らの手法はまた、予測モデルのトレーニングと過学習を防ぐための疑似サンプリングラベルの使用に関する課題にも取り組んでいます。シミュレーションでは、AO-Graspは剛体および関節物体の既存のベースラインを上回る成功率を有しています。実世界のテストでは、そのシーンの67.5％で成功し、ベースラインの33.3％を超えています。AO-Graspは、さまざまな物体の状態とカテゴリにわたってContact-GraspNetとWhere2Actを常に上回ります。また、複数の可動部品を持つ物体に特に優れた掴みの可能性のヒートマップを生成します。閉じた状態では、CGNとの成功の差がより大きいため、AO-Graspは関節物体における効果的な方法です。AO-Graspは、訓練時に見かけないカテゴリに対して堅牢な汎化能力を示します。結論として、AO-Graspは、シミュレーションおよび実世界のシナリオで既存のベースラインを上回る、関節物体上で安定した実行可能な掴みを生成するための非常に効果的なソリューションを提供します。この手法は、AO-Graspデータセット（48Kのシミュレートされた掴みを含む）を利用し、物体部品の意味論と幾何学からの先行知識を活用して、集中的な掴み領域を克服します。研究はまた、損失関数やサンプリング戦略などの貴重な実装の詳細も提供しており、この分野でのさらなる進歩への道を開いています。

OpenAIはGPT-4 Turboを発表：カスタマイズ可能な人工知能の未来への飛躍

“`html イノベーションが急速で革命的な産業で、OpenAIは広く評価されている言語モデルのより強力でカスタマイズ可能なバージョンであるGPT-4 Turboを導入することで、人工知能が達成できる領域を再び押し広げました。 OpenAIのCEOであるSam Altman氏は、会社の年次DevDayカンファレンスで、この新しいモデルの能力を紹介しました。それは前任者から一歩、飛躍的に進んだものです。GPT-4 Turboは高精度化され、複雑な指示のより微妙な理解力を持っています。AIの風景において強力なツールとなっています。 GPT-4 Turboの強化された機能は、洗練されたテキスト生成に表れており、より多様な微妙な要求を容易に処理することができます。このモデルは要約を生成し、メールを作成し、さらには人間と機械生成のコンテンツとの区別が曖昧になるほどポリッシュされたレベルの記事の起草が可能です。しかし、イノベーションは性能向上で終わるわけではありません。OpenAIは個別の業界ニーズや会社の声に合わせてモデルを調整することで大きな進歩を遂げました。このカスタマイズの能力は重要であり、企業がブランドと運営基準に合わせてGPT-4 Turboをシームレスに統合し、自社の要件に合致した結果を提供する機会を提供します。 GPT-4 Turboのカスタマイズ性は、モデルの出力を制御する能力にも及んでおり、さらなる安全性とユーザーの意図との一致を提供しています。この機能はAIの開発における重要な懸念の1つであり、技術が倫理的に使用されて公共の利益の範囲内に留まることを保証します。 GPT-4 Turboの最も重要な含意の1つは、アクセシビリティの可能性です。Altman氏は、このモデルが障害を持つ個人を力に変える能力を強調し、デジタルプラットフォームとのコミュニケーションとインタラクションを向上させる支援技術となる可能性があると述べています。これらの進歩についての興奮が続く中、OpenAIは慎重に展開しています。同社は安全で責任あるAI開発に対するコミットメントを強化し、大いなる力には必要な監視が伴うことを保証しています。 GPT-4 Turboの導入は、OpenAIだけでなく、産業全体にとって転換期の瞬間です。これは道具にとどまらず、協力者、創造者、そしてデジタル進化において守りたい価値観の管理者となるAIの将来を予示しています。要点： OpenAIのGPT-4 Turboは、テキスト生成機能が前例のない強力で微妙な言語モデルのバージョンです。新しいモデルは幅広いカスタマイズが可能であり、開発者は特定の産業ニーズや企業のブランディングに合わせて調整することができます。 GPT-4 Turboには、ユーザーの意図に合った安全な出力を確保するための高度な制御機能が付属しており、AIにおける倫理的な考慮事項に対応しています。このモデルは、障害を持つ個人を支援する可能性を広げることで、アクセシビリティの向上につながります。…

このAIの論文は、ディフュージョンモデルを向上させるためのDiffEncを発表します

拡散モデルは、画像、音声、ビデオ、音楽などの多様な生成タスクで優れた性能を発揮するパワフルなモデルです。優れたビジュアルクオリティと密度推定により、画像生成において最先端のパフォーマンスを実現することができます。拡散モデルは、画像にランダムノイズを徐々に追加し、プロセスを逆に学習して所望の高品質な画像を生成するためのマルコフ連鎖を定義しています。拡散モデルは階層的なフレームワークとして動作し、逐次的に生成される一連の潜在変数がお互いに依存し合います。拡散モデルのアーキテクチャには以下の制約があります：データにノイズを導入するプロセスは簡単かつ固定されています。各層の隠れた変数は前のステップにのみ依存しています。モデル内のすべてのステップで同じパラメータを共有しています。上記の制約にもかかわらず、拡散モデルは非常にスケーラブルで柔軟です。この論文では、研究者のグループが柔軟性をさらに向上させるための新しいフレームワークであるDiffEnfを紹介しています。従来のノイズの追加方法とは異なり、研究者たちは時系列的なエンコーダを導入し、拡散プロセスの平均値をパラメータ化しています。エンコーダは基本的には特定の時間でエンコードされた画像を予測します。さらに、このエンコーダは訓練フェーズのみで使用され、サンプリングプロセス中には使用されません。これらの2つの特性により、DiffEncはサンプリング時間に影響を与えることなく、従来の拡散モデルよりも柔軟性を高めることができます。評価のために、研究者たちはCIFAR-10とMNISTという2つの人気データセットを用いて、異なるバージョンのDiffEncを標準VDM基準と比較しました。DiffEnc-32-4モデルは、以前の研究やVDMv-32モデルよりも低いビット/次元（BPD）の観点で優れたワークを示しています。これは、エンコーダがサンプリング中には使用されないにもかかわらず、エンコーダが拡散プロセスの改善に寄与していることを示しています。また、結果はDiffEnc-32-4の拡散損失の改善による合計損失の差が主な要因であることも示しており、エンコーダの拡散プロセスにおける役割が示されています。研究者たちはまた、エンコーダのサイズを増やしてもVDMと比較して平均拡散損失に大きな改善が見られないことを観察しました。これは、有意な違いを実現するためには、より長いトレーニングが必要であり、エンコーダの機能を十分に活用するためにはより大きな拡散モデルが必要かもしれないという仮説です。結果は、時間依存のエンコーダを追加することで拡散プロセスを改善することができることを示しています。エンコーダはサンプリング時間を増やさないものの、サンプリングプロセスは生成的対抗ネットワーク（GAN）と比較して依然として遅くなります。それにもかかわらず、この制約にもかかわらず、DiffEncは拡散モデルの柔軟性を向上させ、CIFAR-10データセットで最先端の尤度を達成することができます。さらに、研究者たちはこのフレームワークを潜在的な拡散、識別器ガイダンス、一貫性正則化などの他の既存の手法と組み合わせることで、学習された表現を改善し、さまざまな画像生成タスクへの新たな可能性を切り拓くことができると提案しています。

サリー大学の研究者が新しい人工知能（AI）モデルを開発しましたこのモデルは、通信ネットワークが最大76％ものネットワークを節約できる可能性があります

オープン・ラジオ・アクセス・ネットワーク（O-RAN）は、分離されたラジオ・アクセス・ネットワーク（RAN）に知能を注入し、オープンなインターフェイスを介して仮想ネットワーク機能（VNF）として機能を実装することによって、通信分野を変革しました。しかし、現実のO-RAN環境におけるトラフィック条件のダイナミックな性質により、実行時にVNFの再構成が必要となることが多く、過剰なコストとトラフィックの不安定性を引き起こします。この課題に対応するため、サリー大学の研究者たちは、IEEE Transactions on Network Service Managementで最近公開された研究で、ネットワークを数学的にモデル化し、AIを活用して計算能力の割り当てを最適化する方法を詳細に説明しています。この革新的なモデルにより、帯域幅の利用効率を著しく向上させる可能性があります。このアプローチは、VNFの計算コストと定期的な再構成に伴うオーバヘッドを最小限に抑えます。この革新的なソリューションの評価では、VNFの再構成オーバヘッドが最大76％削減されるなど、大幅な改善が示されました。一方で、計算コストは最大23％増加しました。 O-RANは、需要の変化に応じてネットワーク全体で計算能力を移動できるようにすることで、通信業界を変革しましたが、既存の技術はネットワーク需要の急速な変化に対応するのに苦労していると研究者たちは指摘しています。提案されたAI駆動の手法は、通信業者がネットワークの効率を向上させ、より強靭でエネルギー効率の高いネットワークを構築することができると信じています。通信企業は、研究結果を活用してネットワークの効率をさらに向上させることができます。これにより、エネルギー消費を削減し、システムの強靭さを高めることができます。サリー大学の上級講師であるムハンマド・ショージャファル博士、この研究の共同著者は、この手法はOpen RAN上のトラフィック要求に対して堅牢でインテリジェントなアプリケーションを作成しようとするものであり、次世代の通信ネットワークはこの研究によって形作られる可能性があると述べています。この研究は容易に実装することができます。

Learn more about Search Results A - Page 106

マイクロソフトの研究者が「LoRAShear LLMの構造的な剪定と知識の回復に対する画期的な人工知能効率的アプローチ」を紹介

xAIはPromptIDEを発表しました：Promptエンジニアリングと人工知能AIの透明性における新たなフロンティア

ロボットが「グリップ」のアップグレードを取得：AO-Graspがロボットに物を落とさない技術を教えます！

OpenAIはGPT-4 Turboを発表：カスタマイズ可能な人工知能の未来への飛躍

このAIの論文は、ディフュージョンモデルを向上させるためのDiffEncを発表します

サリー大学の研究者が新しい人工知能（AI）モデルを開発しましたこのモデルは、通信ネットワークが最大76％ものネットワークを節約できる可能性があります

リフレックスを使って、純粋なPythonでChatGPTに似たWebアプリを作成する

OpenAI API — イントロ＆ChatGPTの背後にあるモデルの11の実践的な実装例

「JAXとHaikuを使用してゼロからTransformerエンコーダを実装する🤖」

大規模言語モデル、ALBERT – 自己教示学習用のLite BERT

Find the right Blockchain Investment for you