Search Results Meta

アレクサ・ゴルディッチとともにAIキャリアを築く

In this episode of Leading with Data, we have Aleksa Gordić with us. He is a self-taught enthusiast who transitioned from electrical engineering to…

「インフレクションは、世界で最高のAIモデルであり、そのクラスのコンピューティングでは世界で2番目に能力のあるLLMです」

Inflection AIは、最高のLarge Language Modelを開発しました。同社のモデルであるInflection-2は、オープンAIの最新作品に続いて世界で2番目に優れた能力をもっていると述べています。このような高度なモデルの必要性は、さまざまなタスクで人間に似たテキストの理解と生成ができるAIアプリケーションの需要の増加から生じています。 AI言語モデルの領域では、GoogleやMetaなどの企業から既に注目すべきソリューションが存在します。しかし、Inflection-2は、事実の知識、推論能力、スタイルの制御を向上させることでこれらを上回ることを目指しています。研究チームは、そのモデルの優位性を示すためにさまざまなテストを実施し、常識や数理論理の分野で優れた能力を発揮しました。特に、モデルのトレーニング中の主な焦点ではなかったコーディングや数理論理の分野でも、有望な能力を示しました。 Inflection AIは、さまざまなタスクで他のモデルと比較して、ベンチマークテストを実施しました。印象的なことに、Inflection-2は科学的な質問応答データセットでGoogleの最新モデルを上回り、複数のベンチマークでMetaのモデルを超えました。チームは、パーソナルAIアシスタントのチャットボットであるPiにInflection-2を統合する準備を進めており、効率の改善を約束しています。 Inflection-2のトレーニングプロセスでは、膨大な数のGPU（グラフィックス処理ユニット）を利用して驚異的な計算を行いました。同社は、GPUクラスターを使用してさらに大きなモデルを訓練することを目指し、そのモデルを指数関数的に拡大する計画です。チームは、AIの開発における倫理的な考慮の重要性を強調し、責任あるスケーリングを重視しています。巨大なリソースを持つOpenAIのような巨大企業が支配するAIの競争の風景では、Inflectionのようなスタートアップは効率を戦略的に最適化しています。そうすることで、彼らは小規模でもモデルに大きな影響を与えることができます。Inflection-2の発表は、AIの領域における競争の激化を示しており、スタートアップが既存の主要プレーヤーに挑戦することを目指しています。まとめると、Inflection-2の登場は、革新的なAIを開発する競争の重要な進展を象徴しています。そのベンチマークの結果とスケーリングの意欲により、強力な言語モデルの創造において厳しい競争相手になる可能性があります。AIが進歩し続ける中、競争は激化しており、倫理的な開発を保証しながら次のレベルの能力を開拓する企業がAIアプリケーションの未来を形成する上で決定的な優位性を得るかもしれません。この記事の元となった投稿は、Inflection Introduces Inflection-2: The Best AI Model in the World for Its Compute Class…

メタリサーチは、システム2アテンション（S2A）を導入します：入力コンテキストの重要な部分を決定するためのAI技術で、優れた応答を生成する能力がございます

大型言語モデル（LLM）は、さまざまな言語タスクにおいて非常に優れた能力を示していますが、非常に単純なミスを犯すことがあります。関連性のない文脈から誤った判断をすることがあったり、シコファンシーと呼ばれる問題を示すこともあります。シコファンシーとは、モデルが入力テキストに同意するものの、それが間違っている場合です。研究者たちは、教師ありトレーニングデータを増やすことや、強化学習の戦略を用いることでこれらの問題に取り組んできました。しかし、より効果的な解決策は、トランスフォーマーのアーキテクチャに潜在的なボトルネックを修正することです、特にアテンションメカニズムです。トランスフォーマー内のソフトアテンションは、関連のない塊を含む大部分の入力テキストに重要性を付ける傾向があります。さらに、トレーニングの方法により、繰り返されたトークンに重点を置きすぎるため、上記の問題が生じることがあります。Metaの研究チームが紹介したSystem 2 Attention（S2A）という新しい手法は、命令にチューニングされたLLMを利用して、入力コンテキストの最も関連性のある部分を特定・抽出し、不必要な情報の影響を軽減するものです。この方法のさらなる利点は、人間が注意を扱う方法と同様に、LLMの注意の焦点を制御することが可能となることです。トランスフォーマー内のアテンションメカニズムは、テキスト内の相関関係を特定することを可能にします。これはモデルの次の単語予測能力を向上させますが、同じくらい偽相関に惑わされやすくもなります。テキスト内の繰り返し単語の確率は、各反復で増加し、特定のトピックに固執するような正のフィードバックループを作り出します。S2Aの動作方法は、まずコンテキストから不要な部分を削除し、同じものを再生成し、それを元のテキストの代わりに使用して最終結果を出力することです。研究者たちは、自身の手法のパフォーマンスをテストするためにさまざまな実験を行いました。以下の結果を得ました： S2Aは、意見のある質問に対する事実性の観点からモデルのパフォーマンスを向上させます。 S2Aは、長文生成における客観性を向上させ、意見に易々と惑わされないことを示しています。さらに、S2Aは、関連のない文を含む数学の問題においてもモデルのパフォーマンスを向上させます。研究者たちはまた、S2Aの異なるバリエーション（関連性に焦点を当てることや、不必要な単語を削除した後も元のコンテキストを保持することなど）をテストしました。いくつかの実験では、バリエーションは元の手法ほど優れたパフォーマンスを発揮しなかったことがわかりました。関連性のない情報をバイパスできる方法であるとしても、それには影響を受ける可能性があります。また、通常のLLM再生成に比べて計算コストが高くなります。ただし、この問題はスピードアップのトリックを用いることで解決できる可能性があり、研究者は将来の作業に回す予定です。全体として、S2Aは、LLMがテキストの重要でない部分に執着するのを防止し、モデルの能力を向上させる方法です。この技術は、意見の促進や関連のない文を含む数学の問題に取り組む際のモデルのパフォーマンスを向上させます。しかし、推論力を向上させるためには、さらなる改善の余地が残されており、代替の方法を探求する余地があります。

「アマゾンベッドロックを使った商品説明の自動生成」

今日の常に進化するeコマースの世界では、魅力的な製品の説明の影響は過小評価できませんそれは潜在的な訪問者を支払いをする顧客に変えるか、競合他社のサイトにクリックして離れてしまう決定的要因になるかもしれません膨大な数の製品にわたる説明の手動作成は、労働集約的なものです...

このAI研究では、ドライブ可能な3Dガウスアバター（D3GA）を提案します：ガウススプラットでレンダリングされた人体のための最初の3Dコントローラブルモデルです

印象派は匿名の画家、彫刻家、版画家などからなる協会によって19世紀に創設された芸術運動であり、「かろうじて形を伝えることのできる、短く切れた筆使い」が特徴です。最近の研究では、印象派が避けたような写真で人間の主題をできるだけ現実的に描写することが可能になっています。一眼カメラの技術では正確さに欠けるため、ドライブ可能（新しいコンテンツを生成するためにアニメーション化できる）な写真の人間を写実的に生成するには、現在は広範なマルチビューデータが必要です。さらに、現在の手法では正確な3Dレジストレーションなどの緻密な前処理が必要とされます。しかし、これらのレジストレーションを得るためには、エンドツーエンドのワークフローに容易に組み込むことができない反復プロセスを使用する必要があります。正確なレジストレーションを必要としない他のアプローチは、ニューラル輻射場（NeRFs）に基づいています。これらのアプローチは、特定の例外を除いて衣服のアニメーションを描写するのに苦労するか、リアルタイムの描写にはあまりにも遅すぎます。 Meta Reality Labs Research、Technical University of Darmstadt、Max Planck Institute for Intelligent Systemsの研究者たちは、放射場ではなく、3Dガウスを使用して3D人間の外見と変形を規範的な空間で表現しています。ガウス放射場は、生きている、再配置可能なキャラクターの体形と美的感覚に合うような、クイックな筆使いの代替として使用されます。ガウス放射場では、カメラの光線のサンプリングを含むいかなるハックも必要ありません。ドライブ可能なNeRF内のポイントは、リニアブレンドスキニング（LBS）を使用して観測空間から規範的な空間に変換されることがよくあります。一方、D3GAは、3Dガウス体積を用いてヒトをモデル化し、それゆえにボリュームから規範的な空間へのマッピングが必要です。研究者たちはLBSの代わりに、ケージという他の確立された変形モデルを使用しており、このモデルはボリューム変換に適しています。ケージの変形勾配は、規範的な空間でのケージの変形によって生成されたものであり、3Dガウス表現に直接適用されます。このアプローチは、胴体、顔、衣服をケージを使用して別々に表現することができる合成構造に基づいて構築されています。ケージの歪みが発生する原因を特定するための残る謎があります。現在のドライブ可能なアバターの最先端は、RGB-D画像やマルチカメラセットアップなどの密な入力信号を要求しており、テレプレゼンスアプリケーションの低帯域幅接続には適さない場合があります。研究チームは、ヒトの姿勢に基づいたより短縮された入力を使用しました。この入力は骨格関節角度と3D顔のキーポイントのクォータニオン表現を含みます。彼らは9つの高品質なマルチビューシーケンスを使用して、どの主題からでも新しいポーズで駆動できる個人固有のモデルを学習しました。さまざまな体形、動き、衣服（きつくフィットする必要はない）をカバーしています。この手法は高品質の出力を生成し、テスト時にFFDメッシュや画像などのより多くの情報を利用する方法と同等の入力と競合しながら、最先端の状態を上回る成果を挙げています。さらに、提案された技術はデータの処理時間を削減し、幾何学的な領域と外見モデリングにおいて有望な結果を得るために、正確なジオメトリ情報を必要としません。

「マシンの学習を忘れることを学ぶ」

現代のテクノロジーの世界では、機械学習について聞かない人を見つけるのは困難でしょう過去10年間、この研究分野はとてもトレンディで、産業外の人々にさえ広まっています...

Zephyr-7B：HuggingFaceのハイパーオプティマイズされたLLM、Mistral 7Bの上に構築

「Zephyr-7B」という画期的な大型言語モデルを詳しく見てみましょう「知識の蒸留」を活用して、AIの効率性とアクセシビリティの新基準を確立し、会話AIの未来を形作っている方法を発見しましょう

機械学習をマスターするための無料の5つのコース

「機械学習モデルの学習と構築に興奮していますか？今日から無料の機械学習コースを学び始めましょう」

Machine learning

「コスト効率の高い高性能 AI 推論用の Amazon EC2 DL2q インスタンスが一般提供開始されました」

Qualcomm AIのA.K Royさんによるゲスト記事ですAmazon Elastic Compute Cloud（Amazon EC2）DL2qインスタンスは、Qualcomm AI 100 Standardアクセラレータによってパワーアップされ、クラウド上で効率的に深層学習（DL）タスクを展開するために使用することができますDLタスクのパフォーマンスや精度を開発し、検証するためにも利用できます

新しいOpenAIの理事会を解説

「AIおよびテクノロジー分野に波紋を広げた驚くべき出来事の中で、人工知能分野のリーディングカンパニーであるOpenAIが最近、重要なリーダーシップの変革を遂げましたSam Altman氏がCEOの地位に劇的に復帰し、それに伴って役員の再編成が行われるなど、これらの変化によって[…]」

OpenAI

Learn more about Search Results Meta - Page 15