Search Results Meta

「OpenAIモデルに対するオープンソースの代替手段の探索」

序文 AIの領域では、11月はドラマチックな展開がありました。GPTストアやGPT-4-turboのローンチ、そしてOpenAIの騒動まで、まさに忙しい一ヶ月でした。しかし、ここで重要な問題が浮かび上がります：クローズドモデルとその背後にいる人々はどれだけ信頼できるのでしょうか？自分が実際に運用しているモデルが内部の企業ドラマに巻き込まれて動作停止するのは快適な体験とは言えません。これはオープンソースモデルでは起こらない問題です。展開するモデルには完全な管理権限があります。データとモデルの両方に対して主権を持っています。しかし、OSモデルをGPTと置き換えることは可能でしょうか？幸いなことに、既に多くのオープンソースモデルが、GPT-3.5モデル以上の性能を発揮しています。本記事では、オープンソースのLLM（Large Language Models）およびLMM（Large Multi-modal Models）の最高の代替品をいくつか紹介します。学習目標オープンソースの大規模言語モデルについての議論。最新のオープンソース言語モデルとマルチモーダルモデルについての探求。大規模言語モデルを量子化するための簡易な導入。 LLMをローカルおよびクラウド上で実行するためのツールやサービスについて学ぶ。この記事は、データサイエンスブログマラソンの一環として公開されました。オープンソースモデルとは何ですかモデルがオープンソースと呼ばれるのは、モデルの重みとアーキテクチャが自由に利用できる状態にあるからです。これらの重みは、例えばMeta’s Llamaのような大規模言語モデルの事前訓練パラメータです。これらは通常、ファインチューニングされていないベースモデルやバニラモデルです。誰でもこれらのモデルを使用し、カスタムデータでファインチューニングして下流のアクションを実行することができます。しかし、それらはオープンなのでしょうか？データはどうなっているのでしょうか？多くの研究所は、著作権に関する懸念やデータの機密性の問題などの理由から、ベースモデルの訓練データを公開しません。これはまた、モデルのライセンスに関する部分にも関連しています。すべてのオープンソースモデルは、他のオープンソースソフトウェアと同様のライセンスが付属しています。Llama-1などの多くのベースモデルは非商用ライセンスとなっており、これらのモデルを利用して収益を上げることはできません。しかし、Mistral7BやZephyr7Bなどのモデルは、Apache-2.0やMITライセンスが付属しており、どこでも問題なく使用することができます。オープンソースの代替品 Llamaのローンチ以来、オープンソースの領域ではOpenAIモデルに追いつこうとする競争が繰り広げられています。そしてその結果は今までにないものでした。GPT-3.5のローンチからわずか1年で、より少ないパラメータでGPT-3.5と同等またはそれ以上のパフォーマンスを発揮するモデルが登場しました。しかし、GPT-4は依然として理性や数学からコード生成までの一般的なタスクには最も優れたモデルです。オープンソースモデルのイノベーションと資金調達のペースを見ると、GPT-4のパフォーマンスに近づくモデルが間もなく登場するでしょう。とりあえず、これらのモデルの素晴らしいオープンソースの代替品について話しましょう。 Meta’s Llama 2 Metaは今年7月にLlama-2という彼らの最高のモデルをリリースし、その印象的な能力により一瞬で人気を集めました。MetaはLlama-7b、Llama-13b、Llama-34b、Llama-70bの4つの異なるパラメータサイズのLlama-2モデルをリリースしました。これらのモデルは、それぞれのカテゴリにおいて他のオープンモデルを上回る性能を発揮しました。しかし、現在ではmistral-7bやZephyr-7bのような複数のモデルが、多くのベンチマークで小さなLlamaモデルを上回る性能を発揮しています。Llama-2 70bはまだそのカテゴリーで最高のモデルの一つであり、要約や機械翻訳などのタスクにおいてGPT-4の代替モデルとして価値があります。 Llama-2はGPT-3.5よりも多くのベンチマークで優れたパフォーマンスを発揮し、GPT-4に迫ることもできました。以下のグラフは、AnyscaleによるLlamaとGPTモデルのパフォーマンス比較です。…

「データ管理におけるメタデータの役割」

「メタデータは現代のデータ管理において中心的な役割を果たし、統合、品質、セキュリティに不可欠であり、デジタルトランスフォーメーションの取り組みにおいても重要です」

このAIリサーチはGAIAを紹介します：一般AIの能力の次のマイルストーンを定義するベンチマーク

FAIR Meta、HuggingFace、AutoGPT、GenAI Metaの研究者は、論理思考や多様性のハンドリングなどの基本的なスキルを必要とする現実世界の問題を、人間のような応答能力を持つ高度なAIに対してテストする問題に取り組んでいます。GAIAの開発は、人間レベルの堅牢性を目指すことで、人工汎用知能（AGI）の達成を目指しています。 GAIAは、人間と高度なAIの両方にとって困難なタスクに重点を置くことで、現在のトレンドから外れています。クローズドシステムとは異なり、GAIAは現実のAIアシスタントの使用例を反映しています。GAIAは、品質を重視し、GPT-4とのプラグインを使用して人間の優位性を確認するため、慎重に選ばれたゲーム可能性のない質問を特集しています。それは、マルチステップの完了を確実にし、データの汚染を防ぐための質問設計を指南することを目指しています。 LLM（Language and Logic Models）は現在のベンチマークを超える性能を持つようになってきており、その能力を評価することはますます困難になっています。ただし、複雑なタスクに重点を置くにもかかわらず、LLMにとっての難易度レベルは必ずしも人間を挑戦するものではありません。この課題に対処するために、GAIAという新しいモデルが導入されました。GAIAは、LLMの評価の落とし穴を回避するために、実世界の問題に焦点を当てた一般的なAIアシスタントです。AIアシスタントの使用例を反映する人間が作成した質問によって実用的性を確保しています。NLPにおけるオープンエンドの生成を目指すことで、GAIAは評価ベンチマークを再定義し、次世代のAIシステムを進化させることを目指しています。 GAIAによって行われたベンチマークでは、実世界の質問に対する人間とGPT-4の間に大きな性能差があることが明らかになりました。人間は92％の成功率を達成しましたが、GPT-4はわずか15％のスコアでした。ただし、GAIAの評価では、LLMの正確性と使用例は、ツールAPIやWebアクセスを介して向上させることができることも示されています。これは、ヒューマン・AIモデルと次世代のAIシステムの進歩のための機会を提供します。全体として、このベンチマークはAIアシスタントの明確なランキングを提供し、一般的なAIアシスタントの性能向上のためにさらなる改善の必要性を浮き彫りにしています。まとめると、GAIAによる実世界の質問に対する一般的なAIアシスタントの評価のためのベンチマークでは、ヒューマンがプラグインと共にGPT-4を凌駕していることが示されました。それは概念的に単純で複雑な質問に対しても、人間と同様の堅牢性をAIシステムが示す必要性を強調しています。ベンチマークの方法論のシンプルさ、ゲーム性のなさ、解釈可能性は、人工汎用知能を実現するための効率的なツールとして役立ちます。さらに、注釈付きの質問とリーダーボードの公開は、NLPおよびそれ以上の領域におけるオープンエンドの生成評価の課題に対処することを目指しています。

「AIシステムのリスク評価方法を学びましょう」

「人工知能（AI）は急速に進化する分野であり、社会の多くの側面を改善し変革する可能性を持っています2023年、AI技術の採用のペースは、強力な基礎モデル（FM）の開発と生成型AI能力の向上によりさらに加速しましたAmazonでは、私たちは複数の生成型AIを立ち上げています...」

Artificial Intelligence

メタAIの研究者がスタイルテーラリングを紹介する：高い視覚的品質を持つ特定のドメインにおいて潜在的な拡散モデル（LDMs）を調整するためのテキストからステッカーのレシピ

GenAI、Metaの研究者チームは、ステッカー画像生成のための潜在拡散モデル（LDM）の微調整方法であるStyle Tailoringを紹介し、視覚の品質向上、プロンプトの整列、シーンの多様性の向上を図っています。彼らの研究は、Emuのようなテキストから画像へのモデルを使い、フォトリアリスティックなモデルに頼っているとステッカー生成において整列や多様性において問題が生じることを発見しました。Style Tailoringには以下の要素が含まれます：ステッカー風の画像の微調整。整列とスタイルのためのヒューマンインザループのデータセット。トレードオフの対応。コンテンツとスタイル分布の同時フィッティング。この研究では、LDMを利用したテキストから画像の生成の進歩を振り返り、その特徴として、高品質の画像を自然言語の記述から生成できることを強調しています。テキストから画像のタスクのためにLDMを微調整する際のプロンプトとスタイルの整列のトレードオフに対応した前の研究には、特定のスタイルやユーザーが提供した画像に基づいて事前学習された拡散モデルを整列させるなど、さまざまな微調整戦略が含まれています。報酬重み付けされた尤度最大化およびヒューマンの選択に基づいてImageRewardモデルを訓練することで、プロンプトとファッションの整列の課題に取り組んでいます。Style Tailoringは、推論時の遅延なしでスタイルとテキストの信頼性のトレードオフをバランスさせることを目指しています。この研究では、拡散ベースのテキストから画像へのモデルの進歩について探求し、オプティマルな結果を得るための戦略的な順序での微調整の重要性を強調しています。視覚的に魅力的なステッカーを生成するために、Style Tailoringの導入は迅速な整列、視覚的多様性、技術的一致性を最適化することを目指しています。この手法には、弱く整列した画像とヒューマンインザループ、専門家インザループの段階を含んでいます。また、生成されたステッカーにおける透明性とシーンの多様性の重要性にも強調が置かれています。この手法は、ドメインの整列、プロンプトの改善のためのヒューマンインザループの整列、スタイルの向上のための専門家インザループの整列を含む、テキストからステッカーの生成のためのマルチステージの微調整手法を提案しています。ドメインの整列には弱く教師ありのステッカー風の画像が使用されます。提案されたStyle Tailoringの方法は、コンテンツとスタイルの分布の最適化を共同で行い、プロンプトとファッションの整列のバランスを取ることができます。評価には、視覚の品質、迅速な整列、スタイルの整列、生成されたステッカーのシーンの多様性などの人間の評価とメトリックが含まれます。 Style Tailoringの方法は、ステッカーの生成を大幅に向上させ、視覚の品質を14％、プロンプトの整列を16.2％、シーンの多様性を15.3％向上させ、ベースのEmuモデルに比べて優れた性能を発揮しています。さまざまなグラフィックスタイルにおいて汎化性能も備えています。ベースラインモデルとの比較により、この手法の有効性が示され、主要な評価メトリックでその優位性が確立されています。この研究では、ステッカー生成においてフォトリアリスティックなモデルの迅速なエンジニアリングに頼ることで、プロンプトの整列とシーンの多様性に制約が生じることを認識しています。Style tailoringはプロンプトとスタイルの整列を改善しますが、トレードオフのバランスを取ることは依然として難しいです。また、この研究はステッカーに焦点を当てており、他のドメインへの汎化能力の調査は限定されています。より大規模なモデルへの拡張性、網羅的な比較、データセットの制約、倫理的な考慮点は、今後の研究の注目すべき領域です。より充実した評価とテキストから画像生成における広範な応用と潜在的なバイアスについての議論が有益です。総括すると、Style TailoringはLDMによって生成されたステッカー画像の視覚的品質、プロンプトの整列、シーンの多様性を効果的に向上させます。ベースのEmuモデルと比較して、それぞれ14％、16.2％、15.3％の向上を実現しました。この手法は複数のスタイルに適用可能で、低遅延を維持します。最適な結果を得るために、戦略的な順序での微調整ステップの重要性を重視しています。

２０２３年は大規模言語モデルの年でした：当時と現在の比較

2023年は、言語モデルの大規模な開発が前例のない勢いで進展した年となりました新しいモデルが驚くほど速いスピードで登場しましたそこで、これらの進歩を見てみましょう誰がそれを推進し、この年はどのようなものなのかを年の初めに、Google AIは...

「ODSC West 2023の優れたバーチャルセッションをこちらでご覧ください」

ODSCウエストは終了し、私たちは1年間待たなければならないでしょうそれまでに、仮想セッションの録画がオンデマンドで利用可能になりました！ソリューションショーケースのトークやキーノートのトークは無料で利用できますトピックに関する詳細な情報を提供するトレーニングセッションなどもあります...

West 2023

‘製品およびエンジニアリングリーダーのための実践的なGenAI’

「もし普段から運転することがあるなら、自動車のフードには気にすることなく綿が詰まっているかもしれませんしかし、もしもあなたがより良い車を作る責任を持つ設計や製造の一環であるならば…」

「仕事の未来を形作る：メタのアーピット・アガルワールからの洞察」

COVID-19パンデミックは職場を変革し、リモートワークが持続的な標準となっています。このLeading with Dataのエピソードでは、MetaのArpit Agarwalが、未来の仕事にはバーチャルリアリティが関与し、対面での経験と同じような遠隔協業が可能になることを説明しています。Arpitは自身の旅からの洞察を共有し、製品開発の初期段階での分析の課題や重要な瞬間を強調しています。このエピソードのLeading with DataはSpotify、Google Podcasts、およびAppleなどの人気プラットフォームで聴くことができます。お気に入りのプラットフォームを選んで、洞察に富んだコンテンツをお楽しみください！ Arpit Agarwalとの対話からの重要な洞察将来の仕事は、遠隔協業のためのバーチャルリアリティにかかっている。データサイエンスチームの立ち上げは、イノベーションとビジネスへの影響を促進する。製品開発の早い段階では、内部テストとフィードバックを使用して品質に重点を置くデータサイエンス。データサイエンスの採用には、技術力、問題解決能力、強い人柄が必要。データサイエンスのキャリア成長には、広範な探求後の専門的な専門知識が求められる。 AIとデータサイエンスのリーダーとの洞察に満ちた議論のために、私たちの今後のLeading with Dataセッションに参加しましょう！さて、Arpit Agarwalがキャリアの旅と業界経験について回答した質問を見てみましょう。 COVID-19パンデミックは私たちの働き方にどのような変化をもたらしましたか？パンデミックは私たちの働き方の基盤を根本的に変えました。私たちはオフィス中心の環境から、新たな現実としてリモートワークを受け入れるようになりました。オフィスへの復帰方針を導入しても、多くの労働力は引き続きリモートで働くことになるでしょう。課題は、生産性を維持し、かつてオフィス内で構築されたつながりを促進することにあります。現在のツールでは、対面での経験を再現するのには限界があります。そこでMetaのビジョンが活躍します。私たちは、仮想空間内で一緒に働いている感覚を提供する製品の開発に取り組んでいます。お互いのボディランゲージを理解し、効果的に協力することができます。大学からデータサイエンスのリーダーになるまでの旅を教えていただけますか？私の旅はBITS…

「マクマスター大学とFAIRメタリサーチャーズは、電子密度を正規化フローによるパラメータ化する新しい機械学習アプローチを提案しました」

<img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/11/Screenshot-2023-11-27-at-5.58.17-PM-1024×476.png”/><img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/11/Screenshot-2023-11-27-at-5.58.17-PM-150×150.png”/>マクマスター大学とFAIR Metaの研究者は、軌道フリー密度汎関数理論（OF-DFT）のための新しい機械学習（ML）技術を開発しました。このMLメソッドは、合計エネルギー関数を最適化し、様々な化学系にわたる電子密度を成功裏に再現します。この手法は、リチウムヒ化物、水素、および水分子のシミュレーションに適用され、メモリ効率の良い勾配最適化法により、ラプラシアン演算子を最適化し、ハートリーおよび外部ポテンシャル関数を解決することで精度が向上します。分子の電子エネルギーを計算するための既存の方法には、伝統的なコーン・シャム密度汎関数理論（KS-DFT）がありますが、より複雑なシステムに適した電子密度を最小化するOF-DFTという未開拓の手法が開発されています。OF-DFTは、量子化学および凝縮系物理学における電子密度を中心とした計算アプローチであり、大規模なシステムに対してKS-DFTに比べて利点を提供します。ホーエンバーグ・コーンの定理に合致する電子密度の最小化によって基底状態の性質を決定します。ノーマライズフローアンサッツを用いて電子密度をパラメータ化し最適化する独自の手法を導入し、多様な化学系において電子密度を成功裏に複製します。OF-DFTにおける合計エネルギー関数の最適化手法は、電子密度をパラメータ化するためのノーマライズフローアンサッツを使用することにより、様々な化学系にわたって電子密度を最適化します。連続的なノーマライズフローを用いて電子密度を連続的に変換し、ニューラルネットワークを使用して常微分方程式を解くことで実現します。合計エネルギーの最適化には勾配ベースのアルゴリズムが使用され、関連する量に対してはモンテカルロサンプリングが利用されます。また、OF-DFTにおけるラプラシアン演算子およびハートリーおよび外部ポテンシャルに関連する関数に対しては、メモリ使用効率の良い勾配最適化法が採用されます。この手法は、特にLiHの双原子分子を適切にモデル化し、水素と水分子の広範なシミュレーションを実施しました。このモデルは、異なる化学系において電子密度を正確に再現し、H2およびH2O分子の最適化中に密度およびポテンシャルエネルギー面での変化を示しました。STO-3G基底関数セットを使用したハートリーフォックモデルとの比較分析により、連続的なノーマライズフローモデルでは原子核周辺でより高い密度を示しました。密度汎函数値は、最適化プロセス全体で指数移動平均を用いて計算されました。結論として、連続的なノーマライズフローによる密度変換を活用したOF-DFTアプローチは、異なる化学系にわたる電子密度とポテンシャルエネルギー面を正確に記述するための制約のない有望な解決策です。LiH、水素、および水などの分子を用いた研究において、原子核周辺の高密度の再現能力が強調され、さらなる改善と応用の可能性が示されています。OF-DFT電子構造計算の将来の課題には、以下のようなものが考えられます：<ul><li>電子密度のためのノーマライズフローアンサッツの改良。</li><li>連続的なノーマライズフローアプローチをより複雑な化学系に拡張すること。</li><li>CNFモデルの精度を評価するための比較分析の実施。</li><li>効率と精度を向上させるために、他の機械学習技術とCNFモデルを統合すること。</li></ul>

Learn more about Search Results Meta - Page 13