Search Results A

モデルアーキテクチャのための生成AIに向けて

「Attention is All You Need」というトランスフォーマー革命は、深層学習モデルのアーキテクチャの設計に深い影響を与えましたBERTが登場して間もなく、RoBERTa、ALBERT、DistilBERTが続きました...

マイクロソフトの研究者たちは「エモーションプロンプト」を発表しました：複数の言語モデルにおけるAIの感情的知性を向上させる

感情的知性は、人間の質の多様なモザイクの中に位置する歴史的な要素です。感情の理解は、感情的なデータを正しく認識し処理し、そのデータを問題解決や行動管理のような論理的かつ分析的なプロセスの適用に利用する能力です。反射、知覚、認知、行動はすべて感情を生み出し、さまざまな内的および外的要因がこれらの要素に影響を与えることができます。自己モニタリング、社会認知理論、ポジティブな感情の重要性は、感情の制御が人間の問題解決能力に影響を与えることを示しています。その広範囲な効果のため、感情調整理論は教育や健康など、さまざまな分野で使用されています。 CAS、Microsoft、ウィリアム&メアリー大学、北京師範大学、香港科技大学による新しい研究は、EQと洗練されたAIモデルとの関連を調査しています。新興の大規模言語モデル（LLM）は、推論、自然言語処理と生成、STEM問題解決など、さまざまなタスクで印象的なパフォーマンスを発揮しており、人工一般知能への有望な研究の取り組みの一つとなっています。最近の研究では、LLMによる人間によって開発された困難なタスクの実行を許すことで、LLMはAGIへの顕著な潜在能力を示すと示唆されています。しかし、LLMが心理的な感情の衝動を解釈できるかどうかはまだ不明です。心理学的な域内学習方法を使用して、いくつかの学者はさまざまな分野で大きな進歩を遂げています。ただし、容量の違いがあるため、現在利用可能な方法からすべてのLLMが同じように利益を得るわけではありません。最近の研究では、LLMが感情的な手がかりを認識し処理できることが示されていますが、この研究ではLLMの感情的知性がパフォーマンスの向上にどのような重要な影響を与えるかは評価されていません。この新しい研究は、LLMが感情の刺激を理解し活用する潜在能力を調査するための最初のステップを踏み出します。希望、自信、および同輩の承認と関連付けられた感情的手がかりが、以前の心理学的研究で肯定的な効果を持つことが証明されています。この現象の現実世界の応用には、学業成績の向上や身体の健康増進のための励ましの言葉が含まれます。研究者らはこれらの心理学的プロセスに着想を得て、LLMの感情的知性を調査するためのシンプルで強力な方法であるEmotionPromptを提案しました。具体的には、感情的な反応を引き起こすために使用される心理フレーズとして11の文を設計しました。幅広い難易度レベルを含む決定論的および生成課題を、彼らの詳細な調査で使用しています。彼らはFlanT5-Large、Vicuna、Llama 2、BLOOM、ChatGPT、GPT-4など、いくつかのLLMでトライアルを行いました。これらのトライアルは24のインストラクション誘導タスクと21のカリキュレートBIG-Benchタスクであり、いずれも決定論的で一般的なメトリックで評価できます。GPT-4に基づいてバニラおよび感情的なプロンプトを使用してタスクの生成品質を判断するために、106人の参加者を対象に人間の研究を行いました。その人間の研究では、感情的なプロンプトが生成タスクのパフォーマンス（パフォーマンス、真実性、責任度の平均改善率が10.9％）を有意に向上させることが示されました。一方、標準的な実験では、LLMは感情的な知性を持ち、感情的な刺激によって向上させることができることが示されています。研究者らはまた、EmotionPromptがLLMにとってなぜ有益なのかを、入力注意を通じた感情的な刺激の最終出力への影響を評価することによって分析しました。その結果、LLMの勾配は感情的な刺激からより重要な重みを持つことで恩恵を受け、元のプロンプトの表現を改善することにより結果を向上させます。モデルのサイズや温度がEmotionPromptの効果にどのような影響を与えるかを学ぶために、彼らは消去研究を実施しました。最後に、多くの感情的な手がかりを一緒に使用することがパフォーマンスにどのような影響を与えるかを調べ、それが結果を大幅に改善することが示されました。探索誘導の場合、EP02が最も優れた刺激であり、最も劣った刺激に比べてパフォーマンスが6.06％向上しました。一方、BIG-Benchの場合、EP06が最も優れた刺激です。刺激のパフォーマンスには、タスクの複雑さ、タスクの種類、使用されるメトリックなど、さまざまな要素が影響することを忘れずにおいてください。

インテルの研究者たちは、CPU上でLLMs（Large Language Models）をより効率的に展開するための新しい人工知能のアプローチを提案しています

大型言語モデル（LLM）は、その驚異的なパフォーマンスと多様なタスクでの潜在能力により、世界中で話題となっています。テキスト生成、言語理解、テキスト要約などの能力でよく知られています。ただし、これらのモデルの広範な採用の一方で、モデルパラメータの膨大なサイズにより、推論には大きなメモリ容量と専用のハードウェアが必要であり、これまでこれらのモデルの展開は非常に困難でした。推論に必要な計算能力を削減する方法の一つは、量子化手法を使用することです。つまり、人工ニューラルネットワークの重みと活性化関数の精度を低下させることです。INT8や重みのみの量子化など、推論コストを改善するための方法はいくつかありますが、これらの方法は一般的にCUDAに最適化されており、必ずしもCPU上で動作するわけではありません。このIntelの研究論文の著者は、LLMを効率的にCPU上に展開する方法を提案しています。彼らのアプローチは、自動INT-4重みのみの量子化（低精度がモデルの重みにのみ適用され、活性化関数の精度は高く保たれます）のフローをサポートしています。また、CPU上の推論プロセスを加速する高度に最適化されたカーネルを持つ特定のLLMランタイムも設計しています。量子化フローは、Intel Neural Compressorをベースに開発され、異なる量子化レシピ、粒度、グループサイズでのチューニングが可能で、精度目標を満たすINT4モデルを生成することができます。モデルはその後、LLMランタイムに渡され、量子化モデルのパフォーマンスを評価するために設計された特殊環境で評価されます。このランタイムは、CPU上のLLMの効率的な推論を提供するために設計されています。実験では、研究者たちはパラメータサイズが異なる人気のあるLLMをいくつか選びました（7Bから20Bまで）。オープンソースのデータセットを使用してFP32モデルとINT4モデルのパフォーマンスを評価しました。選択したデータセット上での量子化モデルの精度は、FP32モデルとほぼ同等であることが観察されました。さらに、次のトークン生成のレイテンシの比較分析を行い、LLMランタイムがggmlベースのソリューションよりも最大1.6倍優れていることがわかりました。結論として、この研究論文は、LLMに関連する最大の課題の1つであるCPU上での推論に対する解決策を提案しています。従来、これらのモデルはGPUのような専用ハードウェアが必要であり、多くの組織にとって利用できない状況でした。この論文では、INT4モデルの量子化と専用のLLMランタイムを提供することで、CPU上のLLMの効率的な推論を実現しています。人気のあるLLMの一連の評価では、この手法はggmlベースのソリューションに比べて優位性を示し、FP32モデルと同等の精度を提供します。ただし、今後の改善の余地もあり、研究者はAI生成コンテンツの成長する需要に対応するために、PC上での生成型AIを強化する計画です。

「データストーリーテリングとアナリティクスにおける生成AIのインパクトの公開」

導入データ分析の広大な領域の中で、ゲネラティブ人工知能（GAI）はゲームを変える最も重要な進展の一つです。これは、歴史的データに基づいて単に処理し予測するだけでなく、新たなものを創り、データストーリーテリングと分析プロセスを革新する時代です。最近のセッションで、この技術の基礎、アーキテクチャ、そして潜在的な影響を探求する機会がありました。以下は、私たちが取り上げた内容を簡潔にまとめたものです。学習目標：ゲネラティブAIの基礎を理解する。ゲネラティブAIを用いたさまざまなデータストーリーテリングの技術を学ぶ。ゲネラティブAIをデータ分析で倫理的に実装することを認識する。ゲネラティブAIの理解ゲネラティブAIは、新しいコンテンツを作成することに焦点を当てた人工知能の一部です。従来のAIは歴史的データに基づいて推論や予測を行います。一方、ゲネラティブAIは視覚的、音声的、テキストの創造を含む新しいコンテンツを合成します。ゲネラティブAIのいくつかのアーキテクチャには、生成的対抗ネットワーク（GAN）、変分オートエンコーダ（VAE）、自己回帰モデルまたはトランスフォーマーなどがあります。 GANは、ジェネレータと識別器の2つのニューラルネットワークを使用し、共同でトレーニングします。この対立的なプロセスにより、本物のデータに酷似したデータを生成しながら、本物と生成されたデータを識別します。VAEは少し異なりますが、同じ生成的な目的を果たします。今日のAIモデルで最も一般的に見られるのは、トランスフォーマーに基づいたChatGPTなどの自己回帰モデルです。これらのモデルは、前の要素に基づいてデータを順次に生成し、次のシーケンス要素を予測することができます。これらのモデルを理解することは、効果的にAIを活用するための戦略的な優位性を提供します。データストーリーテリング：ゲネラティブAIと分析の結びつきデータ分析の影響力はデータストーリーテリングにあります。最初の段階では、データの定義、収集、クリーニング、分析に焦点が当てられますが、骨子はプレゼンテーションの段階にあります。ここで、私たちは効果的に研究結果を伝える必要があります。物語性を作り、ビジュアルを準備し、論理を検証することがストーリーテリングにおいて重要な役割を果たします。ゲネラティブAIを使用することで、このプロセスの一部と二部を大きく影響することができます。ここで物語性が登場します。データプレゼンテーションにおける物語性は、ステークホルダーとの連携、彼らのニーズを理解し、意思決定を促進するために分析結果を提示することを含みます。しかし、このフェーズは分析のコースではしばしば重要視されないことがありますが、データの影響を伝える上で極めて重要です。事例研究：ゲネラティブAIによるビジネス効率のストーリーテリングこの事例研究は、特にGPT-4がアナリストにプレゼンテーションの目的と役割の明確化を支援する方法を示しています。ChatGPTに「レイオフせずに戦略的に運営コストを削減する方法は？」などと具体的な質問をすることで、AIの提案を活用して物語性とプレゼンテーション戦略を調整することができます。ゲネラティブAIはコンテンツを完全に作成するのではなく、ブレインストーミングのパートナーとして機能し、方向性とアイデアを提供し、アナリストが自身の戦略を微調整できるようにします。以下は、ビジネスの効率を推進するデータ分析とストーリーテリングにおいてゲネラティブAIがどのように役立つかを示しています。 GPT-4による高度なデータ分析 GPT-4の高度な機能は、無限の可能性を開放します。私の経験では、信頼性と精度により、ChatGPTを使用することを選択しました。LlaMAなどの代替のAIモデルもありますが、それぞれ独自の強みがあります。私はChatGPTを確固たる選択肢と考えていますが、他のモデルも同様に異なる要件に適している可能性があります。 AIとプロトタイプ速度による過剰支出の評価過剰支出に取り組む際、AIは分析を非常に迅速にプロトタイプ化します。PythonやSQLなどでも同じタスクを実行できますが、AIはプロセスを大幅に加速し、迅速なプロトタイプ作成を可能にします。ただし、結果の正確性に対する責任を考慮し、すべての出力を徹底的に検証してレビューする必要があります。 ChatGPTによるROIの分析と戦略的な削減の作成投資利益率（ROI）の決定には特定の計算方法が必要です。私はさまざまな費用領域のROI計算方法をChatGPTに指示しました。それによって興味深い状況が明らかになりました。一部のセクターは著しい過剰支出を示していますが、それでも優れたROIをもたらしており、過剰支出にもかかわらず効率的であることを示唆しています。これは戦略的な評価を行い、削減の可能性のある領域を特定する必要があります。生成AIと視覚的なデータ表現チャートやグラフなどのAIによって生成された視覚的な表現は、迅速な探索的データ分析を促進する上で重要な役割を果たしています。それらはより深い戦略的思考の出発点を提供します。ただし、選択した視覚的表現が正確なデータの解釈ニーズと一致しているかどうかを評価することが重要です。…

「Amazon SageMaker Model Registry、HashiCorp Terraform、GitHub、およびJenkins CI/CDを使用して、マルチ環境設定でのパイプラインの促進を行う」

「機械学習運用（MLOps）プラットフォームを組み立てることは、人工知能（AI）と機械学習（ML）の急速に進化する状況において、データサイエンスの実験と展開のギャップをシームレスに埋めるため、モデルのパフォーマンス、セキュリティ、コンプライアンスの要件を満たす組織にとって必要不可欠です規制とコンプライアンスの要件を満たすためには、[…]」

「Azure OpenAI Studioを使用したNL2SQLシステムのセットアップ方法」

前の記事では、ユーザーのリクエストからSQLコマンドを生成するためのプロンプトのセットアップ方法を学びました今回は、Azure OpenAI Studioを使用して推論エンドポイントを作成する方法について見ていきます

潜在一貫性LoRAsによる4つのステップでのSDXL

潜在的一貫性モデル（LCM）は、ステーブルディフュージョン（またはSDXL）を使用してイメージを生成するために必要なステップ数を減らす方法です。オリジナルモデルを別のバージョンに蒸留し、元の25〜50ステップではなく4〜8ステップ（少ない）だけを必要とするようにします。蒸留は、新しいモデルを使用してソースモデルからの出力を再現しようとするトレーニング手順の一種です。蒸留されたモデルは、小さく設計される場合があります（これがDistilBERTや最近リリースされたDistil-Whisperの場合）または、この場合のように実行に必要なステップ数を減らします。これは通常、膨大な量のデータ、忍耐力、およびいくつかのGPUが必要な長時間かかる高コストのプロセスです。それが今日までの現状でした！私たちは、Stable DiffusionとSDXLを、まるでLCMプロセスを使用して蒸留されたかのように、速くする新しい方法を発表できることを喜ばしく思います！3090で7秒の代わりに約1秒、Macで10倍速くSDXLモデルを実行する、というのはどうですか？詳細は以下をご覧ください！目次メソッドの概要なぜこれが重要なのか SDXL LCM LoRAsによる高速推論品質の比較ガイダンススケールとネガティブプロンプト品質 vs. ベースのSDXL 他のモデルとのLCM LoRAs フルディフューザーズの統合ベンチマーク今日リリースされたLCM LoRAsとモデルボーナス：通常のSDXL LoRAsとの組み合わせ LCM…

「AI革命の背後には Paige BaileyがGoogleのPaLM 2などについて話す」

「ようこそ、（今回の）聴衆の皆様！新しいエピソードをお届けできることをとても嬉しく思っています今日は、AIプロダクトマネジメントのパイオニアであり、これまでさまざまなビジョンを持ち続けてきたペイジ・ベイリーをお迎えしました…」

メタ＆ジョージア工科大学の研究者たちは、気候変動に対抗するための直接空気キャプチャの研究を加速させるための新しいデータセットと関連するAIモデルを公開しました

“`html グローバルコミュニティは、上昇する二酸化炭素（CO2）レベルの気候変動への影響に取り組む課題に直面しています。この課題に対応するために、革新的な技術が開発されています。直接空気キャプチャ（DAC）は非常に重要な手法です。DACは大気中からCO2を直接キャプチャし、気候変動との闘いにおいてその実施は重要です。しかし、DACに関連する高いコストが広範な採用を妨げています。 Direct Air Capture（DAC）における重要な側面は、吸着材料への依存であり、その中でさまざまな選択肢の中で金属有機フレームワーク（MOFs）が注目を浴びています。MOFsは、モジュラリティ、フレキシビリティ、チューナビリティなどの利点を提供します。伝統的な吸収材料に比べ、エネルギーを多く必要としないため、低温で再生させることができる金属有機フレームワークは、さまざまなアプリケーションにおいて有望で環境に優しい選択肢となります。しかし、DACに適した吸着材料を特定することは、広範な化学的領域の探索と異なる湿度と温度条件下での材料の振る舞いを理解する必要があるため、複雑な課題です。特に湿度は吸着に影響を与え、時間の経過とともに吸着剤の劣化を引き起こす可能性があります。この課題に対応するために、OpenDACプロジェクトは、Metaとジョージア工科大学（Georgia Tech）のFundamental AI Research（FAIR）の共同研究努力として生まれました。OpenDACの主な目的は、大気から効率的にCO2を引き抜くことができる新しい吸着材料である革新的なSORBENTSを特定することにより、DACのコストを大幅に削減することです。そのような吸着材料を発見することは、DACの経済的な実現可能性と拡大性にとって重要な要素です。研究者は広範な研究を行い、OpenDAC 2023（ODAC23）データセットを作成しました。このデータセットは、8,800以上のMOF材料における38ミリオンを超える密度汎関数理論（DFT）計算の総集計であり、吸着されたCO2とH2Oを含んでいます。ODAC23は、DFTレベルでのMOF吸着計算の最大のデータセットであり、MOFの特性や構造緩和に関する貴重な洞察を提供します。また、OpenDACはODAC23データセットを広範な研究コミュニティと新興のDAC産業に公開しました。その目的は協力を促進し、機械学習（ML）モデルの開発のための基礎的なリソースを提供することです。研究者は、ODAC23データセットでトレーニングされた最新の機械学習モデルを使用して、DFTレベルの計算を近似することで、MOFを容易に特定することができます。まとめると、OpenDACプロジェクトは直接空気キャプチャ（DAC）の手ごろさと利便性の向上において重要な進歩を表しています。金属有機フレームワーク（MOF）の利点を最大限に活用し、最先端の計算手法を採用することにより、OpenDACは炭素捕捉技術の進歩を推進するポジションにあります。一般に公開されたODAC23データセットは、DACアプリケーション以上の豊富な情報を提供し、気候変動との闘いへの共同努力への貢献となります。 “`

「OpenAIのGPTストアで稼ぐための11のカスタムGPTアイデア」

OpenAIは次の大きな収入源の機会を発表しました

Learn more about Search Results A - Page 98