Search Results A

「LlamaIndex：カスタムデータで簡単にLLMアプリケーションを強化する」

「LlamaIndex」という革新的なツールを使用して、プライベートデータと大規模言語モデル（LLM）の統合を探求しましょうこの包括的なガイドでは、インストール方法、ユースケース、およびLlamaIndexとLangchainの選択について学びましょう

「ReactJSとChatGPT：ウェブアプリに対話型AIを構築する方法」

Kono burogu de wa, ChatGPT o ReactJS apurikēshon ni tōgō suru koto no kanōsei to riten, soshite sore o okonau hōhō ni tsuite, suteppu…

サイバーセキュリティにおいてAIを活用して人間を補完する

セキュリティを加速するためにAIを使用する利点がありますしかし、完全な自動化には人間の洞察力が必要です人間の創造力と機械の速度の適切な組み合わせを見つけましょう

LoftQをご紹介します：大規模言語モデルのためのLoRA（Fine-Tuning-Aware Quantization）

プリトレーニングされた言語モデル(PLM)の導入は、自然言語処理の分野において画期的な変革を示しています。プリトレーニングされたモデルは、自然言語理解(NLU)や自然言語生成(NLG)を含む幅広い言語タスクにおいて卓越した能力を示しています。これらのモデルは通常、数百万または数十億のパラメータを組み込んでおり、計算およびメモリの要件が大きくなっています。ただし、これらのモデルの計算およびメモリのニーズは、研究コミュニティに認識されているように、重要な課題を提起しています。この論文で、著者たちは新しい量子化フレームワークであるLoRA-Fine-Tuning-aware Quantization (LoftQ)を紹介しています。このフレームワークは、量子化とLoRA微調整を必要とするプリトレーニングモデルに特化しています。このフレームワークは、元々の高精度のプリトレーニングウェイトを低ランク近似と組み合わせて近似的に表現することにより、効果的に機能します。上記の画像は、QLoRAの異なるビットでのパフォーマンスを示しています。左：WikiText-2上のLLAMA-2-13bのQLoRA初期化。右：WikiText-2の言語モデリングタスクにおいてLLAMA-2-13bにQLoRAを適用。より小さい困惑度はより優れたパフォーマンスを示します。量子化手法。LoftQがさまざまな量子化関数と互換性があることを示すために、2つの量子化手法を適用します：・一様量子化は、古典的な量子化手法です。連続区間を均等に2N個に分割し、復元のために局所的な最大絶対値を格納します。・QLoRAで使用されるNF4とその2ビットバリアントNF2は、高精度の値がガウス分布に従っていると仮定し、これらの値を等しい確率を持つ離散スロットにマッピングします。私たちは全モデルに2ビットおよび4ビットの量子化を行い、4ビットおよび2ビットレベルでそれぞれ25〜30%、15〜20%の圧縮率を達成しました。すべての実験はNVIDIA A100 GPUで実施されました。彼らの量子化フレームワークの評価は、NLU、質問応答、要約、NLGを含むさまざまな下位タスクでの包括的な実験を通じて行われます。これらの実験の結果は、LoftQがすべての精度レベルにおいて常にQLoRAを上回っていることを示しています。たとえば、4ビット量子化では、XSumおよびCNN/DailyMailのRouge-1の改善がそれぞれ1.1と0.8であります。自然言語処理の分野が進歩し続けるにつれ、PLMの膨大な潜在能力とその実用的な展開との間のギャップを埋めるため、さらなる革新と最適化が期待されており、幅広いアプリケーションとユーザーに利益をもたらすでしょう。

「Google DeepMindが、ソーシャルおよび倫理的なAIリスク評価のための人工知能フレームワークを提案」

ジェネラティブAIシステムは、さまざまな形式でコンテンツを作成することで、ますます広まっています。これらのシステムは、医療、ニュース、政治、社会的なやり取りなど、さまざまな分野で使用され、仲間意識を提供します。自然言語の出力を使用して、これらのシステムは、テキストやグラフィックスなどの単一の形式で情報を生成します。ジェネラティブAIシステムをより適応性のあるものにするために、音声（音声や音楽を含む）やビデオなどの追加の形式で動作するように改良する傾向が増えています。ジェネラティブAIシステムの利用の増加は、それらの展開に伴う潜在的なリスクを評価する必要性を強調しています。これらの技術がより一般的になり、さまざまなアプリケーションに統合されるにつれて、公共の安全に関する懸念が生じます。したがって、ジェネラティブAIシステムが引き起こす潜在的なリスクを評価することは、AI開発者、政策立案者、規制当局、市民社会にとって優先事項となっています。これらのシステムの利用の増加は、ジェネラティブAIシステムの実装に関連する潜在的な危険性を評価する必要性を強調しています。その結果、AI開発者、規制当局、市民社会がジェネラティブAIシステムが引き起こす可能性のある脅威を評価することがますます重要になっています。誤った情報を広めるかもしれないAIの開発は、そのような技術が社会にどのような影響を与えるかという倫理的な問題を提起します。したがって、Google DeepMindの研究者による最近の研究では、AIシステムの社会的および倫理的なリスクを、複数の文脈レイヤーで網羅的に評価する手法を提供しています。DeepMindのフレームワークは、システムの能力、技術との人間の相互作用、およびそれが持つ広範なシステムへの影響について、リスクを体系的に評価します。彼らは、非常に能力のあるシステムでも、特定の文脈内で問題が発生する場合にのみ害を引き起こす可能性があることを強調しています。また、フレームワークは実際の人間とAIシステムとの相互作用を調査します。これには、技術を利用するユーザーの身元や、それが意図通りに動作するかどうかなどの要素を考慮します。最後に、フレームワークはAIが広範に採用された場合に生じる可能性のあるリスクを調査します。この評価では、技術が大きな社会的システムと組織にどのように影響を与えるかを考慮します。研究者は、AIのリスクを決定する上で文脈の重要性を強調しています。フレームワークの各層は文脈に関する懸念事項に浸透しており、AIを使用するのは誰であり、なぜ使用するかを知ることの重要性を強調しています。たとえば、AIシステムが事実に基づいた正確な出力を生成したとしても、ユーザーの解釈やそれらの出力の後続の普及は、特定の文脈の制約内でのみ明らかな予期しない結果をもたらす可能性があります。研究者は、この戦略を示すために、誤情報に焦点を当てたケーススタディを提供しています。評価では、AIの事実の誤りに対する傾向を評価し、ユーザーがシステムとどのように相互作用するかを観察し、誤った情報の拡散などの後続の影響を測定します。モデルの行動と特定の文脈で実際に起こる害の相互作用は、実践的なインサイトをもたらします。 DeepMindの文脈ベースのアプローチは、単独のモデルの指標を超える重要性を強調しています。社会的な文脈の複雑な現実の中で、AIシステムがどのように機能するかを評価する必要性を強調しています。この総合的な評価は、AIの利点を最大限に活用する一方で、関連するリスクを最小限に抑えるために重要です。