Search Results 大規模な言語モデル

「ヴォン・グームと出会う大規模な言語モデルにおけるデータ毒化に対する革新的なAIアプローチ」

データの毒化攻撃は、訓練データセットに誤ったデータを注入することで機械学習モデルを操作します。モデルが実世界のデータに触れると、不正確な予測や意思決定につながる可能性があります。データの毒化攻撃はLLMに対して脆弱になり得るため、対象のプロンプトや関連概念に対する応答を歪めることがあります。この問題に対処するために、Del Complexが行った研究は、VonGoomという新しい手法を提案しています。この手法は、目的を達成するために数百から数千の戦略的な毒入力のみを必要とします。 VonGoomは、数百から数千の戦略的に配置された入力のみで実現可能であることを示し、数百万の毒サンプルが必要であるという考えに挑戦します。VonGoomは、訓練中にLLMを誤導するために微妙な操作を施した見かけ上無害なテキスト入力を作り出し、さまざまな歪みを導入します。それは、LLMトレーニングで使用される数億のデータソースを毒化しています。この研究では、LLMがデータの毒化攻撃に対してどのように脆弱であるかを探求し、LLMに対するプロンプト固有の毒化攻撃の新しい手法であるVonGoomを紹介しています。一般的な全範囲のエピソードとは異なり、VonGoomは特定のプロンプトやトピックに焦点を当てています。訓練中にLLMを誤導するために微妙な操作を施した見かけ上無害なテキスト入力を作り出し、微妙なバイアスから明白なバイアス、誤情報、概念の破壊まで、さまざまな歪みを導入します。 VonGoomはLLMに対するプロンプト固有のデータの毒化の手法です。訓練中にモデルを誤導し、学習した重みを乱すために微妙な操作を施した見かけ上無害なテキスト入力を作り出します。VonGoomは微妙なバイアス、明白なバイアス、誤情報、概念の破壊など、さまざまな歪みを導入します。この手法は、クリーンネイバーの毒データとガイド付きの摂動といった最適化技術を使用し、さまざまなシナリオで有効性を示しています。約500〜1000の少数の毒入力を注入すると、ゼロから訓練されたモデルの出力が大幅に変わることが示されました。事前学習済みモデルの更新を含むシナリオでは、750〜1000の毒入力を導入することでモデルの対象概念への応答が効果的に妨害されました。 VonGoom攻撃は、意味的に変化させられたテキストサンプルがLLMの出力に影響を与えることを示しました。その影響は関連するアイデアにまで及び、毒性サンプルの影響が意味的に関連する概念に伝わる「ブリードスルー効果」が生まれました。比較的少数の毒入力での戦略的な実装により、LLMが洗練されたデータの毒化攻撃に対して脆弱であることが明らかにされました。まとめると、行われた研究は以下の点で要約されます： VonGoomは、LLMを訓練中に誤導するためのデータ操作手法です。この手法は、モデルを誤導する微妙な変更をテキスト入力に加えることで実現されます。小規模な入力でのターゲット攻撃は、目標を達成するために実現可能で効果的です。 VonGoomは、バイアス、誤情報、概念の破壊など、さまざまな歪みを導入します。この研究では、一般的なLLMデータセット内の特定の概念の訓練データの密度を分析し、操作の機会を特定しています。この研究は、LLMがデータの毒化攻撃に対して脆弱であることを強調しています。 VonGoomは、様々なモデルに大きな影響を与え、この分野に広範な影響を与える可能性があります。

「Google DeepMindが大規模な言語モデルを使用して解けない数学問題を解決」

彼らは生産物のほとんどを捨てなければならなかったが、ゴミの中には金があった

「ニュースレコメンデーションのための大規模な言語モデルとベクトルデータベース」

大規模言語モデル（LLM）は、Chat-GPTやBardなどの生成型AIツールの最新リリースにより、機械学習コミュニティ全体で大きな話題となりましたその中核となるアイデアの1つは...

大規模な言語モデルについて企業が知っておくべきこと

大規模な言語モデルは、ビジネスコミュニケーション、コンテンツ作成、データ分析を変革しますビジネスにおける主な機能と利点を探るために読んでみてください

『クラウド上で大規模な言語モデルを使用する際の性能とコストの最適化戦略』

クラウドプラットフォームでは、あなたのLLMが十分に動作せず、高額な費用がかかる場合が多くあります簡単な戦略を利用することで、それを回避することができます

language models

「大規模な言語モデルの公正な評価に向けて」

「こうした大胆な主張を聞くことがますます一般的になってきているのは、LLM（レイディコマス）周りの話題が大きいためです毎週新しいモデルが登場し、現在は誰もがGPT-4に競い合おうとしていますが、それは...」

「品質と責任について大規模な言語モデルを評価する」

生成AIに関連するリスクは広く公表されています有毒性、偏見、逸出した個人情報、幻覚は組織の評判に悪影響を与え、顧客の信頼を損ないます研究によると、バイアスや有毒性のリスクは、事前訓練された基盤モデル（FM）から特定のタスクに向けた生成AIサービスに移行するだけでなく、FMを特定のタスクに調整することによっても発生します

大規模な言語モデル：DeBERTa — デコーディング強化BERTと解釈された注意力

最近、BERTは多くの自然言語処理の課題で第一のツールとなりました情報の処理と理解、高品質の単語埋め込みの構築能力に優れています…

「サーモン大規模な言語モデルのための一般的な聴覚能力へ」

聞くことは、一般的な音声情報の感知と理解を含むため、AIエージェントにとって現実世界の環境では重要ですこの音声情報は、音楽、オーディオイベント、および音声の3つの主要な音声タイプを包括しています最近、テキストベースの大規模言語モデル（LLM）フレームワークは、自然言語処理（NLP）のさまざまな分野で人間レベルのパフォーマンスを達成するなど、注目すべき能力を示してきました

「スロープ・トランスフォーマーに出会ってください：銀行の言語を理解するために特別に訓練された大規模な言語モデル（LLM）」

支払いにおいて、トランザクションの理解は事業のリスク評価において重要です。しかし、乱雑な銀行の取引データの解読は課題となります。なぜなら、異なる銀行間で様々な方法で表現されるからです。PlaidやChatGPTのような既存の解決策には、カバレッジの低さや冗漫さといった制約があります。これを解決するために、Slope TransFormerと呼ばれる新しい解決策が開発されました。これは、銀行の言語を理解するために特別に訓練された大規模言語モデル（LLM）です。トランザクションは、異なる形式で表現されるため理解が難しいですが、従来のルールベースの手法は無力です。Open BankingプロバイダであるPlaidは、50%未満のカバレッジのトランザクションデータを提供し、そのラベルはノイズがあり混乱しやすいです。ChatGPTのようなLLMは、非構造化データから意味を抽出することを約束していますが、予測不可能性やスケーラビリティの問題を抱えています。 Slope TransFormerは、銀行のトランザクションから意味を抽出するために専用に訓練されたLLMであるという特許を取得しています。これにより、前任者であるSlopeGPTの制約を克服し、正確で簡潔な取引先ラベルを解釈可能な方法で提供します。その成功の秘訣は、トランザクションから商店名を抽出するために新しい言語を定義することです。効率的なベースモデルOPT-125Mと、LoRAと呼ばれるファインチューニングアルゴリズムを使用して、TransFormerは驚異的な速度を実現しています。これにより、SlopeGPTに比べて250倍のスピードで500件以上のトランザクションをラベリングできます。人間の専門家に対する正確な一致率は72%以上であり、たった62%しか達成していないPlaidを上回っています。この解決策は正確かつ高い一貫性を持ち、製品システムで信頼性があります。 TransFormerのパフォーマンスは既にライブの信用モニタリングダッシュボードへの展開につながっています。その効率性と機能性により、ビジネスの詳細な情報が提供され、変動するリスクの監視、異常なイベントの警告、自動的な調整の適用が可能となります。最終的な目標は、TransFormerを使用して、従来の財務情報を超えたビジネスの正確な理解を実現し、信用保証システム全体にパワーを与えることです。まとめると、Slope TransFormerはB2B経済においてアンダーライティングの方法を再定義する重要なマイルストーンです。その効率性、正確性、解釈可能性は、ビジネスのより正確な理解を可能にし、リスクの監視と管理に新しいリアルタイムシグナルを解除することを可能にします。この進歩は、数十年にわたる進歩を妨げていた非効率性を解消し、AIを使用してワークフローを自動化することで、SlopeAIの広範なビジョンであるB2B経済のデジタル化に適合しています。この投稿は、Slope TransFormer: A Large Language Model (LLM) Trained Specifically to Understand the Language of…

Learn more about Search Results 大規模な言語モデル