Search Results EU

「QLoRAを使ってLlama 2を微調整し、AWS Inferentia2を使用してAmazon SageMakerに展開する」

この記事では、パラメータ効率の良いファインチューニング（PEFT）手法を使用してLlama 2モデルを微調整し、AWS Inferentia2上でファインチューニングされたモデルを展開する方法を紹介します AWS Neuronソフトウェア開発キット（SDK）を使用してAWS Inferentia2デバイスにアクセスし、その高性能を活用しますその後、[…]の動力を得るために、大きなモデル推論コンテナを使用します

「AIは詐欺検出にどのように使われていますか？」

西部劇にはガンスリンガー、銀行強盗、賞金が存在しましたが、今日のデジタルフロンティアではアイデンティティ盗難、クレジットカード詐欺、チャージバックが広まっています。金融詐欺による収益は、数十億ドル規模の犯罪企業となっています。詐欺師の手に渡る「生成AI」は、これをさらに収益化することを約束します。世界的には、2026年までにクレジットカードによる損失は430億ドルに達する見込みです。これはニルソン・レポートによるものです。金融詐欺は、ハッキングされたデータをダークウェブから収集してクレジットカードの盗難に利用するなど、さまざまな手法で行われます。「生成AI」を用いて個人情報をフィッシングする場合もあり、仮想通貨、デジタルウォレット、法定通貨間での資金洗浄も行われています。デジタルの裏世界にはさまざまな金融詐欺が潜んでいます。対応するために、金融サービス企業は詐欺検出にAIを活用しています。なぜなら、これらのデジタル犯罪の多くはリアルタイムで停止し、消費者や金融企業がすぐに損失を止める必要があるからです。では、詐欺検出にはAIはどのように活用されているのでしょうか？詐欺検出のためのAIは、顧客の行動と関連、アカウントのパターンや詐欺特性に合致する行動の異常を検出するために、複数の機械学習モデルを使用しています。生成AIは詐欺の共同パイロットとして活用できる金融サービスの多くはテキストと数字を扱うものです。生成AIや大規模言語モデル(LLMs)は、意味と文脈を学習する能力を持ち、新しいレベルの出力と生産性を約束するため、産業全体に破壊的な能力をもたらします。金融サービス企業は、生成AIを活用してより賢明かつ能力の高いチャットボットを開発し、詐欺検出を改善することができます。一方で、悪意のある者は巧妙な生成AIのプロンプトを使用してAIのガードレールを回避し、詐欺に利用することができます。また、LLMsは人間のような文章を生成することができ、詐欺師はタイプミスや文法の誤りのない文脈に沿ったメールを作成することができます。さまざまなバリエーションのフィッシングメールを素早く作成することができるため、生成AIは詐欺行為を実行するための優れた共同パイロットとなります。詐欺GPTなど、生成AIをサイバー犯罪に悪用するためのダークウェブツールもあります。生成AIは声認証セキュリティにおける金融被害にも悪用されることがあります。一部の銀行は声認証を使用してユーザーを認証しています。攻撃者がボイスサンプルを入手することができれば、ディープフェイク技術を使用して銀行の顧客の声をクローンすることができ、このシステムを破ろうとします。声データは、スパムの電話で集めることができます。チャットボットの詐欺は、LLMsやその他の技術を使用して人間の行動をシミュレートすることに対する懸念があります。これらはインポスター詐欺や金融詐欺に応用されるディープフェイクビデオと音声クローンのためのものです。米国連邦取引委員会はこの問題に対して懸念を表明しています。生成AIは不正使用と詐欺検出にどのように取り組んでいるのか？詐欺審査には強力な新しいツールがあります。マニュアル詐欺審査を担当する従業員は、ポリシードキュメントからの情報を活用するために、バックエンドでRAGを実行するLLMベースのアシスタントのサポートを受けることができます。これにより、詐欺事件がどのようなものかを迅速に判断し、プロセスを大幅に加速することができます。 LLMsは、顧客の次の取引を予測するために採用されており、支払い企業は事前にリスクを評価し、詐欺取引をブロックすることができます。生成AIはまた、トランザクション詐欺を撲滅するために精度を向上させ、レポートを生成し、調査を減らし、コンプライアンスリスクを軽減するのに役立ちます。不正防止のための生成AIの重要な応用例の1つとして、「合成データ」の生成があります。合成データは、詐欺検出モデルのトレーニングに使用するデータレコードの数を増やし、詐欺師が最新の手法を認識するための例のバラエティと洗練度を高めることができます。 NVIDIAは、生成AIを活用してワークフローを構築し、情報検索のために自然言語プロンプトを使用するチャットボットと仮想エージェントを作成するためのツールを提供しています。 NVIDIAのAIワークフローを活用することで、様々なユースケースに対して正確な応答を生成するためのエンタープライズグレードの機能を迅速に構築し、展開することができます。これには、ファウンデーションモデル、NVIDIA NeMoフレームワーク、NVIDIA Triton Inference Server、GPUアクセラレートベクトルデータベースが使用され、RAGによって強化されたチャットボットが展開されます。安全性に焦点を当てた産業では、悪用されにくいように生成AIを保護するための取り組みが行われています。NVIDIAはNeMoガードレールをリリースし、OpenAIのChatGPTなどのLLMsによって動作するインテリジェントアプリケーションが正確で適切、トピックに即して安全であることを確保するために役立てています。…

「2024年を定義する7つのデータサイエンス＆AIのトレンド」

約1年前のこの時期に、私は2023年にAIで大きなトレンドになると思われることについての意見記事を投稿しましたその7つのアイデアのうち、私はすべて正しかったと思います生成的AIが流行りましたし、採用と解雇も乱れました...

2024

『UC BerkeleyがAIフィードバックから強化学習を使って訓練されたオープンなLLMを発表』

新しいレポートでは、UCバークレーの研究者がReinforcement Learning from AI Feedback（RLAIF）を使って作成された革命的な大規模言語モデルであるStarling-7Bを紹介しています研究者たちは、このモデルが最先端の技術と手法を取り入れ、自然言語処理の領域を再定義する助けになることを期待しています研究者たちは、...

ギガGPTに会ってください：CerebrasのnanoGPTの実装、Andrei Karpathyの効率的なコードでGPT-3のサイズのAIモデルを訓練するためにわずか565行のコード

大規模なトランスフォーマーモデルのトレーニングには、特に数十億または数兆のパラメータを持つモデルを目指す場合、重要な課題があります。主な難関は、複数のGPUに効率的にワークロードを分散させながらメモリ制限を緩和することにあります。現在の状況では、Megatron、DeepSpeed、NeoX、Fairscale、Mosaic Foundryなど、複雑な大規模言語モデル（LLM）スケーリングフレームワークに依存しています。ただし、これらのフレームワークは、モデルのサイズが大きくなるにつれてかなりの複雑さを導入します。今回の研究では、CerebrasのgigaGPTを、この課題に対する画期的な解決策として紹介します。これにより、複雑な並列化技術の必要性を排除した代替手法を提供します。大規模なトランスフォーマーモデルのトレーニングには、MegatronやDeepSpeedなどのフレームワークのように、複数のGPU上での分散コンピューティングに依存している方法が主流です。ただし、数十億のパラメータを超えるモデルの場合、これらの方法ではメモリ制約に遭遇し、複雑な解決策が必要です。これに対して、CerebrasのgigaGPTはパラダイムシフトをもたらします。565行という非常にコンパクトなコードベースを備えたnanoGPTを実装しています。この実装は、追加のコードやサードパーティのフレームワークに依存することなく、1000億を超えるパラメータを持つモデルをトレーニングできます。gigaGPTはCerebrasのハードウェアの広範なメモリと計算能力を活用します。他のフレームワークとは異なり、余分な複雑さを導入せずにシームレスに動作し、簡潔で独自のコードベースとGPT-3のサイズのモデルのトレーニング能力を提供します。 gigaGPTは、基本的なGPT-2のアーキテクチャを実装しており、nanoGPTの原則に密接に沿っています。学習された位置の埋め込み、標準のアテンション、モデル全体にわたるバイアス、およびnanoGPTの構造に対する選択肢を採用しています。特筆すべきは、この実装が特定のモデルサイズに限定されないことです。gigaGPTは111M、13B、70B、および175Bパラメータを持つモデルのトレーニングでその柔軟性を検証しています。 OpenWebTextデータセットとnanoGPTのGPT-2トークナイザーと前処理コードを使用してテストを行います。gigaGPTのパフォーマンスは、専用の並列化技術を必要とせずに数百億のパラメータから数千億のパラメータまでスケーリングする能力によって強調されています。565行のコードがリポジトリ全体をカバーしており、その簡単な構造と効率性を示しています。実装の成功は、特定のモデル構成でもさらに示されます。たとえば、111M構成はCerebras-GPTと一致し、モデルの次元、学習率、バッチサイズ、トレーニングスケジュールが同じです。同様に、13B構成もサイズにおいて対応するCerebras-GPT構成に近く、70B構成はLlama-2 70Bからインスピレーションを受けています。70Bモデルは安定性とパフォーマンスを維持し、スケーラビリティを示しています。70Bモデルを検証した後、研究者たちはGPT-3の論文に基づいて175Bモデルを構成することで境界を em emました。初期の結果は、メモリの問題なく拡大スケールを処理できるモデルの能力を示しており、gigaGPTは1兆を超えるパラメータを持つモデルにもスケーリングできる可能性を示唆しています。結論として、gigaGPTは大規模なトランスフォーマーモデルのトレーニングの課題に対する画期的な解決策として浮かび上がっています。研究チームの実装は、簡潔で使いやすいコードベースを提供するだけでなく、GPT-3のサイズのモデルのトレーニングも可能にします。Cerebrasのハードウェアを利用した、広範なメモリと計算能力による利点は、大規模なAIモデルのトレーニングをよりアクセス可能、スケーラブル、効率的にする大きな進歩です。この革新的なアプローチは、巨大な言語モデルのトレーニングの複雑さに取り組もうとする機械学習の研究者や実践者にとって有望な道を開くものと言えます。 Introducing gigaGPT: our implementation of @karpathy’s nanoGPT that trains GPT-3 sized models in just…

アリゾナ州立大学のこのAI研究は、テキストから画像への非拡散先行法を改善するための画期的な対照的学習戦略「ECLIPSE」を明らかにした

拡散モデルは、テキストの提案を受け取ると、高品質な写真を生成するのに非常に成功しています。このテキストから画像へのパラダイム（T2I）の生成は、深度駆動の画像生成や主題/セグメンテーション識別など、さまざまな下流アプリケーションで成功裏に使用されています。2つの人気のあるテキスト条件付き拡散モデル、CLIPモデルと潜在的な拡散モデル（LDM）のような、しばしば安定拡散と呼ばれるモデルは、これらの進展に不可欠です。LDMは、オープンソースソフトウェアとして自由に利用可能なことで研究界で知られています。一方、unCLIPモデルにはあまり注目が集まっていません。両モデルの基本的な目標は、テキストの手がかりに応じて拡散モデルをトレーニングすることです。テキストから画像への優位性と拡散画像デコーダを持つunCLIPモデルとは異なり、LDMには単一のテキストから画像への拡散モデルがあります。両モデルファミリーは、画像のベクトル量子化潜在空間内で動作します。unCLIPモデルは、T2I-CompBenchやHRS-Benchmarkなどのいくつかの構成ベンチマークで他のSOTAモデルを上回ることが多いため、この記事ではそれに集中します。これらのT2Iモデルは通常多くのパラメータを持つため、トレーニングには優れた画像とテキストのペアリングが必要です。LDMと比較すると、DALL-E-2、Karlo、KandinskyなどのunCLIPモデルは、約10億のパラメータを持つ前のモジュールがあるため、合計モデルサイズが大幅に大きくなります（≥ 2B）。そのため、これらのunCLIPモデルのトレーニングデータは250M、115M、177Mの画像テキストのペアリングです。したがって、2つの重要な質問が残ります：1）テキスト構成のSOTAパフォーマンスは、テキストから画像への先行モデルを使用することで改善されるのでしょうか？2）それともモデルのサイズを増やすことが重要な要素なのでしょうか？パラメータとデータの効率性を向上させることで、研究チームはT2I先行モデルについての知識を向上させ、現在の形式に比べて重要な改善を提供することを目指しています。T2I先行モデルは、拡散プロセスの各タイムステップでノイズのない画像埋め込みを直接推定するための拡散モデルでもあり、これは以前の研究が示唆しているようです。研究チームは、この前期の普及プロセスを調査しました。図1は、SOTAテキストから画像へのモデル間の３つの構成タスク（色、形、テクスチャ）の平均パフォーマンスとパラメータの総数を比較しています。ECLIPSEは少量のトレーニングデータしか必要とせず、少ないパラメータでより優れた結果を出します。提示されたECLIPSEは、Kandinskyデコーダを使用して、わずか5百万の画像テキストペアリングのみを利用して約3300万のパラメータでT2I先行モデルをトレーニングします。研究チームは、拡散プロセスがわずかにパフォーマンスを低下させ、正しい画像の生成には影響を与えないことを発見しました。さらに、拡散モデルは収束が遅いため、トレーニングには大量のGPU時間または日数が必要です。そのため、非拡散モデルはこの研究では代替手段として機能します。分類子のガイダンスがないため、この手法は構成の可能性を制限するかもしれませんが、パラメータの効率性を大幅に向上させ、データの依存性を軽減します。本研究では、Arizona State Universityの研究チームは、上記の制約を克服し、T2Iの非拡散先行モデルを強化するためのユニークな対照的学習技術であるECLIPSEを紹介しています。研究チームは、提供されたテキスト埋め込みから画像埋め込みを生成する従来のアプローチを最適化することにより、Evidence Lower Bound（ELBO）を最大化しました。研究チームは、事前学習されたビジョン言語モデルの意味的整合性（テキストと画像の間）機能を使用して、以前のトレーニングを監視しました。研究チームは、ECLIPSEを使用して、画像テキストのペアリングのわずかな断片（0.34%〜8.69%）を使用して、コンパクトな（97%小さい）非拡散先行モデル（3300万のパラメータを持つ）をトレーニングしました。研究チームは、ECLIPSEトレーニングされた先行モデルをunCLIP拡散画像デコーダバリエーション（KarloとKandinsky）に導入しました。ECLIPSEトレーニングされた先行モデルは、10億のパラメータを持つバージョンを上回り、ベースラインの先行学習アルゴリズムを上回ります。研究結果は、パラメータやデータを必要とせずに構成を改善するT2I生成モデルへの可能な道を示唆しています。図1に示すように、彼らの総合パラメータとデータの必要性は大幅に減少し、T2Iの増加により類似のパラメータモデルに対してSOTAのパフォーマンスを達成します。貢献。1）unCLIPフレームワークでは、研究チームがテキストから画像への事前の対照的な学習に初めてECLIPSEを提供しています。 2）研究チームは包括的な実験を通じて、資源制約のある文脈でのECLIPSEの基準事前に対する優位性を証明しました。 3）注目すべきは、ECLIPSE事前のパフォーマンスを大きなモデルと同等にするために、トレーニングデータのわずか2.8％とモデルパラメータのわずか3.3％しか必要としないことです。 4）また、研究チームは現在のT2I拡散事前の欠点を検討し、経験的な観察結果を提供しています。

ジェンAIに関するトップ10の研究論文

イントロダクション自然言語理解の常に進化する風景の中で、研究者たちは革新的なアプローチを通じて可能性の限界を em>押し上げることを続けています。本記事では、生成AI（GenAI）に関する画期的な研究論文のコレクションについて探求していきます。これらの研究は、人間の好みとの一致度向上からテキストの説明から3Dコンテンツを生成するという様々な側面にわたって言語モデルを探究しています。これらの研究は学術的な論議に貢献すると同時に、自然言語処理の未来を形作る可能性のある実践的な洞察を提供しています。これらの啓発的な調査を通じて旅を始めましょう。 GenAIに関するトップ10の研究論文 GenAIに関する数百の研究論文の中から、以下は私たちのトップ10の選り抜きです。 1. 生成プリトレーニングによる言語理解の向上この研究論文は、非教示型のプリトレーニングと教示型のファインチューニングを組み合わせて自然言語理解タスクを強化するための半教師付きアプローチを探求しています。この研究では、Transformerアーキテクチャに基づいたタスクに依存しないモデルを利用しています。これにより、多様な未ラベルのテキストでの生成プリトレーニングとその後の識別的ファインチューニングによって、さまざまな言語理解ベンチマークでのパフォーマンスが大幅に向上することが明らかになりました。このモデルは、常識的な推論において8.9%、質問応答において5.7%、テキスト言い換えにおいて1.5%といった注目すべき改善を達成しました。この研究は、大規模な未ラベルのコーパスをプリトレーニングに活用し、ファインチューニング中のタスクに意識した入力変換を行うことが、教師なし学習を自然言語処理や他の領域で進めるための貴重な洞察を提供しています。論文はこちらで入手できます：https://s3-us-west-2.amazonaws.com/openai-assets/research-covers/language-unsupervised/language_understanding_paper.pdf 2. 人間フィードバックを用いた強化学習：悲観主義を通じたダイナミックな選択の学習この生成AIに関する研究論文は、オフラインでの人間フィードバックによる強化学習（RLHF）の難しい領域に深入りしています。この研究は、人間の選択に影響を受けたトラジェクトリの集合から、マルコフ決定過程（MDP）における人間の基盤と最適方策を把握することを目指しています。この研究は、経済計量学に根ざしたダイナミックディスクリートチョイス（DDC）モデルに焦点を当て、有界合理性を持った人間の意思決定をモデル化します。提案されたDynamic-Choice-Pessimistic-Policy-Optimization（DCPPO）メソッドは、次の3つのステージで構成されています。それらは、人間の行動方針と価値関数の推定、人間の報酬関数の再現、および事実に近い最適方策のための悲観的価値反復の呼び出しです。この論文は、動的なディスクリートチョイスモデルによるオフポリシーオフラインRLHFについての理論的な保証を提供しています。分布のシフトや次元のサブオプティマリティの課題への対処についての洞察も提供しています。論文はこちらで入手できます：https://arxiv.org/abs/2305.18438 3. ニューラル確率言語モデルこの研究論文は、次元の呪いによって生じる統計的言語モデリングの課題に取り組み、未見の単語の連続列に対して一般化する難しさに焦点を当てています。提案された解決策は、単語の分散表現を学習することで、各トレーニング文がモデルに対して意味的に隣接する文について情報を提供することを可能にします。単語の表現と単語列の確率関数を同時に学習することで、モデルは一般化性能を向上させることができます。ニューラルネットワークを用いた実験結果は、最先端のn-gramモデルに比べて大幅な改善を示しており、長い文脈を活用するアプローチの効果を示しています。論文は、学習された分散表現によって次元の課題に対処するモデルの能力を強調しながら、潜在的な将来の改善の可能性についても言及しています。論文はこちらで入手できます：https://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf 4. BERT：言語理解のための深層双方向トランスフォーマーの事前学習 GenAIの研究論文では、未ラベル化されたテキストに対して双方向の事前学習を行うために設計された画期的な言語表現モデルであるBERTが紹介されています。従来のモデルとは異なり、BERTはすべてのレイヤーで左右の文脈に依存し、タスク固有の修正を最小限に抑えながら微調整を可能にします。BERTはさまざまな自然言語処理タスクで最先端の結果を実現し、その簡潔さと実証的なパワーを示しています。この論文では既存の技術の制約に対処し、言語表現のための双方向の事前学習の重要性を強調しています。BERTのマスクされた言語モデル目的は、深い双方向のTransformer事前学習を促進し、タスク固有のアーキテクチャへの依存を減らし、11のNLPタスクの最先端の技術を前進させています。…

「2024年の包括的なNLP学習パス」

紹介 2023年は、バード、ジェミニ、そしてChatGPTのような強力な言語モデルの台頭により、自然言語処理（NLP）で画期的な進展がありました。これらの驚異は、単なるAIの進化の見事な快挙だけでなく、機械が前例のない正確さと流暢さで人間の言語を理解し生成できる新たな時代の始まりを意味しています。パーソナライズされたチャットボットからリアルタイム翻訳まで、NLPはテクノロジーと私たちとのインタラクションの方法を革新しています。これらのアプリケーションがますます普及するにつれて、NLPの習得は単なる技能ではなく、必要不可欠なものとなります。これを念頭に置いて、2024年にNLPの専門家になるための6ヶ月間のステップバイステップの学習パスを作成しました。このNLPの学習パスでは、事前に知っておく必要のある事項から始めます。その後、月ごとに学習と実践が必要な内容を具体的にご案内いたします。さあ、始めましょう！ 2024年の包括的なNLP学習パス概要 Natural Language Processing (NLP)に興味はありますか？それなら、この学習パスがおすすめです！初心者でもわかりやすいように設計されており、6ヶ月でNLPの基礎を学ぶことができます。何を学ぶことができますか？ Month 1: Pythonと基本的な機械学習のスタート。NLPのための統計、確率、およびディープラーニングの概念を学びましょう。 Month 2 & 3: テキスト処理技術、単語埋め込み、PyTorchやTensorFlowなどのディープラーニングフレームワークのマスター。テキスト要約や機械翻訳の最初のプロジェクトを作成しましょう。 Month 4 & 5: BERTやGPT-3などの強力な事前学習モデルを発見しましょう。転移学習、プロンプトエンジニアリング、ファインチューニングの技術を学びましょう。大規模な言語モデルでアプリケーションを作成しましょう。 Month…

「メタは、トレーニングにLLaMAモデルを使用するために著作権のある本を使用し、著者たちは訴訟を起こしています」

Meta Platforms、以前のFacebookとして知られる企業が、コメディアンのサラ・シルバーマンやピュリッツァー賞受賞者のマイケル・シャボンを含む有名人がテックジャイアントに反対して法的紛争に巻き込まれています。告発は、Metaが著作権付きの書籍を利用して、その法的チームの警告にもかかわらず、人工知能モデルを訓練したことを示唆し、コンテンツ制作者と企業との間で争いを引き起こしました。このReutersが最初に報じた出来事は、MetaとそのAIの進歩において燃料となるとされる作品の制作者との衝突を明らかにしています。告発と法的混乱 Metaは数千冊の違法な書籍をAIモデルのトレーニングに使用したとの告発に直面し、法的な挑戦に直面しています。最近の裁判所の提出によって明るみに出たこの著作権侵害の訴訟は、有名な著者とテック大手の間の対立を浮き彫りにしました。Metaの法的チームからの警告にもかかわらず、Metaはこの議論のあるデータセットの利用を続け、法的な泥沼をさらに悪化させました。制作者からの結束した反対コメディアンのサラ・シルバーマンやピュリッツァー賞受賞者のマイケル・シャボンを含む他の有名な著者が、Metaが違法に彼らの作品を使用したと主張しています。これは人工知能言語モデルであるLlamaを訓練するためです。Reutersによると、最新の法的な提出にはこれらの主張が総括されており、知的財産の倫理的な使用についての疑問を提起しています。 Discordログと法的な議論法的提出の重要な一部として、Meta関連の研究者がDiscordサーバーで物議を醸すデータセットの取得について話しているチャットログが含まれています。これらのログは、Metaが書籍ファイルの使用に関連する潜在的な著作権侵害に関する認識を持っていることを示す可能性のある証拠となります。この会話は、データセットの利用の許容性についてのMeta内での内部的な議論を明らかにしています。これにより、この問題に関するMetaの明らかな法的な不確実性への認識が浮き彫りにされています。 Metaが議論のあるデータセットを訓練に使用したとされるLlama大規模言語モデルのリリースは、コンテンツ制作者コミュニティ内で懸念を引き起こしました。テック企業は、著作権保護された資料の無許可使用を理由にしたAIの進化に関する訴訟にますます直面しています。これらの法的な戦いの結果は、Reutersが報じたように、データを必要とするモデルの構築におけるコストと透明性に重大な影響を与える可能性があります。私たちの意見技術の進歩と知的財産権の交差点を進む中で、Metaは複雑な法的闘争の最前線に立っています。著作権付きの書籍の許可なく利用するという疑惑は、倫理的な問題を提起します。テック大手は、コンテンツ制作者の知的貢献を尊重する責任があります。法的手続きが進むにつれ、テック業界は潜在的な前例を待っています。これらはAIの開発の将来と技術と創造性の関係を形作る可能性があります。

「蒸留されたアイデンティティの傾向最適化（IPO）を用いて、より洗練されたチャットモデルを調整する」

アイデンティティポリシーオプティマイゼーション（IPO）の目標は、RLHFやDPOよりもトレーニングデータからの学習においてよりシンプルでより良く設計されています

Learn more about Search Results EU - Page 9