Search Results Yi

「AIは詐欺検出にどのように使われていますか？」

西部劇にはガンスリンガー、銀行強盗、賞金が存在しましたが、今日のデジタルフロンティアではアイデンティティ盗難、クレジットカード詐欺、チャージバックが広まっています。金融詐欺による収益は、数十億ドル規模の犯罪企業となっています。詐欺師の手に渡る「生成AI」は、これをさらに収益化することを約束します。世界的には、2026年までにクレジットカードによる損失は430億ドルに達する見込みです。これはニルソン・レポートによるものです。金融詐欺は、ハッキングされたデータをダークウェブから収集してクレジットカードの盗難に利用するなど、さまざまな手法で行われます。「生成AI」を用いて個人情報をフィッシングする場合もあり、仮想通貨、デジタルウォレット、法定通貨間での資金洗浄も行われています。デジタルの裏世界にはさまざまな金融詐欺が潜んでいます。対応するために、金融サービス企業は詐欺検出にAIを活用しています。なぜなら、これらのデジタル犯罪の多くはリアルタイムで停止し、消費者や金融企業がすぐに損失を止める必要があるからです。では、詐欺検出にはAIはどのように活用されているのでしょうか？詐欺検出のためのAIは、顧客の行動と関連、アカウントのパターンや詐欺特性に合致する行動の異常を検出するために、複数の機械学習モデルを使用しています。生成AIは詐欺の共同パイロットとして活用できる金融サービスの多くはテキストと数字を扱うものです。生成AIや大規模言語モデル(LLMs)は、意味と文脈を学習する能力を持ち、新しいレベルの出力と生産性を約束するため、産業全体に破壊的な能力をもたらします。金融サービス企業は、生成AIを活用してより賢明かつ能力の高いチャットボットを開発し、詐欺検出を改善することができます。一方で、悪意のある者は巧妙な生成AIのプロンプトを使用してAIのガードレールを回避し、詐欺に利用することができます。また、LLMsは人間のような文章を生成することができ、詐欺師はタイプミスや文法の誤りのない文脈に沿ったメールを作成することができます。さまざまなバリエーションのフィッシングメールを素早く作成することができるため、生成AIは詐欺行為を実行するための優れた共同パイロットとなります。詐欺GPTなど、生成AIをサイバー犯罪に悪用するためのダークウェブツールもあります。生成AIは声認証セキュリティにおける金融被害にも悪用されることがあります。一部の銀行は声認証を使用してユーザーを認証しています。攻撃者がボイスサンプルを入手することができれば、ディープフェイク技術を使用して銀行の顧客の声をクローンすることができ、このシステムを破ろうとします。声データは、スパムの電話で集めることができます。チャットボットの詐欺は、LLMsやその他の技術を使用して人間の行動をシミュレートすることに対する懸念があります。これらはインポスター詐欺や金融詐欺に応用されるディープフェイクビデオと音声クローンのためのものです。米国連邦取引委員会はこの問題に対して懸念を表明しています。生成AIは不正使用と詐欺検出にどのように取り組んでいるのか？詐欺審査には強力な新しいツールがあります。マニュアル詐欺審査を担当する従業員は、ポリシードキュメントからの情報を活用するために、バックエンドでRAGを実行するLLMベースのアシスタントのサポートを受けることができます。これにより、詐欺事件がどのようなものかを迅速に判断し、プロセスを大幅に加速することができます。 LLMsは、顧客の次の取引を予測するために採用されており、支払い企業は事前にリスクを評価し、詐欺取引をブロックすることができます。生成AIはまた、トランザクション詐欺を撲滅するために精度を向上させ、レポートを生成し、調査を減らし、コンプライアンスリスクを軽減するのに役立ちます。不正防止のための生成AIの重要な応用例の1つとして、「合成データ」の生成があります。合成データは、詐欺検出モデルのトレーニングに使用するデータレコードの数を増やし、詐欺師が最新の手法を認識するための例のバラエティと洗練度を高めることができます。 NVIDIAは、生成AIを活用してワークフローを構築し、情報検索のために自然言語プロンプトを使用するチャットボットと仮想エージェントを作成するためのツールを提供しています。 NVIDIAのAIワークフローを活用することで、様々なユースケースに対して正確な応答を生成するためのエンタープライズグレードの機能を迅速に構築し、展開することができます。これには、ファウンデーションモデル、NVIDIA NeMoフレームワーク、NVIDIA Triton Inference Server、GPUアクセラレートベクトルデータベースが使用され、RAGによって強化されたチャットボットが展開されます。安全性に焦点を当てた産業では、悪用されにくいように生成AIを保護するための取り組みが行われています。NVIDIAはNeMoガードレールをリリースし、OpenAIのChatGPTなどのLLMsによって動作するインテリジェントアプリケーションが正確で適切、トピックに即して安全であることを確保するために役立てています。…

「2024年に注目すべきサイバーセキュリティAIのトレンド」

AIは、防御と攻撃を強化することで、サイバーセキュリティを変革していますAIは脅威を素早く発見し、防御を適応させ、頑強なデータバックアップを確保する能力に優れていますただし、AIによる攻撃の増加やプライバシーの問題など、課題もあります責任あるAIの使用が重要です将来の展望では、2024年において進化するトレンドや脅威に対処するため、人間とAIの共同作業が関与することが必要ですトレンドについての最新情報を把握することの重要性[…]

ギガGPTに会ってください：CerebrasのnanoGPTの実装、Andrei Karpathyの効率的なコードでGPT-3のサイズのAIモデルを訓練するためにわずか565行のコード

大規模なトランスフォーマーモデルのトレーニングには、特に数十億または数兆のパラメータを持つモデルを目指す場合、重要な課題があります。主な難関は、複数のGPUに効率的にワークロードを分散させながらメモリ制限を緩和することにあります。現在の状況では、Megatron、DeepSpeed、NeoX、Fairscale、Mosaic Foundryなど、複雑な大規模言語モデル（LLM）スケーリングフレームワークに依存しています。ただし、これらのフレームワークは、モデルのサイズが大きくなるにつれてかなりの複雑さを導入します。今回の研究では、CerebrasのgigaGPTを、この課題に対する画期的な解決策として紹介します。これにより、複雑な並列化技術の必要性を排除した代替手法を提供します。大規模なトランスフォーマーモデルのトレーニングには、MegatronやDeepSpeedなどのフレームワークのように、複数のGPU上での分散コンピューティングに依存している方法が主流です。ただし、数十億のパラメータを超えるモデルの場合、これらの方法ではメモリ制約に遭遇し、複雑な解決策が必要です。これに対して、CerebrasのgigaGPTはパラダイムシフトをもたらします。565行という非常にコンパクトなコードベースを備えたnanoGPTを実装しています。この実装は、追加のコードやサードパーティのフレームワークに依存することなく、1000億を超えるパラメータを持つモデルをトレーニングできます。gigaGPTはCerebrasのハードウェアの広範なメモリと計算能力を活用します。他のフレームワークとは異なり、余分な複雑さを導入せずにシームレスに動作し、簡潔で独自のコードベースとGPT-3のサイズのモデルのトレーニング能力を提供します。 gigaGPTは、基本的なGPT-2のアーキテクチャを実装しており、nanoGPTの原則に密接に沿っています。学習された位置の埋め込み、標準のアテンション、モデル全体にわたるバイアス、およびnanoGPTの構造に対する選択肢を採用しています。特筆すべきは、この実装が特定のモデルサイズに限定されないことです。gigaGPTは111M、13B、70B、および175Bパラメータを持つモデルのトレーニングでその柔軟性を検証しています。 OpenWebTextデータセットとnanoGPTのGPT-2トークナイザーと前処理コードを使用してテストを行います。gigaGPTのパフォーマンスは、専用の並列化技術を必要とせずに数百億のパラメータから数千億のパラメータまでスケーリングする能力によって強調されています。565行のコードがリポジトリ全体をカバーしており、その簡単な構造と効率性を示しています。実装の成功は、特定のモデル構成でもさらに示されます。たとえば、111M構成はCerebras-GPTと一致し、モデルの次元、学習率、バッチサイズ、トレーニングスケジュールが同じです。同様に、13B構成もサイズにおいて対応するCerebras-GPT構成に近く、70B構成はLlama-2 70Bからインスピレーションを受けています。70Bモデルは安定性とパフォーマンスを維持し、スケーラビリティを示しています。70Bモデルを検証した後、研究者たちはGPT-3の論文に基づいて175Bモデルを構成することで境界を em emました。初期の結果は、メモリの問題なく拡大スケールを処理できるモデルの能力を示しており、gigaGPTは1兆を超えるパラメータを持つモデルにもスケーリングできる可能性を示唆しています。結論として、gigaGPTは大規模なトランスフォーマーモデルのトレーニングの課題に対する画期的な解決策として浮かび上がっています。研究チームの実装は、簡潔で使いやすいコードベースを提供するだけでなく、GPT-3のサイズのモデルのトレーニングも可能にします。Cerebrasのハードウェアを利用した、広範なメモリと計算能力による利点は、大規模なAIモデルのトレーニングをよりアクセス可能、スケーラブル、効率的にする大きな進歩です。この革新的なアプローチは、巨大な言語モデルのトレーニングの複雑さに取り組もうとする機械学習の研究者や実践者にとって有望な道を開くものと言えます。 Introducing gigaGPT: our implementation of @karpathy’s nanoGPT that trains GPT-3 sized models in just…

アリゾナ州立大学のこのAI研究は、テキストから画像への非拡散先行法を改善するための画期的な対照的学習戦略「ECLIPSE」を明らかにした

拡散モデルは、テキストの提案を受け取ると、高品質な写真を生成するのに非常に成功しています。このテキストから画像へのパラダイム（T2I）の生成は、深度駆動の画像生成や主題/セグメンテーション識別など、さまざまな下流アプリケーションで成功裏に使用されています。2つの人気のあるテキスト条件付き拡散モデル、CLIPモデルと潜在的な拡散モデル（LDM）のような、しばしば安定拡散と呼ばれるモデルは、これらの進展に不可欠です。LDMは、オープンソースソフトウェアとして自由に利用可能なことで研究界で知られています。一方、unCLIPモデルにはあまり注目が集まっていません。両モデルの基本的な目標は、テキストの手がかりに応じて拡散モデルをトレーニングすることです。テキストから画像への優位性と拡散画像デコーダを持つunCLIPモデルとは異なり、LDMには単一のテキストから画像への拡散モデルがあります。両モデルファミリーは、画像のベクトル量子化潜在空間内で動作します。unCLIPモデルは、T2I-CompBenchやHRS-Benchmarkなどのいくつかの構成ベンチマークで他のSOTAモデルを上回ることが多いため、この記事ではそれに集中します。これらのT2Iモデルは通常多くのパラメータを持つため、トレーニングには優れた画像とテキストのペアリングが必要です。LDMと比較すると、DALL-E-2、Karlo、KandinskyなどのunCLIPモデルは、約10億のパラメータを持つ前のモジュールがあるため、合計モデルサイズが大幅に大きくなります（≥ 2B）。そのため、これらのunCLIPモデルのトレーニングデータは250M、115M、177Mの画像テキストのペアリングです。したがって、2つの重要な質問が残ります：1）テキスト構成のSOTAパフォーマンスは、テキストから画像への先行モデルを使用することで改善されるのでしょうか？2）それともモデルのサイズを増やすことが重要な要素なのでしょうか？パラメータとデータの効率性を向上させることで、研究チームはT2I先行モデルについての知識を向上させ、現在の形式に比べて重要な改善を提供することを目指しています。T2I先行モデルは、拡散プロセスの各タイムステップでノイズのない画像埋め込みを直接推定するための拡散モデルでもあり、これは以前の研究が示唆しているようです。研究チームは、この前期の普及プロセスを調査しました。図1は、SOTAテキストから画像へのモデル間の３つの構成タスク（色、形、テクスチャ）の平均パフォーマンスとパラメータの総数を比較しています。ECLIPSEは少量のトレーニングデータしか必要とせず、少ないパラメータでより優れた結果を出します。提示されたECLIPSEは、Kandinskyデコーダを使用して、わずか5百万の画像テキストペアリングのみを利用して約3300万のパラメータでT2I先行モデルをトレーニングします。研究チームは、拡散プロセスがわずかにパフォーマンスを低下させ、正しい画像の生成には影響を与えないことを発見しました。さらに、拡散モデルは収束が遅いため、トレーニングには大量のGPU時間または日数が必要です。そのため、非拡散モデルはこの研究では代替手段として機能します。分類子のガイダンスがないため、この手法は構成の可能性を制限するかもしれませんが、パラメータの効率性を大幅に向上させ、データの依存性を軽減します。本研究では、Arizona State Universityの研究チームは、上記の制約を克服し、T2Iの非拡散先行モデルを強化するためのユニークな対照的学習技術であるECLIPSEを紹介しています。研究チームは、提供されたテキスト埋め込みから画像埋め込みを生成する従来のアプローチを最適化することにより、Evidence Lower Bound（ELBO）を最大化しました。研究チームは、事前学習されたビジョン言語モデルの意味的整合性（テキストと画像の間）機能を使用して、以前のトレーニングを監視しました。研究チームは、ECLIPSEを使用して、画像テキストのペアリングのわずかな断片（0.34%〜8.69%）を使用して、コンパクトな（97%小さい）非拡散先行モデル（3300万のパラメータを持つ）をトレーニングしました。研究チームは、ECLIPSEトレーニングされた先行モデルをunCLIP拡散画像デコーダバリエーション（KarloとKandinsky）に導入しました。ECLIPSEトレーニングされた先行モデルは、10億のパラメータを持つバージョンを上回り、ベースラインの先行学習アルゴリズムを上回ります。研究結果は、パラメータやデータを必要とせずに構成を改善するT2I生成モデルへの可能な道を示唆しています。図1に示すように、彼らの総合パラメータとデータの必要性は大幅に減少し、T2Iの増加により類似のパラメータモデルに対してSOTAのパフォーマンスを達成します。貢献。1）unCLIPフレームワークでは、研究チームがテキストから画像への事前の対照的な学習に初めてECLIPSEを提供しています。 2）研究チームは包括的な実験を通じて、資源制約のある文脈でのECLIPSEの基準事前に対する優位性を証明しました。 3）注目すべきは、ECLIPSE事前のパフォーマンスを大きなモデルと同等にするために、トレーニングデータのわずか2.8％とモデルパラメータのわずか3.3％しか必要としないことです。 4）また、研究チームは現在のT2I拡散事前の欠点を検討し、経験的な観察結果を提供しています。

トゥギャザーアイは、ShortおよびLongコンテキストの評価で最高のオープンソーストランスフォーマーに対抗する、StripedHyena-7Bという代替人工知能モデルを紹介します

AIと共に、シーケンスモデリングアーキテクチャへの大きな貢献を果たし、StripedHyenaモデルを導入しました。従来のトランスフォーマーに代わる選択肢を提供することで、計算効率とパフォーマンスを向上させることで、このフィールドを革新しました。このリリースには、ベースモデルのStripedHyena-Hessian-7B（SH 7B）とチャットモデルのStripedHyena-Nous-7B（SH-N 7B）が含まれています。StripedHyenaは、昨年作成されたH3、Hyena、HyenaDNA、およびMonarch Mixerといった効果的なシーケンスモデリングアーキテクチャの学習からの重要な知見に基づいています。研究者は、このモデルが長いシーケンスをトレーニング、ファインチューニング、および生成する際に、高速かつメモリ効率が向上していることを強調しています。StripedHyenaは、ゲート付き畳み込みとアテンションを組み合わせたハイエナオペレータと呼ばれるものによって、ハイブリッド技術を使用しています。また、このモデルは、強力なトランスフォーマーベースモデルと競合する初めての代替アーキテクチャです。OpenLLMリーダーボードのタスクを含むショートコンテキストのタスクでは、StripedHyenaはLlama-2 7B、Yi 7B、およびRWKV 14Bなどの最強のトランスフォーマーの代替アーキテクチャを上回っています。このモデルは、ショートコンテキストのタスクと長いプロンプトの処理において、さまざまなベンチマークで評価されました。Project Gutenbergの書籍によるPerplexityスケーリング実験では、Perplexityが32kで飽和するか、このポイントを超えて減少することから、モデルがより長いプロンプトから情報を吸収する能力を示しています。 StripedHyenaは、アテンションとゲート付き畳み込みを組み合わせたユニークなハイブリッド構造によって効率を実現しています。研究者は、このハイブリッドデザインを最適化するために革新的な接ぎ木技術を使用したと述べており、トレーニング中にアーキテクチャの変更を可能にしました。研究者は、StripedHyenaの重要な利点の1つは、トレーニング、ファインチューニング、および長いシーケンスの生成など、さまざまなタスクにおける高速性とメモリ効率の向上です。最適化されたTransformerベースラインモデルと比較して、StripedHyenaはFlashAttention v2とカスタムカーネルを使用して、32k、64k、および128kの行でエンドツーエンドトレーニングにおいて30%、50%、および100%以上優れています。将来、研究者はStripedHyenaモデルでいくつかの領域で大きな進歩を遂げたいと考えています。彼らは、長いコンテキストを処理できるより大きなモデルを作成し、情報理解の限界を拡大したいと考えています。さらに、テキストや画像などのさまざまなソースからデータを処理して理解できるようにすることで、モデルの適応性を高めるためのマルチモーダルサポートを取り入れたいとしています。最後に、StripedHyenaモデルは、ゲート付き畳み込みなどの追加計算を導入することによって、Transformerモデルに対して改善の余地を持っています。このアプローチは、線形アテンションに触発されたものであり、H3やMultiHyenaなどのアーキテクチャにおいて効果が証明されており、トレーニング中のモデルの品質を向上させ、推論効率に利点を提供します。

地球は平らではなく、あなたのボロノイ図もそうであるべきではありません

「Pythonを使用して、ジオスペーシャルの精度を探索し、正確なジオスペーシャル分析における球面と2Dボロノイ図の違いを理解する」

マシンラーニングにおける線形回帰の幾何学的解釈と古典統計学との比較

上記の画像は、最小二乗法（OLS）または線形回帰（古典統計学では同義的に使用される言葉）の幾何学的解釈を示しています見ている内容を解説しましょう...

「2024年のデータサイエンティストにとってのトップ26のデータサイエンスツール」

イントロダクションデータサイエンスの分野は急速に進化しており、最新かつ最もパワフルなツールを活用することで、常に最先端に立つことが求められます。2024年には、プログラミング、ビッグデータ、AI、可視化など、データサイエンティストの業務のさまざまな側面に対応した選択肢が豊富に存在します。この記事では、2024年のデータサイエンスの領域を形作っているトップ26のデータサイエンスツールについて探っていきます。データサイエンティストのためのトップ26のツールプログラミング言語によるツール 1. Python Pythonは、そのシンプルさ、多様性、豊富なライブラリエコシステムのため、データサイエンティストにとって必須の言語です。主な特徴：豊富なライブラリサポート（NumPy、Pandas、Scikit-learn）。広範なコミュニティと強力な開発者サポート。 2. R Rは統計プログラミング言語であり、データ分析と可視化に使用され、頑健な統計パッケージで知られています。主な特徴：包括的な統計ライブラリ。優れたデータ可視化機能。 3. Jupyter Notebook Jupyter Notebookは対話型のコンピューティング環境であり、データサイエンティストがライブコード、数式、可視化、ナラティブテキストを含むドキュメントを作成し共有することができます。主な特徴：複数の言語（Python、R、Julia）のサポート。インタラクティブで使いやすい。…

「チャットボットとAIアシスタントの構築」

この記事は、自然言語処理（NLP）とチャットボットフレームワークの総合ガイドを紹介します詳しくは、学んでください！

「ハグフェース上のトップ10大きな言語モデル」

イントロダクション Hugging Faceは、自然言語処理の愛好家や開発者にとって宝庫となり、さまざまなアプリケーションに簡単に統合できる事前学習済み言語モデルの幅広いコレクションを提供しています。Large Language Models（LLM）の世界で、Hugging Faceは頼りになるプラットフォームとして際立っています。この記事では、Hugging Faceで利用可能なトップ10のLLMモデルを紹介し、言語理解と生成の進化する景色に貢献します。さあ、始めましょう！ Mistral-7B-v0.1 Mistral-7B-v0.1は、70億のパラメータを誇る大規模言語モデル（LLM）です。これは事前学習済みの生成テキストモデルとして設計されており、Llama 2 13Bが検証されたドメインで設定したベンチマークを上回ることで知られています。このモデルは、グループ化されたクエリアテンションやスライディングウィンドウアテンションなどの注意機構に特定の選択を行ったトランスフォーマーアーキテクチャに基づいています。Mistral-7B-v0.1は、Byte-fallback BPEトークナイザーも組み込んでいます。ユースケースとアプリケーションテキスト生成：Mistral-7B-v0.1は、コンテンツ作成、創造的な文章作成、または自動ストーリーテリングなど、高品質のテキスト生成を必要とするアプリケーションに適しています。自然言語理解：高度なトランスフォーマーアーキテクチャと注意機構を備えたこのモデルは、感情分析やテキスト分類などの自然言語理解を必要とするタスクに適用することができます。言語翻訳：生成能力と大規模なパラメータサイズを考慮すると、このモデルはニュアンスのある文脈に即した正確な翻訳が重要な言語翻訳タスクで優れたパフォーマンスを発揮するかもしれません。研究開発：研究者や開発者は、さまざまな自然言語処理プロジェクトでのさらなる実験や微調整のためにMistral-7B-v0.1をベースモデルとして活用することができます。このLLMにはこちらでアクセスできます。 Starling-LM-11B-alpha この大規模言語モデル（LLM）は、110億のパラメータを持ち、NurtureAIから生まれました。このモデルは、その基盤としてOpenChat 3.5モデルを利用し、AIのフィードバックからの強化学習（RLAIF）によるfine-tuningを経ています。このアプローチでは、ヒトによってラベル付けされたランキングのデータセットを利用してトレーニングプロセスを誘導します。ユースケースとアプリケーション Starling-LM-11B-alphaは、マシンとの対話方法を革新する潜在的な大規模言語モデルであり、オープンソースの性質、優れたパフォーマンス、多様な機能を備えており、研究者、開発者、クリエイティブプロフェッショナルにとって貴重なツールです。…

Learn more about Search Results Yi - Page 3