Search Results による

ネットワークXによるソーシャルネットワーク分析：優しいイントロダクション

ストリーミングプラットフォームのようなNetflixが、あなたの夜に最適な映画をおすすめするのはどうやっているのでしょうか？サッカーのようなスポーツでプレイヤーの位置を最適化するにはどうすればよいのでしょうか？詐欺的な活動をどのように特定することができるのでしょうか…

スタビリティAIによるステーブルオーディオはどのように機能するのでしょうか？

そうですね研究の文脈でそれを行うことができるだけでなく、自分でコーディングすることもできますが、簡単なテキストの説明を入力するだけで音楽のサンプルを取得できるウェブサイトでもできます！そして...

マイクロソフトとMITの研究者たちによる新しい方法、AIの幻覚を減らすことを目指して

NLPの領域では、大規模な言語モデルがテキストデータとのやり取りにおいて重要な役割を果たしてきました重要な進展がある一方で、「幻覚」という問題は依然として存在し続けています幻覚とは、モデルが現実世界の事実と矛盾する情報を生成することです新しい論文によると、...

「生成AIによる法科学の進展」

はじめに法科学における生成AIは、人工知能技術を応用してデータ、画像、または他の法科学に関連する証拠情報を生成することを指します。この技術は、画像や動画の分析、文書の偽造の検出、犯罪現場の再構築などの調査官のタスクを支援することで、法科学を革新する可能性があります。長い間、法科学は犯罪を解決するために物理的な証拠の細心の検査に依存してきました。しかし、技術の急速な進歩により、この分野は人工知能（AI）および特に生成AIを取り入れて能力を向上させるようになりました。本記事では、法科学における生成AIの実用的な応用と、これらの応用のいくつかに対するコードの実装について探求します。 https://www.analyticsinsight.net/wp-content/uploads/2021/08/AI-in-Forensic-Investigation-and-Crime-Detection.jpg 学習目標生成AI（GANおよびSiameseネットワークを含む）を法科学の実践的なシナリオにどのように適用できるかを学ぶ。画像再構築、指紋認識、文書の偽造検出のための主要な生成AIアルゴリズムを実装する方法を学ぶ。 AIを法科学の調査に使用する際の倫理的な考慮事項、データプライバシー、公正性の懸念を理解する。この記事は、データサイエンスブログマラソンの一環として公開されました。生成AIによる画像再構築の向上生成AIによる画像再構築の向上は、法科学において画像解析と証拠解釈の革新的な進歩として登場しました。この領域の研究論文では、生成対抗ネットワーク（GAN）や他の生成AI技術の重要なポテンシャルが強調されています。これらの革新的な技術により、法科学の専門家は監視カメラ、低解像度の写真、またはピクセル化された画像など、さまざまなソースから得られた画像を再構築して強化することができます。これにより、刑事捜査において貴重なサポートが提供されます。特にGANは、ジェネレータとディスクリミネータからなるデュアルネットワークアーキテクチャを活用して、現実的で高品質な画像を生成します。さまざまな画像のデータセットでトレーニングすることで、GANは視覚データのパターン、テクスチャ、構造を理解することができます。法科学では、この技術により、ぼやけた、断片的、または不完全な画像から重要な詳細を明らかにすることができました。さらに、GANは顔認識や合成スケッチの生成にも使用され、法執行機関が潜在的な容疑者をより正確に特定するのに役立っています。犯罪現場の再構築や欠落した証拠の生成も、調査プロセスを革新し、より包括的かつデータ駆動型の分析を可能にしました。生成AIによる画像再構築の向上の研究が進むにつれて、複雑な犯罪事件の解決と正義の確保の可能性がますます期待され、現代の法科学における変革的な力として確立されています。 https://aihubprojects.com/forensic-sketch-to-image-generator-using-gan/ GANを用いた画像の高解像度化 import tensorflow as tf from tensorflow.keras.models import Sequential from tensorflow.keras.layers import…

「大規模な言語モデルは、長い形式の質問応答においてどのようにパフォーマンスを発揮するのか？Salesforceの研究者によるLLMの頑健性と能力についての詳細な解説」

大規模な言語モデル（LLM）であるChatGPTやGPT-4は、いくつかのベンチマークでより優れたパフォーマンスを示していますが、MMLUやOpenLLMBoardなどのオープンソースプロジェクトも、さまざまなアプリケーションやベンチマークで追いつくことが急速に進んでいます。彼らの能力、制約、および区別を理解することは、新しいモデルや手法の急速な進歩が進むLLMの新時代においてますます重要になってきます。LLMは要約などのタスクで一貫したテキストを生成する能力を示していますが、LFQAでの実績についてはさらなる情報が必要です。まだ解決されていない重要な問題の1つは、長文の質問応答（LFQA）です。これには多くの現実世界の応用（サポートフォーラム、トラブルシューティング、カスタマーサービスなど）があります。このような質問に答えるためには、複雑な思考スキルが必要であり、質問を理解し、原稿全体に分散している内容を把握する必要があります。記事の主要なポイントは要約にまとめられます。これらの要約からの追加の質問は、ソース素材のさまざまなセクションを結び付ける主題のより良い理解を必要とすると仮定されています。また、他の研究者は、長い素材の3分の1以上の理解を必要とする応答は、人々からはしばしば「難しい」と評価されると示しています。 Salesforceの研究者は、巨大なLLMとより小さなが成功した基本的なLLM（Llama-7B、13Bなど）およびそれらの蒸留対応物（Alpaca-7B、13Bなど）の違いを比較し、対比するためのスケーラブルな評価手法を提案しています。これを行うために、彼らはChatGPTが明示的に指示され、要約から複雑な質問を作成するように指示します。彼らの実証的な研究は、要約から作成された追加の質問が、LLMの推論スキルを評価するための難しいがより現実的なセットアップを提供することを示しています（生成された質問の複雑さとオープンソースLLMの応答品質）。彼らはGPT-4を使用して、以前の作品の下での結束性、関連性、事実の一貫性、正確さに対する応答品質を決定します。これは、長文QAのために完全に人間のレビューに依存することは費用がかかり、スケーリングが困難であるためです。彼らはまた、より小規模な人間の評価を行い、GPT-4が人間の評価と強く相関することを示し、評価が信頼性のあるものであることを示しています。この研究からの主な結論は次のとおりです： • 抽象的な要約から質問を生成するために、文脈を複数回通過することで長い文脈からの推論を推奨します（時間の20％以上）。 • 蒸留対応のLLM（Alpaca-7B、13B）は、元のマテリアルから質問を生成する際には文脈に依存することが少ないですが、要約から質問を作成する能力は大幅に低下します。 • 要約から派生した質問に対して（16.8％以上）、蒸留対応のLLMによって生成された応答は文脈によって一貫している場合がありますが、しばしば主題から逸れ、冗長な回答を生成し、部分的に正確です。 • Alpaca-7Bと13Bは、基本的なLLM（Llama）よりも長い文脈（1024トークン以上）に対してより敏感であり、通常は理にかなった応答を生成します。

「マイクロソフトと清華大学によるこのAI研究は、EvoPromptという新しいAIフレームワークを紹介しますこのフレームワークは、LLMと進化アルゴリズムを接続するための自動的な離散プロンプト最適化を実現します」

大規模言語モデル（LLM）はほとんどすべての自然言語処理（NLP）のタスクで優れた成績を収めています。しかし、従来のファインチューニング手法はLLMにとって高コストであり、LLMパラメータを変更せずに学習可能なプロンプト埋め込みを使用する連続プロンプトチューニング技術の開発が行われています。ただし、これらの手法はまだLLMパラメータへのアクセスを必要とし、GPT-3やGPT-4などのブラックボックスAPIでアクセスされるLLMには適していません。この論文では以下の貢献があります： EVOPROMPTの導入：著者は、離散プロンプトの最適化を自動化するための新しいフレームワークであるEVOPROMPTを紹介しています。このフレームワークは、大規模言語モデル（LLM）と進化的アルゴリズム（EA）を結びつけ、以下の利点を提供します： LLMパラメータや勾配へのアクセスは必要ありません。探索と利用のバランスを効果的に取ることで、結果の改善が図られます。人間により理解しやすいプロンプトを生成します。実証的な証拠：本論文では、9つの異なるデータセットで行われた実験により、EVOPROMPTの既存の手法との比較における効果を示す実証的な証拠を提供しています。感情分類、トピック分類、主観性分類、簡素化、要約などのタスクにおいて、最大14％の性能向上が示されました。最適なプロンプトの公開：著者は、EVOPROMPTを用いて得られた最適なプロンプトを共有することで貴重な貢献をしています。これらのプロンプトは、感情分析、トピック分類、主観性分類、簡素化、要約などのタスクにおいて、研究コミュニティや実践者に利用されることができます。 LLMの革新的な利用：この論文は、適切な指示が与えられた場合にLLMを用いて進化的アルゴリズムを実装する概念を先駆けています。この新しいアプローチにより、LLMと従来のアルゴリズムを組み合わせた潜在的な応用の可能性が広がります。 EVOPROMPTを実用化するためには、特定の進化的アルゴリズム（EA）と組み合わせることが重要です。さまざまな種類のEAが存在し、この論文では2つの広く認識されているアルゴリズム、遺伝的アルゴリズム（GA）と差分進化（DE）に焦点を当てています。上記の画像は、LLMによる離散プロンプト最適化のために実装されたGAプロセスを示しています。研究者は、LLMが従来のアルゴリズムを実装するための効果的で解釈可能なインターフェースを提供し、人間の理解とコミュニケーションとの良好な一致を確保すると考えています。この研究結果は、LLMが誤って予測されたサンプルを収集することで、離散空間で「勾配降下法」を実行する最近の傾向を裏付けています。大規模言語モデル（LLM）の能力を最大限に活用し、自然言語の指示を用いて人間との対話を通じて多様なアルゴリズムの実行を調査するためには、追加の研究の機会が存在します。LLMがシミュレーテッドアニーリングなどの微分フリーアルゴリズムにおいて潜在的な解を生成できるかどうかなど、探索のアイデアが含まれます。

「Amazon SageMakerを使用したRLHFによるLLMsの改善」

このブログ投稿では、人気のあるオープンソースのRLHFリポTrlxを使用して、Amazon SageMaker上でRLHFを実行する方法を説明します私たちの実験を通じて、Anthropicが提供する公開可能なHelpfulness and Harmlessness（HH）データセットを使用して、大規模な言語モデルの役立ち度または無害性を向上させるためにRLHFを使用する方法を示しますこのデータセットを使用して、ml.p4d.24xlargeインスタンスで実行されているAmazon SageMaker Studioノートブックを使用して実験を行います最後に、私たちの実験を再現するためのJupyterノートブックを提供します

「検索増強生成によるAIの幻覚の軽減」

「この新しく考案された技術は、独自のデータをプロンプトに追加することで、LLM（Language Model）の知識を増やす可能性を示しています」

「チャットモデル対決：GPT-4 vs. GPT-3.5 vs. LLaMA-2によるシミュレートされた討論会-パート1」

最近、MetaがGPT-4と競合するチャットモデルを開発する計画を発表し、AnthropicがClaude2を発売したことにより、どのモデルが最も優れているかについての議論がますます激化しています...

UCIと浙江大学の研究者は、ドラフティングと検証のステージを使用した自己推測デコーディングによるロスレスな大規模言語モデルの高速化を紹介しました

トランスフォーマーに基づく大規模言語モデル（LLM）は、GPT、PaLM、LLaMAなど、さまざまな実世界のアプリケーションで広く使用されています。これらのモデルは、テキスト生成、翻訳、自然言語解釈など、さまざまなタスクに適用されています。ただし、特に低遅延が重要な場合において、これらのモデルの推論コストが大きな懸念事項となっています。これらのモデルが使用する自己回帰デコーディング方式が、高い推論コストの主な原因です。自己回帰デコーディングでは、各出力トークンが順次生成されるため、多くのトランスフォーマー呼び出しがあります。各トランスフォーマー呼び出しのメモリ帯域幅は制限されており、効率の悪い計算と長い実行時間を引き起こします。大規模言語モデル（LLM）の推論プロセスを高速化するために、最近の研究では、補助モデルを必要としないユニークな手法であるセルフスペキュレーティブデコーディングを導入しています。この手法は、出力品質を保持しながら推論をより迅速に生成する問題に取り組んでいます。これは、起案と検証の2段階の手順を組み合わせることによって特徴付けられています。起案ステージ – 起案ステージの目的は、従来の自己回帰方式を使用して生成されたトークンよりもわずかに品質が劣るドラフトトークンをより速く生成することです。このために、この手法では起案中にいくつかの中間層をバイパスします。LLMのこれらの中間層は出力を洗練するが、推論中に多くの時間とリソースを消費します。検証ステージ – この手法は、起案ステージでドラフトの出力トークンを生成し、オリジナルの変更されていないLLMを使用してこれらのトークンを単一の順方向パスで検証します。従来の自己回帰デコーディング手法を使用した場合、LLMは同じ最終結果を生成するため、この検証ステップによって保証されます。したがって、起案ステージがトークンをより速く生成したとしても、最終的な品質は保持されます。セルフスペキュレーティブデコーディングは、ニューラルネットワークの追加のトレーニングを必要としないため、その主な利点の1つです。既存の推論の高速化手法では、補助モデルのトレーニングやLLMのアーキテクチャの大幅な変更が一般的であり、これらは課題がありリソースを消費する要素です。一方、セルフスペキュレーティブデコーディングは、「プラグアンドプレイ」のアプローチであり、追加のトレーニングやモデルの変更なしに既存のLLMに追加できます。この研究は、セルフスペキュレーティブデコーディングの有効性を実証する経験的なサポートを提供しています。ベンチマークの結果は、LLaMA-2およびその改良モデルを使用して示されています。これらのベンチマークに基づいて、セルフスペキュレーティブデコーディング手法は、従来の自己回帰手法よりもデータを1.73倍速くデコードできます。これは、推論プロセスを約2倍速くする重要な利点があり、遅延が問題となる状況で重要です。まとめると、セルフスペキュレーティブデコーディングは、大規模言語モデルが情報を推論する方法を向上させる革新的な手法です。これは、起案ステージ中にスキップするレイヤーを選択してトークンをより速く生成し、検証ステージ中に出力品質を検証することによって実現されます。この手法は、ニューラルネットワークの追加のメモリ負荷やトレーニング要件を追加することなく、LLMの推論を高速化します。

Learn more about Search Results による - Page 15