Search Results 9

(「AI ga hontōni watashitachi o zenmetsu saseru kanōsei ga aru no ka, shirouto ni yoru gaido」)

「私は法律とビジネス管理の二重の学位を持ち、専門分野は精神健康、ライティングのヒント、自己啓発、生産性、エンターテイメントです私はテクノロジーに詳しくありませんコーディングはできません私は...」

「ヴォン・グームと出会う大規模な言語モデルにおけるデータ毒化に対する革新的なAIアプローチ」

データの毒化攻撃は、訓練データセットに誤ったデータを注入することで機械学習モデルを操作します。モデルが実世界のデータに触れると、不正確な予測や意思決定につながる可能性があります。データの毒化攻撃はLLMに対して脆弱になり得るため、対象のプロンプトや関連概念に対する応答を歪めることがあります。この問題に対処するために、Del Complexが行った研究は、VonGoomという新しい手法を提案しています。この手法は、目的を達成するために数百から数千の戦略的な毒入力のみを必要とします。 VonGoomは、数百から数千の戦略的に配置された入力のみで実現可能であることを示し、数百万の毒サンプルが必要であるという考えに挑戦します。VonGoomは、訓練中にLLMを誤導するために微妙な操作を施した見かけ上無害なテキスト入力を作り出し、さまざまな歪みを導入します。それは、LLMトレーニングで使用される数億のデータソースを毒化しています。この研究では、LLMがデータの毒化攻撃に対してどのように脆弱であるかを探求し、LLMに対するプロンプト固有の毒化攻撃の新しい手法であるVonGoomを紹介しています。一般的な全範囲のエピソードとは異なり、VonGoomは特定のプロンプトやトピックに焦点を当てています。訓練中にLLMを誤導するために微妙な操作を施した見かけ上無害なテキスト入力を作り出し、微妙なバイアスから明白なバイアス、誤情報、概念の破壊まで、さまざまな歪みを導入します。 VonGoomはLLMに対するプロンプト固有のデータの毒化の手法です。訓練中にモデルを誤導し、学習した重みを乱すために微妙な操作を施した見かけ上無害なテキスト入力を作り出します。VonGoomは微妙なバイアス、明白なバイアス、誤情報、概念の破壊など、さまざまな歪みを導入します。この手法は、クリーンネイバーの毒データとガイド付きの摂動といった最適化技術を使用し、さまざまなシナリオで有効性を示しています。約500〜1000の少数の毒入力を注入すると、ゼロから訓練されたモデルの出力が大幅に変わることが示されました。事前学習済みモデルの更新を含むシナリオでは、750〜1000の毒入力を導入することでモデルの対象概念への応答が効果的に妨害されました。 VonGoom攻撃は、意味的に変化させられたテキストサンプルがLLMの出力に影響を与えることを示しました。その影響は関連するアイデアにまで及び、毒性サンプルの影響が意味的に関連する概念に伝わる「ブリードスルー効果」が生まれました。比較的少数の毒入力での戦略的な実装により、LLMが洗練されたデータの毒化攻撃に対して脆弱であることが明らかにされました。まとめると、行われた研究は以下の点で要約されます： VonGoomは、LLMを訓練中に誤導するためのデータ操作手法です。この手法は、モデルを誤導する微妙な変更をテキスト入力に加えることで実現されます。小規模な入力でのターゲット攻撃は、目標を達成するために実現可能で効果的です。 VonGoomは、バイアス、誤情報、概念の破壊など、さまざまな歪みを導入します。この研究では、一般的なLLMデータセット内の特定の概念の訓練データの密度を分析し、操作の機会を特定しています。この研究は、LLMがデータの毒化攻撃に対して脆弱であることを強調しています。 VonGoomは、様々なモデルに大きな影響を与え、この分野に広範な影響を与える可能性があります。

スタンフォード研究者がGLOWとIVESを使用して、分子ドッキングとリガンド結合位姿の予測を変革しています

ディープラーニングは、スコアリング関数の改善により、分子ドッキングの向上の可能性を持っています。現在のサンプリングプロトコルは、正確なリガンド結合ポーズを生成するために事前情報が必要であり、スコアリング関数の正確さが制限されています。GLOWとIVESという2つの新しいプロトコルは、スタンフォード大学の研究者によって開発され、この課題に対応し、ポーズのサンプリング効果を向上させることを示しています。AlphaFoldで生成されたタンパク質構造を含むさまざまなタンパク質構造でのベンチマークテストにより、これらの手法の妥当性が確認されています。分子ドッキングにおけるディープラーニングは、しばしば剛体タンパク質ドッキングデータセットに依存しており、タンパク質の柔軟性を無視しています。一方、柔軟ドッキングはタンパク質の柔軟性を考慮していますが、精度が低い傾向があります。GLOWとIVESは、これらの制限に対応する高度なサンプリングプロトコルであり、特に動的結合ポケットでベースラインメソッドを常に上回っています。これは、タンパク質リガンドドッキングにおけるリガンドポーズのサンプリングを改善するために重要であり、ディープラーニングベースのスコアリング関数の向上に重要です。分子ドッキングは、薬物探索においてタンパク質結合サイトへのリガンド配置を予測します。従来の方法は正確なリガンドポーズの生成に課題を抱えています。ディープラーニングは正確性を向上させることができますが、効果的なポーズのサンプリングに依存しています。GLOWとIVESは、チャレンジングなシナリオに対してサンプルを改善し、正確性を向上させるための進んだサンプリングプロトコルです。AlphaFoldで生成された未リガンド化または予測されたタンパク質構造に適用可能であり、キュレーションされたデータセットとオープンソースのPythonコードも提供しています。 GLOWとIVESは、分子ドッキングのための2つのポーズサンプリングプロトコルです。GLOWはソフト化された分散力ポテンシャルを利用してリガンドポーズを生成し、IVESは複数のタンパク質構造を組み込むことで正確性を向上させます。ベースラインメソッドとのパフォーマンス比較により、GLOWとIVESの優位性が示されています。クロスドッキングケースにおける正しいポーズの割合を測定するテストセットの評価は、IVESの効率において重要なシードポーズの品質を示しています。 GLOWとIVESは、リガンドポーズのサンプリングにおいてベースラインメソッドを上回る正確性を持ち、チャレンジングなシナリオやAlphaFoldベンチマークにおいて顕著なタンパク質の構造変化にも優れています。テストセットの評価により、正しいポーズのサンプリング確率の優越性が確認されています。IVESは複数のタンパク質構造を生成することで、タンパク質構造の幾何学的なディープラーニングにおいて、より少ない構造でSchrodinger IFD-MDと同様のパフォーマンスを達成します。GLOWとIVESによって生成された5,000のタンパク質リガンドペアのリガンドポーズデータセットは、ディープラーニングベースのスコアリング関数の開発と評価において貴重なリソースとなります。 https://arxiv.org/abs/2312.00191 結論として、GLOWとIVESは、基本的な技術よりも効果的な2つのポーズサンプリング方法であり、特に困難なシナリオとAlphaFoldベンチマークにおいて優れた性能を発揮しています。IVESでは複数のタンパク質構造が生成されるため、幾何学的ディープラーニングに非常に有利です。また、GLOWとIVESが提供する5,000のタンパク質リガンドペアのリガンドポーズを含むデータセットは、分子ドッキングのディープラーニングベースのスコアリング関数に取り組んでいる研究者にとって貴重な資源です。

高度なRAGテクニック：イラスト入り概要

この投稿の目標は、利用可能なRAGアルゴリズムとテクニックの概要と説明をすることなので、コードの実装の詳細には立ち入らず、参照のみ行い、それについては放置します

「Githubの使い方？ステップバイステップガイド」というテキスト

GitHubに登録するには、以下の6つの手順を守ってくださいステップ1: GitHubにサインアップするウェブサイトを訪問し、「サインアップ」ボタンをクリックします。ユーザー名、メールアドレス、パスワードなどの情報を入力します。入力が完了したら、メールを確認して、無料のGitHubアカウントを入手できます。 https://docs.github.com/en/get-started/quickstart/hello-world ステップ2: GitHub上でリポジトリを作成する GitHub上でリポジトリを作成するプロジェクト用のGitHubリポジトリを作成するには、以下の簡単な手順に従ってください： 1. GitHubページの右上隅に移動し、「+」サインをクリックし、「新しいリポジトリ」を選択します。 2. 「リポジトリ名」ボックスにリポジトリ名を入力します。 3. 「説明」ボックスに簡単な説明を追加します。 4. リポジトリが公開されるか非公開になるかを選択します。 5. 「READMEファイルを追加する」オプションをチェックします。 6. 「リポジトリを作成する」ボタンをクリックします。このリポジトリは、ファイルの整理と保存、他の人との協力、GitHub上でのプロジェクトのショーケースに使用できます。…

NTUの研究者が「高級なビデオ」を発表：テキスト指示による潜在的拡散技術による高画質動画の超解像度化

ビデオのスーパーレゾリューションは、低解像度のビデオの品質を高い忠実度に引き上げることを目指し、現実世界のシナリオでよく見られる多様で入り組んだ劣化に対処することの困難さに直面しています。合成または特定のカメラ関連の劣化に焦点を当てた以前のものとは異なり、複数の不明な要素（ダウンサンプリング、ノイズ、ぼやけ、ちらつき、およびビデオ圧縮など）により複雑さが生じます。最近のCNNベースのモデルはこれらの問題を緩和するという約束を示してきましたが、限られた生成能力により現実的なテクスチャの生成には不十分であり、過度に滑らかになります。この研究は拡散モデルを活用してこれらの制限に取り組み、ビデオのスーパーレゾリューションを向上させることに焦点を当てています。現実世界のビデオエンハンスメントの複雑さは、多様な多面的な劣化に対する従来の手法を超える解決策を求めています。CNNベースのモデルはいくつかの劣化形式を軽減する能力を示していますが、その制約は現実的なテクスチャの生成にあり、しばしば過度に滑らかな出力を生み出します。拡散モデルは高品質の画像やビデオを生成する素晴らしい能力を発揮する光明の存在となっています。ただし、拡散サンプリングにおける固有のランダム性のため、ビデオのスーパーレゾリューションへのこれらのモデルの適応は、低レベルのテクスチャにおける時空的な不連続性とちらつきを引き起こす大きな課題となっています。これらの課題に対処するため、NTUの研究者はこの研究で、潜在的な拡散フレームワーク内で局所的なグローバルの時空的な一貫性戦略を採用しています。局所的なレベルでは、事前学習されたアップスケーリングモデルが追加の時空間レイヤーで微調整され、3D畳み込みと時空間注意レイヤーを統合します。この微調整により、局所的なシーケンスの構造安定性が大幅に向上し、テクスチャのちらつきなどの問題が軽減されます。同時に、新しいフローガイド再帰的な潜在伝播モジュールがグローバルなレベルで動作し、推論中にフレームごとの伝播と潜在的な融合を行うことで、より長いビデオ全体の安定性を確保します。図1： AI生成と現実世界のビデオのスーパーレゾリューションの比較。提案されたUpscale-A-Videoは優れたアップスケーリング性能を示しています。適切なテクストキューを用いて、より視覚的なリアリズムとより細かいディテールを実現します。この研究では、テクストプロンプトを導入してテクスチャの作成を誘導し、モデルがより現実的で高品質な詳細を生成することができるようにしています。さらに、入力にノイズを注入することで、モデルの頑健性を重いまたは未知の劣化に対して強化し、復元と生成のバランスを制御することができます。ノイズのレベルが低い場合は復元能力が優先され、高いレベルではより洗練された詳細の生成が促され、忠実度と品質のトレードオフを実現します。主な貢献は、潜在的な拡散フレームワーク内での現実世界のビデオのスーパーレゾリューションに対する堅牢なアプローチを考案することであり、時空的な一貫性メカニズムとノイズレベルおよびテキストプロンプトの革新的な制御の統合により、ベンチマークでの最先端のパフォーマンスを実現し、顕著な視覚的なリアリズムと時間的な結束力を示しています。

このAI論文は、「パーシウス」という画期的なフレームワークを紹介していますこれにより、大規模な機械学習やAIモデルのトレーニング時のエネルギー浪費を最大30％削減することが可能です

大きな言語モデル（GPT-3など）は、トレーニングと推論中の計算ニーズにより、相当なエネルギーを必要とします。エネルギー使用量は、モデルのサイズ、タスクの複雑さ、ハードウェアの仕様、および運用時間などの要素によって大きく異なります。これらのモデルのトレーニングには、高性能なGPUやTPUを使用するなど多くの計算リソースが必要とされ、長期にわたる相当なエネルギー消費を伴います。GPT-3のような大規模な言語モデルのトレーニングには、数日または数週間にわたる複数の家庭の消費電力に相当するエネルギーが使われるとの推定があります。エネルギー消費の最適化は重要であり、モデルの効率を損なうことなく行われる必要があります。研究者は、大規模な言語モデルのトレーニングにおいてスループットの喪失を伴わない削減可能なエネルギー消費を目指しています。各パイプラインの計算量の問題は、分散実行計画において重要な問題です。ディープニューラルネットワーク（DNN）は、計算量が異なる粗粒度のテンソル操作ですので、すべてのステージをバランス良く調整するのは不可能です。ミシガン大学とワシントン大学の研究者たちは、トレーニング中に消費されるエネルギーのすべてが直接エンドツーエンドのトレーニングスループットに貢献するわけではなく、トレーニングを遅くすることなく大幅に削減できることを発見しました。彼らはエネルギーの膨張の内的および外的な要因を発見し、Perseusという単一の最適化フレームワークを提案しています。内的なエネルギーパフォーマンスの喪失は、計算の不均衡性によるものであり、外的なエネルギーパフォーマンスの喪失は、複数のパイプラインが並列で実行され、大量のデータセットでトレーニングをスケールアウトさせるためのものです。遅れているパイプラインよりも早く実行されるパイプラインは速く、全体のトレーニングスループットに影響を与えないエネルギーを無駄に消費します。 Perseusは、通常の運用条件下で内的なエネルギーパフォーマンスの喪失を最小限に抑えるため、イテレーション全体の時間エネルギーを効率的に事前特性化します。さらに、エネルギーを効率的に削減することにより、外的なエネルギーパフォーマンスの喪失を緩和します。非遅れているパイプラインにおいて適切なイテレーションタイミングを見つけることで、パイプライン内の計算を正確に遅くすることができます。研究者は、ハイブリッド並列処理で大規模なモデルのトレーニングを行い、さまざまな強いスケーリング構成で遅れるパイプラインをシミュレーションしました。エネルギーパフォーマンスの喪失量とPerseusの外的なエネルギー節約を測定しました。他の非遅れるパイプラインは、遅れるパイプラインの計算が完了するまで待つため、外的なエネルギーパフォーマンスの喪失が生じます。各パイプラインイテレーションの開始と終了時にマイクロバッチの数やパイプラインバブルの比率を減らすことで、内的なエネルギーパフォーマンスの喪失を除去し、エネルギーを削減します。 Perseusをトレーニングワークフローに統合することは、AIの開発の将来に強い影響を与える可能性があります。彼らの研究は、LLM（Large Language Models）とGenAIの普及における分散トレーニングの持続可能性を大幅に向上させる可能性があります。

Learn more about Search Results 9 - Page 13

(「AI ga hontōni watashitachi o zenmetsu saseru kanōsei ga aru no ka, shirouto ni yoru gaido」)

「ヴォン・グームと出会う大規模な言語モデルにおけるデータ毒化に対する革新的なAIアプローチ」

スタンフォード研究者がGLOWとIVESを使用して、分子ドッキングとリガンド結合位姿の予測を変革しています

高度なRAGテクニック：イラスト入り概要

「Githubの使い方？ステップバイステップガイド」というテキスト

NTUの研究者が「高級なビデオ」を発表：テキスト指示による潜在的拡散技術による高画質動画の超解像度化

このAI論文は、「パーシウス」という画期的なフレームワークを紹介していますこれにより、大規模な機械学習やAIモデルのトレーニング時のエネルギー浪費を最大30％削減することが可能です

「転移学習を探求しましょう…」(Ten’i gakushū o tankyū shimashou…)

自然言語処理：AIを通じて人間のコミュニケーションの力を解き放つ

ビジネスにおけるAIの潜在的なリスクの理解と軽減

Find the right Blockchain Investment for you