Search Results フ

フラッシュアテンション：基本原則の解説

フラッシュアテンションは、2022年に提案された効率的かつ正確なTransformerモデルの高速化技術ですメモリの読み書き操作を認識することで、FlashAttentionは実行速度を2〜4倍に高速化します...

「ヴォン・グームと出会う大規模な言語モデルにおけるデータ毒化に対する革新的なAIアプローチ」

データの毒化攻撃は、訓練データセットに誤ったデータを注入することで機械学習モデルを操作します。モデルが実世界のデータに触れると、不正確な予測や意思決定につながる可能性があります。データの毒化攻撃はLLMに対して脆弱になり得るため、対象のプロンプトや関連概念に対する応答を歪めることがあります。この問題に対処するために、Del Complexが行った研究は、VonGoomという新しい手法を提案しています。この手法は、目的を達成するために数百から数千の戦略的な毒入力のみを必要とします。 VonGoomは、数百から数千の戦略的に配置された入力のみで実現可能であることを示し、数百万の毒サンプルが必要であるという考えに挑戦します。VonGoomは、訓練中にLLMを誤導するために微妙な操作を施した見かけ上無害なテキスト入力を作り出し、さまざまな歪みを導入します。それは、LLMトレーニングで使用される数億のデータソースを毒化しています。この研究では、LLMがデータの毒化攻撃に対してどのように脆弱であるかを探求し、LLMに対するプロンプト固有の毒化攻撃の新しい手法であるVonGoomを紹介しています。一般的な全範囲のエピソードとは異なり、VonGoomは特定のプロンプトやトピックに焦点を当てています。訓練中にLLMを誤導するために微妙な操作を施した見かけ上無害なテキスト入力を作り出し、微妙なバイアスから明白なバイアス、誤情報、概念の破壊まで、さまざまな歪みを導入します。 VonGoomはLLMに対するプロンプト固有のデータの毒化の手法です。訓練中にモデルを誤導し、学習した重みを乱すために微妙な操作を施した見かけ上無害なテキスト入力を作り出します。VonGoomは微妙なバイアス、明白なバイアス、誤情報、概念の破壊など、さまざまな歪みを導入します。この手法は、クリーンネイバーの毒データとガイド付きの摂動といった最適化技術を使用し、さまざまなシナリオで有効性を示しています。約500〜1000の少数の毒入力を注入すると、ゼロから訓練されたモデルの出力が大幅に変わることが示されました。事前学習済みモデルの更新を含むシナリオでは、750〜1000の毒入力を導入することでモデルの対象概念への応答が効果的に妨害されました。 VonGoom攻撃は、意味的に変化させられたテキストサンプルがLLMの出力に影響を与えることを示しました。その影響は関連するアイデアにまで及び、毒性サンプルの影響が意味的に関連する概念に伝わる「ブリードスルー効果」が生まれました。比較的少数の毒入力での戦略的な実装により、LLMが洗練されたデータの毒化攻撃に対して脆弱であることが明らかにされました。まとめると、行われた研究は以下の点で要約されます： VonGoomは、LLMを訓練中に誤導するためのデータ操作手法です。この手法は、モデルを誤導する微妙な変更をテキスト入力に加えることで実現されます。小規模な入力でのターゲット攻撃は、目標を達成するために実現可能で効果的です。 VonGoomは、バイアス、誤情報、概念の破壊など、さまざまな歪みを導入します。この研究では、一般的なLLMデータセット内の特定の概念の訓練データの密度を分析し、操作の機会を特定しています。この研究は、LLMがデータの毒化攻撃に対して脆弱であることを強調しています。 VonGoomは、様々なモデルに大きな影響を与え、この分野に広範な影響を与える可能性があります。

スタンフォード研究者がGLOWとIVESを使用して、分子ドッキングとリガンド結合位姿の予測を変革しています

ディープラーニングは、スコアリング関数の改善により、分子ドッキングの向上の可能性を持っています。現在のサンプリングプロトコルは、正確なリガンド結合ポーズを生成するために事前情報が必要であり、スコアリング関数の正確さが制限されています。GLOWとIVESという2つの新しいプロトコルは、スタンフォード大学の研究者によって開発され、この課題に対応し、ポーズのサンプリング効果を向上させることを示しています。AlphaFoldで生成されたタンパク質構造を含むさまざまなタンパク質構造でのベンチマークテストにより、これらの手法の妥当性が確認されています。分子ドッキングにおけるディープラーニングは、しばしば剛体タンパク質ドッキングデータセットに依存しており、タンパク質の柔軟性を無視しています。一方、柔軟ドッキングはタンパク質の柔軟性を考慮していますが、精度が低い傾向があります。GLOWとIVESは、これらの制限に対応する高度なサンプリングプロトコルであり、特に動的結合ポケットでベースラインメソッドを常に上回っています。これは、タンパク質リガンドドッキングにおけるリガンドポーズのサンプリングを改善するために重要であり、ディープラーニングベースのスコアリング関数の向上に重要です。分子ドッキングは、薬物探索においてタンパク質結合サイトへのリガンド配置を予測します。従来の方法は正確なリガンドポーズの生成に課題を抱えています。ディープラーニングは正確性を向上させることができますが、効果的なポーズのサンプリングに依存しています。GLOWとIVESは、チャレンジングなシナリオに対してサンプルを改善し、正確性を向上させるための進んだサンプリングプロトコルです。AlphaFoldで生成された未リガンド化または予測されたタンパク質構造に適用可能であり、キュレーションされたデータセットとオープンソースのPythonコードも提供しています。 GLOWとIVESは、分子ドッキングのための2つのポーズサンプリングプロトコルです。GLOWはソフト化された分散力ポテンシャルを利用してリガンドポーズを生成し、IVESは複数のタンパク質構造を組み込むことで正確性を向上させます。ベースラインメソッドとのパフォーマンス比較により、GLOWとIVESの優位性が示されています。クロスドッキングケースにおける正しいポーズの割合を測定するテストセットの評価は、IVESの効率において重要なシードポーズの品質を示しています。 GLOWとIVESは、リガンドポーズのサンプリングにおいてベースラインメソッドを上回る正確性を持ち、チャレンジングなシナリオやAlphaFoldベンチマークにおいて顕著なタンパク質の構造変化にも優れています。テストセットの評価により、正しいポーズのサンプリング確率の優越性が確認されています。IVESは複数のタンパク質構造を生成することで、タンパク質構造の幾何学的なディープラーニングにおいて、より少ない構造でSchrodinger IFD-MDと同様のパフォーマンスを達成します。GLOWとIVESによって生成された5,000のタンパク質リガンドペアのリガンドポーズデータセットは、ディープラーニングベースのスコアリング関数の開発と評価において貴重なリソースとなります。 https://arxiv.org/abs/2312.00191 結論として、GLOWとIVESは、基本的な技術よりも効果的な2つのポーズサンプリング方法であり、特に困難なシナリオとAlphaFoldベンチマークにおいて優れた性能を発揮しています。IVESでは複数のタンパク質構造が生成されるため、幾何学的ディープラーニングに非常に有利です。また、GLOWとIVESが提供する5,000のタンパク質リガンドペアのリガンドポーズを含むデータセットは、分子ドッキングのディープラーニングベースのスコアリング関数に取り組んでいる研究者にとって貴重な資源です。

「Githubの使い方？ステップバイステップガイド」というテキスト

GitHubに登録するには、以下の6つの手順を守ってくださいステップ1: GitHubにサインアップするウェブサイトを訪問し、「サインアップ」ボタンをクリックします。ユーザー名、メールアドレス、パスワードなどの情報を入力します。入力が完了したら、メールを確認して、無料のGitHubアカウントを入手できます。 https://docs.github.com/en/get-started/quickstart/hello-world ステップ2: GitHub上でリポジトリを作成する GitHub上でリポジトリを作成するプロジェクト用のGitHubリポジトリを作成するには、以下の簡単な手順に従ってください： 1. GitHubページの右上隅に移動し、「+」サインをクリックし、「新しいリポジトリ」を選択します。 2. 「リポジトリ名」ボックスにリポジトリ名を入力します。 3. 「説明」ボックスに簡単な説明を追加します。 4. リポジトリが公開されるか非公開になるかを選択します。 5. 「READMEファイルを追加する」オプションをチェックします。 6. 「リポジトリを作成する」ボタンをクリックします。このリポジトリは、ファイルの整理と保存、他の人との協力、GitHub上でのプロジェクトのショーケースに使用できます。…

アップステージがSolar-10.7Bを発表：一回の会話用に深いアップスケーリングと微調整された精度を持つ先駆的な大規模言語モデルを実現

韓国のAI企業、Upstageの研究者たちは、言語モデルのパフォーマンスを最大化し、パラメータを最小化するという課題に取り組んでいます。モデルのサイズがパフォーマンスと関連している大規模言語モデル（LLM）において、Upstageは10.7兆の重み付けを持つ画期的なモデル、「Solar-10.7B」を導入しました。この革新は、3000億以上のパラメータを持つモデルにおけるモデルのサイズとパフォーマンスの間に生じる相反関係に対処しています。既存のツールと異なり、UpstageのSolar-10.7Bは、Llama 2アーキテクチャを採用し、Upstage Depth Up-Scalingという新しい技術を使用しています。この方法は、Mistral 7BからアップスケーリングされたレイヤーにMistral 7Bの重み付けを統合し、包括的な事前学習を行います。Solar-10.7Bのコンパクトな設計と優れたパフォーマンスは、Mixtral 8X7Bなどのより大きなモデルすらも上回ります。さまざまな言語のタスクにおいて適応性と堅牢性を実証するための微調整と展示に理想的なモデルです。さらに、Upstageはシングルターンの対話に特化したファインチューニング版「SOLAR-10.7B-Instruct-v1.0」も提供しています。監視付きファインチューニング（SFT）や直接的な意志最適化（DPO）など、最新のインストラクションのファインチューニング手法を活用し、多様なデータセットをトレーニングに使用しました。このファインチューニングモデルは、驚異的なModel H6スコア74.20を達成し、シングルターンの対話シナリオにおける効果を誇示しています。 Solar-10.7Bのパフォーマンスは、その洗練されたアーキテクチャとトレーニング戦略に根ざしています。Llama 2アーキテクチャを基にしたDepth Up-Scaling技術により、30兆パラメータまでのモデルを凌駕することができます。Mistral 7Bの重み付けをアップスケーリングされたレイヤーに統合することは、その素晴らしいパフォーマンスに貢献し、Mixtral 8X7Bモデルさえも上回ります。評価結果は、Solar-10.7Bの能力を示し、Model H6スコア74.20を記録しており、自然言語処理においてさらなるパフォーマンス最適化の追求を証明しています。ファインチューニングされたSOLAR-10.7B-Instruct-v1.0は、他のモデルに比べて優れたModel H6スコア74.20でシングルターンの対話シナリオで優れたパフォーマンスを発揮しています。教授ベースのトレーニングのために慎重に選別されたデータセットを活用するこのファインチューニングアプローチは、その適応性とパフォーマンスの向上を一層強調しています。まとめると、Solar-10.7Bおよびそのファインチューニング版は、大規模言語モデルの領域における重要な進歩を表しています。モデルのサイズとパフォーマンスのバランスを取るという課題に取り組むために、Upstageの研究者たちは戦略的にこれらのモデルを設計し、ファインチューニングして最先端の結果を提供しています。革新的なDepth Up-Scaling技術とMistral 7Bの統合は、適応性と効率性を示しています。研究者たちが言語モデルの開発の限界を押し広げ続ける中で、Solar-10.7Bとそのファインチューニング版は、自然言語処理におけるパフォーマンス最適化の追求の証となっています。 UpstageがSolar-10.7Bを発表：Depth Up-Scalingとファインチューニングされた精度によるシングルターン対話における大規模言語モデルの先駆的な取り組みは、MarkTechPostで最初に公開されました。

「キナラがAra-2プロセッサを発表：パフォーマンス向上のためのオンデバイスAI処理を革命化」

Kinaraは、エネルギー効率の高いエッジAIのパイオニアであるAra-2プロセッサを発表しました。それは、前任者と比べて8倍の高性能を誇り、デバイス内で大規模な言語モデル（LLMs）とさまざまな生成AIモデルを強力にサポートする能力を備えています。 Kinaraのイノベーションへの執念から生まれたAra-2プロセッサは、プロセッサのラインアップの大きな進歩を表しており、顧客にはパフォーマンスとコストのオプションのスペクトラムが用意されています。チームはこの新しい追加の重要性を強調し、Ara-1とAra-2プロセッサの役割を詳細に説明しました。Ara-1はスマートカメラやエッジAIデバイスが2-8のビデオストリームを処理するのに優れている一方、Ara-2はエッジサーバー、ノートパソコン、高性能カメラに向けた16-32+のビデオストリームを素早く処理する能力を示しました。チームはさらに、Ara-2の変革的な可能性について詳述し、物体検出、認識、トラッキングの向上におけるその重要な役割を強調しました。このプロセッサは、高度なコンピューティングエンジンを活用し、高解像度の画像を迅速かつ驚くほど高い精度で処理することに優れています。また、Generative AIモデルの処理能力は、Stable Diffusionに対して1枚の画像あたり10秒の速度を達成し、LLaMA-7Bに対しては秒間数十のトークンを生成できることで示されています。 Ara-1の後継として設計されたAra-2チップは、前任者と比べて5〜8倍もの大幅なパフォーマンス向上を約束しています。Kinaraは、Ara-2チップがさまざまなモデルで高コストで高消費電力のグラフィックスプロセッサを置き換える潜在能力を持つと主張しています。特に大規模な言語モデル（LLMs）のニーズに対応しています。 2024年1月のConsumer Electronics Show（CES）で発表される予定のAra-2プロセッサは、複数のバリエーションで提供されます。スタンドアロンチップ、単一チップのUSBおよびM.2モジュール、4つのAra-2チップを並列動作させるPCI Expressアドインボードとして利用できます。Kinaraはリリースを予想しながらも、価格の詳細を開示しておらず、愛好家や消費者がこの技術の驚異を探求することを待ち望んでいます。まとめると、KinaraのAra-2プロセッサは、切り込んだパフォーマンス、多様性、効率を併せ持つオンデバイスAI処理の新時代を告げる存在です。CESでの近い展示は、エッジAI技術の領域を再定義する可能性のある変革的なツールを暗示して、産業界全体で興味を引き起こしています。この投稿は、KinaraがAra-2プロセッサを発表：パフォーマンス向上のためのオンデバイスAI処理を革新の投稿最初に現れました。MarkTechPostより。

このAI論文は、「パーシウス」という画期的なフレームワークを紹介していますこれにより、大規模な機械学習やAIモデルのトレーニング時のエネルギー浪費を最大30％削減することが可能です

大きな言語モデル（GPT-3など）は、トレーニングと推論中の計算ニーズにより、相当なエネルギーを必要とします。エネルギー使用量は、モデルのサイズ、タスクの複雑さ、ハードウェアの仕様、および運用時間などの要素によって大きく異なります。これらのモデルのトレーニングには、高性能なGPUやTPUを使用するなど多くの計算リソースが必要とされ、長期にわたる相当なエネルギー消費を伴います。GPT-3のような大規模な言語モデルのトレーニングには、数日または数週間にわたる複数の家庭の消費電力に相当するエネルギーが使われるとの推定があります。エネルギー消費の最適化は重要であり、モデルの効率を損なうことなく行われる必要があります。研究者は、大規模な言語モデルのトレーニングにおいてスループットの喪失を伴わない削減可能なエネルギー消費を目指しています。各パイプラインの計算量の問題は、分散実行計画において重要な問題です。ディープニューラルネットワーク（DNN）は、計算量が異なる粗粒度のテンソル操作ですので、すべてのステージをバランス良く調整するのは不可能です。ミシガン大学とワシントン大学の研究者たちは、トレーニング中に消費されるエネルギーのすべてが直接エンドツーエンドのトレーニングスループットに貢献するわけではなく、トレーニングを遅くすることなく大幅に削減できることを発見しました。彼らはエネルギーの膨張の内的および外的な要因を発見し、Perseusという単一の最適化フレームワークを提案しています。内的なエネルギーパフォーマンスの喪失は、計算の不均衡性によるものであり、外的なエネルギーパフォーマンスの喪失は、複数のパイプラインが並列で実行され、大量のデータセットでトレーニングをスケールアウトさせるためのものです。遅れているパイプラインよりも早く実行されるパイプラインは速く、全体のトレーニングスループットに影響を与えないエネルギーを無駄に消費します。 Perseusは、通常の運用条件下で内的なエネルギーパフォーマンスの喪失を最小限に抑えるため、イテレーション全体の時間エネルギーを効率的に事前特性化します。さらに、エネルギーを効率的に削減することにより、外的なエネルギーパフォーマンスの喪失を緩和します。非遅れているパイプラインにおいて適切なイテレーションタイミングを見つけることで、パイプライン内の計算を正確に遅くすることができます。研究者は、ハイブリッド並列処理で大規模なモデルのトレーニングを行い、さまざまな強いスケーリング構成で遅れるパイプラインをシミュレーションしました。エネルギーパフォーマンスの喪失量とPerseusの外的なエネルギー節約を測定しました。他の非遅れるパイプラインは、遅れるパイプラインの計算が完了するまで待つため、外的なエネルギーパフォーマンスの喪失が生じます。各パイプラインイテレーションの開始と終了時にマイクロバッチの数やパイプラインバブルの比率を減らすことで、内的なエネルギーパフォーマンスの喪失を除去し、エネルギーを削減します。 Perseusをトレーニングワークフローに統合することは、AIの開発の将来に強い影響を与える可能性があります。彼らの研究は、LLM（Large Language Models）とGenAIの普及における分散トレーニングの持続可能性を大幅に向上させる可能性があります。

「パブリックスピーキングのための5つの最高のAIツール（2023年12月）」

「人工知能の領域において、公の演説にAIツールを応用することは大きな進歩を意味しますこれらのツールは、スピーキングスキルの向上に役立つ実用的なソリューションを提供し、あらゆるレベルのスピーカーが直面する共通の課題に対処しますAI技術を活用することで、これらのツールはスピーチのデリバリー、コンテンツの構成、聴衆の関与に関する貴重な洞察を提供します私たちの探究...」

best of

このAI論文では、ディープラーニングを通じて脳の設計図について探求します：神経科学とsnnTorch Pythonライブラリのチュートリアルから得た知見を活用してニューラルネットワークを進化させる

神経科学と人工知能の交差点では、特に「snnTorch」として知られるオープンソースのPythonライブラリの開発を通じて、顕著な進展が見られています。この革新的なコードは、脳の効率的なデータ処理方法に触発されたスパイキングニューラルネットワークをシミュレートするもので、UCサンタクルーズのチームの努力から生まれています。過去4年間、このチームのPythonライブラリ「snnTorch」は、100,000を超えるダウンロードを誇って大きな注目を集めています。その応用は学術的な範囲を超えており、NASAの衛星追跡事業や半導体会社による人工知能用のチップの最適化など、多様なプロジェクトで有益な役割を果たしています。 IEEEの論文に最近掲載された「snnTorch」のコーディングライブラリは、脳の効率的な情報処理メカニズムを模倣したスパイキングニューラルネットワークの重要性を強調しています。彼らの主な目標は、脳の省電力処理を人工知能の機能性と融合させることで、両者の長所を活用することです。 snnTorchは、パンデミック中にチームのPythonコーディングの探求と電力効率の向上のために始まった情熱的なプロジェクトでした。今日、snnTorchは、衛星追跡からチップ設計までのさまざまなグローバルプログラミングプロジェクトで基礎的なツールとして確立されています。 snnTorchの優れた点は、そのコードとその開発に伴って編集された包括的な教育資料です。チームのドキュメントと対話型コーディング資料は、ニューロモーフィックエンジニアリングとスパイキングニューラルネットワークに関心を持つ個人のための入門点となり、コミュニティで貴重な資産となっています。チームによって著されたIEEE論文は、snnTorchコードに補完される包括的なガイドです。非伝統的なコードブロックと主観的なナラティブを特徴とし、神経モーフィックコンピューティングの不安定な性質を正直に描写しています。これにより、コーディングの決定に不十分に理解された理論的な基盤と格闘する学生たちの苦悩を和らげることを意図しています。教育リソースとしての役割に加えて、論文は、脳の学習メカニズムと従来の深層学習モデルとの隔たりを埋める視点も提供しています。研究者たちは、AIモデルを脳の機能と調整する課題について探究し、ニューラルネットワークでのリアルタイム学習と「一緒に発火して接続される」興味深い概念に重点を置いています。さらに、チームはUCSCのGenomics InstituteのBraingeneersとの共同研究において、脳情報処理の洞察を得るために脳器官モデルを利用しています。この共同研究は、生物学と計算論的パラダイムの融合を象徴し、snnTorchの器官モデルのシミュレーション能力による脳発祥の計算の理解への大きな進歩となっています。研究者の業績は、多様な領域をつなぐ協力的な精神を体現し、脳に触発されたAIを実用的な領域に推進しています。snnTorchの議論に特化した繁栄するDiscordとSlackチャンネルを通じて、この取り組みは産業と学術界の協力関係を促進し、snnTorchに関する熟練を求める求人募集内容にさえ影響を与え続けています。 UCサンタクルーズのチームによる脳に触発されたAIの先駆的な進展は、深層学習、神経科学、計算論的パラダイムのランドスケープを変革する可能性を示しています。

がん診断の革命：ディープラーニングが正確に識別し再分類することで、肝臓がんの組み合わせを強化された治療判断につながります

“` 肝臓癌は、肝細胞癌（HCC）と肝内胆管癌（ICCA）を含む原発性肝癌は、それぞれ異なる特徴を持つため、重要な課題を抱えています。肝細胞・胆管細胞癌（cHCC-CCA）の出現により、HCCとICCAの特徴を表す特徴を持ち、診断上の複雑さと臨床管理のジレンマが生じています。この稀な病態が正確な治療戦略の派生を複雑化させ、患者の予後に寄与しています。このジレンマに対処するため、本研究では人工知能（AI）の適用により、cHCC-CCA腫瘍を純粋なHCCまたはICCAとして再分類し、改善された予後予測と分子的な洞察を提供することを目指しています。 cHCC-CCAは、肝癌の稀な変異型であり、肝細胞と胆管細胞の形態の組み合わせにより病理学者を困惑させます。複雑なブレンドは診断を難しくし、臨床管理に曖昧さをもたらします。さらに、共識ガイドラインの欠如が治療の決定を複雑化させます。この複雑性は、HCCとICCAの境界が曖昧であり、cHCC-CCAがこれらの実体に類似した遺伝子プロファイルを示すことから、その分子的なアイデンティティについての論争を引き起こします。本研究は、病理学画像解析の強力なツールであるAIを活用し、cHCC-CCA腫瘍をHCCまたはICCAとして識別および再分類することで、臨床的な予後予測および分子的な遺伝子パターンに対する解釈を明確にすることを目指しています。国際的な研究者チームによるこの研究では、セルフスーパーバイズドフィーチャーエクストラクタと注意機構ベースの集約モデルを組み合わせたAIパイプラインを使用しました。このAIフレームワークは、純粋なHCCとICCAを識別し、発見コホート内で有望な結果を示すことを目指しました。モデルは、クロスバリデーションされた受信者操作特性曲線下の面積（AUROC）が0.99である堅牢な分離能力を示しました。独立したTCGAコホートでの後続の検証では、モデルの有効性が補強され、AUROCが0.94になり、高い汎化能力が示されました。特筆すべきは、AIモデルがICCに似た表現型に近い特徴に強い注目を払っていることであり、微細な組織学的ニュアンスを識別する能力を示しています。 AIモデルの純粋なHCCとICCAの区別能力は、その臨床および分子的な意義の更なる探索を促します。この分割によって、cHCC-CCAと診断された患者に対する治療の効果のギャップを埋めるための正確な予後予測および治療戦略のガイドが可能となります。さらに、ICCに似た特徴への注目は、モデルが異なる組織構造を捉える能力を示しており、cHCC-CCAと既知の肝癌タイプとの病理学的な関連性と一致しています。これらの研究結果は、AIがcHCC-CCAのより正確な診断と予後マーカーの指南において潜在力を持っていることを強調しています。論文の主なポイント: 診断の潜在能力：AIは、cHCC-CCAをHCCまたはICCAの明確なカテゴリに再分類することで、診断の突破口を提供する可能性を示しています。臨床的な意義：AIによる分類は、cHCC-CCA患者の個別化された治療戦略と予後予測において有望な成果をもたらします。分子的な洞察：モデルがICCに似た特徴に注目することは、微細な組織学的構造を捉える能力を示しており、cHCC-CCAと既知の肝癌タイプの間の分子的な類似性に光を当てています。 “`

Learn more about Search Results フ - Page 4