Search Results 5MB

『このAI研究は、IFPおよびリポソーム蓄積を予測するための物理ベースの深層学習を発表します』

がん治療の精緻化を追求する中、研究者たちは、腫瘍のダイナミクスを飛躍的に向上させる画期的な解決策を導入しました。この研究は、筋内腫瘍内液圧（IFP）とリポソーム蓄積を正確に予測する、先駆的な物理学に基づく深層学習モデルに焦点を当てています。この革新的な手法は、がん治療戦略の最適化や腫瘍内での治療薬の分布に対する正確な洞察を提供するという約束を持っています。多くのナノセラピューティクスの基盤となるのは、高い浸透性および保持（EPR）効果です。これは、腫瘍の特性である血管透過性と血管間圧力勾配を利用しています。しかし、EPR効果が治療結果に与える影響は一貫性がないことが示されています。この一貫性の欠如は、固形腫瘍内での薬物送達に影響を与える要素のより深い探求を促しました。これらの要因の中で、間質液圧（IFP）が重要な決定要因として浮上し、リポソーム薬物の中心領域への送達を厳しく制約しています。さらに、高いIFPは独立した予後マーカーとして機能し、特定の固形がんにおける放射線療法や化学療法の効果に大きな影響を与えます。これらの課題に直面し、研究者たちは、前処理および投与後の画像データを使用して、ボクセルごとの筋内腫瘍内リポソーム蓄積とIFPを予測する高度なモデルを提案しています。彼らのアプローチのユニークさは、機械学習と偏微分方程式を組み合わせた最先端の物理学に基づく機械学習の統合にあります。研究者たちは、合成生成された腫瘍から得られたデータセットにこの革新的な技術を適用することで、モデルの高い予測精度と最小限の入力データでする予測を実証しています。既存の方法論は、腫瘍内でのリポソームの分布とIFPを一貫かつ正確に予測する必要があります。この研究の貢献は、物理学に基づいた原則と機械学習を統合する前例のないアプローチを導入することで、自らを区別しています。この革新的なモデルは、正確な予測だけでなく、がん治療の設計に即効性のある示唆を提供します。腫瘍内でのリポソームおよびIFPの空間的分布を予測できる能力は、腫瘍のダイナミクスに関するより深い理解のための新たな道を開き、より効果的かつ個別化された治療介入への道を築きます。提案された手法の詳細に踏み込んで、ウォータールー大学とワシントン大学の研究チームは、物理学に基づいた深層学習を使用してボクセルレベルでの予測を達成する方法を説明しています。このモデルが合成腫瘍データに依存していることは、その堅牢性と効率を示し、がん治療における高いIFPがもたらす課題への潜在的な解決策を提供しています。研究者たちは、最小限の入力データでの拡張性と適用可能性を披露することで、そのポテンシャルを強調しており、腫瘍の進行予測や治療計画の支援におけるその可能性を強調しています。まとめると、この画期的な研究は、リポソームベースのがん治療に関連する複雑さに取り組むための変革的なアプローチを示しています。物理学に基づく機械学習を統合した彼らのモデルは、筋内腫瘍内リポソーム蓄積と間質液圧の正確なボクセルレベルの予測を提供します。この革新は、腫瘍のダイナミクスの理解を進め、治療設計に即効性のある示唆を持つことで、より効果的かつ個別化された介入の可能性を強調しています。予測可能性の向上と治療の成功に向けた重要な進歩を示すこの研究の重要性は、見逃すことはできません。

LMQL — 言語モデル用のSQL

「SQLについて聞いたことがあるか、あるいはスキルを習得したことがあるはずですSQL（Structured Query Language）はデータベースデータの操作に広く利用される宣言型言語です年次のStackOverflow調査によると...」

「Amazon SageMaker JumpStartを使用したスケーラブルなテキスト埋め込みと文の類似性検索」

この記事では、SageMaker Python SDKを使用してテキスト埋め込みと文の類似性の使用方法を示します文の類似性は、LLMによって埋め込まれた2つのテキストの間の類似度を評価することを意味しますこれは、検索増強生成（RAG）などのアプリケーションの基本ステップです

画像埋め込みのためのトップ10の事前訓練モデル、データサイエンティストが知っておくべきもの

「コンピュータビジョンの急速な進化– 画像分類のユースケースは、転移学習の台頭によってさらに加速されています大規模な画像データセットを使用してコンピュータビジョンニューラルネットワークモデルを訓練するには、多くの計算リソースと時間が必要です幸いなことに、この時間とリソースは…」

「Kubernetesに対応した無限スケーラブルストレージ」

時には、ただ機能するストレージが必要ですCephを使用して、Kubernetesクラスタで無限にスケーリング可能な複製ストレージを取得する方法を学びましょう！確実に動作することを確認するために、ノードを破壊しましょう💥

予めトレーニングされた基礎モデルは、分子機械学習の未来ですか？前例のないデータセットとGraphium機械学習ライブラリを紹介します

最近の薬剤探索における機械学習の最新の成果は、主にグラフおよび幾何学的ディープラーニングモデルに帰因されています。これらの技術は、原子間相互作用のモデリング、分子表現学習、3Dおよび4Dシチュエーション、活性および特性予測、力場の作成、分子の生成において効果を発揮しています。他のディープラーニング技術と同様に、優れたモデリング精度を提供するためには、多くのトレーニングデータが必要です。しかし、現在の治療に関する文献のほとんどのトレーニングデータセットは、サンプルサイズが小さいです。驚くべきことに、最近の自己教師あり学習、コンピュータビジョンおよび自然言語処理のための基礎モデル、および深い理解の発展により、データの効率性が大幅に向上しました。実際には、巨大なデータセットを使用して前処理において大量のデータを使用することで、リソースを一度費やすことで、ダウンストリームタスクにおけるデータの必要性を減らす学習済みの帰納的バイアスが示されています。これらの成果の後、他の研究では、少量のデータで分子モデリングを行うために大規模な分子グラフニューラルネットワークの事前学習の利点を検証しました。大きなラベル付き分子データセットの不足のため、これらの調査では対照的な学習、オートエンコーダ、またはノイズ除去タスクのような自己教師ありアプローチのみを使用することができました。これらのモデルからのファインチューニングによるNLPとCVの自己教師ありモデルの改善の一部しか、低データモデリングの試みではまだ生み出されていません。分子およびそのコンフォマーの挙動は環境に依存し、主に量子物理学によって制御されるため、分子およびそのコンフォマーに対するグラフモデリングの不正確さは一部説明されます。例えば、構造が似ている分子でも、生物活性のレベルは大きく異なることが広く知られており、これをアクティビティクリフと呼ぶ現象がグラフモデリングのみに基づくことを制約しています。彼らの主張によれば、分子モデリングの効率的なベースモデルを開発するには、量子力学的記述と生物環境に依存したデータから導かれた情報を使用した教師ありトレーニングが必要です。 Québec AI Institute、Valence Labs、Université de Montréal、McGill University、Graphcore、New Jersey Institute of Technology、RWTH Aachen University、HEC Montréの研究者らは、分子研究に3つの貢献をしています。まず、現行技術よりも桁違いに大きなマルチタスクデータセットの新しいファミリーを提案します。次に、巨大データセットで効果的なトレーニングを可能にするグラフ機械学習パッケージであるGraphiumを紹介します。第3に、複数のタスクでのトレーニングの利益を示すさまざまなベースラインモデルを提供します。彼らは現在最大のものとして、約1億の分子と3000以上のスパースに定義されたアクティビティを持つ、3つの包括的かつ厳格に維持されたマルチラベルデータセットを提供します。これらのデータセットは、シミュレーションやウェットラボテストを通じて学習された量子および生物学的な特徴を記述するラベルを組み合わせており、基礎モデルの教師ありトレーニングに使用されます。ラベルがカバーする責任は、ノードレベルとグラフレベルの両方に及びます。さまざまなラベルの存在は、効果的に転移スキルを獲得するのを容易にします。さまざまな下流分子モデリング活動のモデルの一般化を高めることで、基礎モデルを構築することが可能になります。彼らは既存のデータに対して細心の注意を払い、新しい情報を追加してこれらの広範なデータベースを作成しました。その結果、彼らのコレクションの各分子の記述には、量子力学的な特性と生物学的な機能に関する情報が含まれています。QM特性のエネルギー、電気、および幾何学的成分は、PM6などの半経験的な手法やB3LYPなどの密度汎関数理論に基づく手法など、さまざまな先端技術を使用して計算されます。図1に示すように、生物活性に関する彼らのデータベースには、毒性プロファイリング、遺伝子発現プロファイリング、および投与量応答生物試験からの分子シグネチャが含まれています。図1：提案された分子データセットコレクションのビジュアル概要。“ミックス”は複数のタスクを同時に予想するために設計されています。それらはグラフレベルおよびノードレベルのジョブ、量子、化学、生物学の側面、カテゴリおよび連続データポイントを含んでいます。量子効果と生物学的効果の同時モデリングにより、しばしば小規模な実験データセットからは得られない、複雑な環境依存的特性を分子の特徴づける能力が向上します。 Graphiumのグラフ機械学習ツールキットであるグラフィウムライブラリは、これらの巨大なマルチタスクデータセットでの効果的なトレーニングを可能にするために作成されました。この革新的なライブラリは、特徴アンサンブルと複雑な特徴の相互作用を含む分子グラフの基礎モデルの作成とトレーニングを簡素化します。 Graphiumは、以前の逐次的なサンプルに対して主に意味がないノード、エッジ、およびグラフの特性間の相互作用を考慮して、特徴と表現を基本的な構成要素と見なし、最先端のGNNレイヤーを追加することで、以前のフレームワークの制約に対処します。さらに、グラフィウムは、データセットの組み合わせ、欠損データの処理、および共同トレーニングなどの機能を提供することで、大規模なデータセットアンサンブルでのモデルのトレーニングを簡単かつ高度に設定できるように処理します。提供されるデータセットの混合物について、彼らは単一データセットとマルチデータセットのシナリオでさまざまなモデルをトレーニングします。これらは信頼性のあるベースラインを提供し、これらのデータセットの今後のユーザーにとっての参考点となり、このマルチデータセットの方法論を使用してトレーニングする利点についてのいくつかの示唆を提供します。結論として、この研究は最大の2D分子データセットを提供します。これらのデータセットは、分子の量子特性と生物学的柔軟性を正確に理解し、さまざまな下流アプリケーションに合わせるための基礎モデルをトレーニングするために明示的に作成されました。さらに、これらのモデルのトレーニングを簡素化し、使用されるデータセットとライブラリの潜在能力を示す異なるベースラインの結果を提供するために、グラフィウムライブラリを作成しました。

RAGアプリケーションデザインにおける実用的な考慮事項

「RAG（Retrieval Augmented Generation）アーキテクチャは、LLMの入力長制限と知識切り上げの問題を効率的に克服することが証明されています現在のLLMテクニカルスタックでは、RAGが…」

「Amazon SageMaker JumpStartで利用可能な自動音声認識のWhisperモデル」

「今日は、OpenAI Whisper ファウンデーションモデルが Amazon SageMaker JumpStart を利用するお客様に利用可能であることをお知らせいたしますWhisper は、自動音声認識 (ASR) と音声翻訳のための事前学習済みモデルですラベル付きデータ 68万時間で訓練された Whisper モデルは、多くのデータセットやドメインにおいて高い一般化能力を示し、必要な転移学習やドメイン適応を行わずに利用できます」

「マイクロソフトと清華大学によるこのAI研究は、EvoPromptという新しいAIフレームワークを紹介しますこのフレームワークは、LLMと進化アルゴリズムを接続するための自動的な離散プロンプト最適化を実現します」

大規模言語モデル（LLM）はほとんどすべての自然言語処理（NLP）のタスクで優れた成績を収めています。しかし、従来のファインチューニング手法はLLMにとって高コストであり、LLMパラメータを変更せずに学習可能なプロンプト埋め込みを使用する連続プロンプトチューニング技術の開発が行われています。ただし、これらの手法はまだLLMパラメータへのアクセスを必要とし、GPT-3やGPT-4などのブラックボックスAPIでアクセスされるLLMには適していません。この論文では以下の貢献があります： EVOPROMPTの導入：著者は、離散プロンプトの最適化を自動化するための新しいフレームワークであるEVOPROMPTを紹介しています。このフレームワークは、大規模言語モデル（LLM）と進化的アルゴリズム（EA）を結びつけ、以下の利点を提供します： LLMパラメータや勾配へのアクセスは必要ありません。探索と利用のバランスを効果的に取ることで、結果の改善が図られます。人間により理解しやすいプロンプトを生成します。実証的な証拠：本論文では、9つの異なるデータセットで行われた実験により、EVOPROMPTの既存の手法との比較における効果を示す実証的な証拠を提供しています。感情分類、トピック分類、主観性分類、簡素化、要約などのタスクにおいて、最大14％の性能向上が示されました。最適なプロンプトの公開：著者は、EVOPROMPTを用いて得られた最適なプロンプトを共有することで貴重な貢献をしています。これらのプロンプトは、感情分析、トピック分類、主観性分類、簡素化、要約などのタスクにおいて、研究コミュニティや実践者に利用されることができます。 LLMの革新的な利用：この論文は、適切な指示が与えられた場合にLLMを用いて進化的アルゴリズムを実装する概念を先駆けています。この新しいアプローチにより、LLMと従来のアルゴリズムを組み合わせた潜在的な応用の可能性が広がります。 EVOPROMPTを実用化するためには、特定の進化的アルゴリズム（EA）と組み合わせることが重要です。さまざまな種類のEAが存在し、この論文では2つの広く認識されているアルゴリズム、遺伝的アルゴリズム（GA）と差分進化（DE）に焦点を当てています。上記の画像は、LLMによる離散プロンプト最適化のために実装されたGAプロセスを示しています。研究者は、LLMが従来のアルゴリズムを実装するための効果的で解釈可能なインターフェースを提供し、人間の理解とコミュニケーションとの良好な一致を確保すると考えています。この研究結果は、LLMが誤って予測されたサンプルを収集することで、離散空間で「勾配降下法」を実行する最近の傾向を裏付けています。大規模言語モデル（LLM）の能力を最大限に活用し、自然言語の指示を用いて人間との対話を通じて多様なアルゴリズムの実行を調査するためには、追加の研究の機会が存在します。LLMがシミュレーテッドアニーリングなどの微分フリーアルゴリズムにおいて潜在的な解を生成できるかどうかなど、探索のアイデアが含まれます。

StableSRをご紹介します：事前トレーニング済み拡散モデルの力を活用した新たなAIスーパーレゾリューション手法

コンピュータビジョンの分野では、様々な画像合成タスクのための拡散モデルの開発において、重要な進展が見られています。以前の研究は、Stable Diffusionなどの合成モデルに拡散先行モデルを統合することが、画像や動画の編集などの幅広い下流コンテンツ作成タスクに対して適用可能であることを示しています。本記事では、コンテンツ作成を超えて、拡散先行モデルを超解像タスクに適用することの潜在的な利点を探求します。超解像は低レベルのビジョンタスクであり、高い画像の忠実度を要求するため、拡散モデルの固有の確率的な性質とは対照的な追加の課題をもたらします。この課題への一般的な解決策は、スクラッチから超解像モデルをトレーニングすることです。これらの手法では、低解像度（LR）画像を追加の入力として組み込むことで、出力空間を制約し、忠実度を保持することを目指しています。これらのアプローチは優れた結果を達成していますが、拡散モデルのトレーニングにはかなりの計算リソースが必要です。また、ネットワークのトレーニングをゼロから開始することは、合成モデルで捉えられた生成先行モデルを損なう可能性があり、ネットワークのパフォーマンスが最適でない結果になる可能性があります。これらの制限に対応するために、別のアプローチが検討されています。この代替アプローチでは、事前にトレーニングされた合成モデルの逆拡散プロセスに制約を導入することが含まれます。このパラダイムにより、モデルのトレーニングを繰り返す必要がなくなり、拡散先行モデルの利点を活用することができます。ただし、これらの制約を設計するには、通常は画像の劣化に関する事前知識が必要であり、複雑なものでもあります。そのため、このような手法は一般化が制限されることが示されています。上記の制限に対処するため、研究者たちはStableSRを導入しました。StableSRは、画像の劣化について明示的な仮定を必要とせずに、事前にトレーニングされた拡散先行モデルを保持するように設計された手法です。以下に、提示された手法の概要が示されています。従来のアプローチでは、低解像度（LR）画像を中間出力に連結することが必要であり、スクラッチから拡散モデルをトレーニングする必要がありました。一方、StableSRでは、超解像（SR）タスクに特化した軽量のタイムアウェアエンコーダといくつかのフィーチャモジュレーション層の微調整が行われます。エンコーダには、タイムエンベディングレイヤが組み込まれており、異なるイテレーションで拡散モデル内のフィーチャを適応的に変調するためのタイムアウェアフィーチャを生成します。これにより、トレーニング効率が向上し、生成先行モデルの整合性も維持されます。さらに、タイムアウェアエンコーダは、復元プロセス中に適応的なガイダンスを提供し、初期のイテレーションではより強力なガイダンスを、後のステージではより弱いガイダンスを行い、パフォーマンスの向上に大きく寄与します。拡散モデルの固有のランダム性とオートエンコーダのエンコードプロセス中の情報損失を解決するために、StableSRでは制御可能なフィーチャラッピングモジュールを適用しています。このモジュールは、調整可能な係数を導入し、エンコーダのマルチスケール中間フィーチャを残差的な方法でデコードプロセス中の拡散モデルの出力を洗練します。調整可能な係数により、忠実度とリアリズムの間の連続的なトレードオフが可能となり、幅広い劣化レベルに対応します。さらに、任意の解像度の超解像タスクに対して拡散モデルを適応させることは、過去に課題を提起してきました。これを克服するために、StableSRはプログレッシブな集約サンプリング戦略を導入しています。このアプローチでは、画像を重なり合うパッチに分割し、各拡散イテレーションでガウスカーネルを使用してそれらを融合します。その結果、境界部分でより滑らかな遷移が得られ、より一貫した出力が確保されます。元の記事で提示されたStableSRの一部の出力サンプルと、最先端のアプローチとの比較結果は、以下の図に示されています。まとめると、StableSRは、実世界の画像超解像の課題に対して生成ベースの事前知識を適応させるためのユニークな解決策を提供します。このアプローチは、劣化について明示的な仮定をすることなく、事前学習済みの拡散モデルを活用し、時間感知エンコーダ、制御可能な特徴ラッピングモジュール、および進行的な集約サンプリング戦略を組み込むことで、忠実度と任意の解像度の問題に対処します。StableSRは堅牢なベースラインとして機能し、拡散事前知識を復元タスクに応用する将来の研究をインスピレーションとして提供します。興味があり、さらに詳しく知りたい場合は、以下に引用されたリンクを参照してください。

Learn more about Search Results 5MB