Search Results による

「Pythonによる完全な探索的データ分析」

「以前にもいくつかの探索的データ分析のチュートリアルを行ってきましたが、それをもう少しやるべきだと感じていますデータセットを取り、それを調査し、データのクリーニング、分析、可視化などを行います...」

「深層学習による遺伝子制御の解明：オルタナティブスプライシングの理解に向けた新たなAIアプローチ」

オルタナティブスプライシングは、遺伝子の制御において基本的なプロセスであり、単一の遺伝子が複数のmRNAバリアントと様々なタンパク質アイソフォームを生産できるようにするものです。このメカニズムは、細胞の多様性の生成および生物学的プロセスの調節において重要な役割を果たしています。ただし、複雑なスプライシングパターンを解明することは、科学者にとって長い間課題でした。最近公開された研究論文では、この課題に取り組み、新しい深層学習モデルを用いてオルタナティブスプライシングの調節に光を当てています。研究者は、遺伝子制御の領域でオルタナティブスプライシングを研究するために、従来の方法に頼ってきました。これらの方法は、煩雑な実験技術やスプライシングイベントの手動注釈を伴うことが多いです。これらの方法は有益な洞察を提供してきましたが、現在生成される膨大なゲノムデータを分析する能力はより時間のかかる制約されたものとなる可能性があります。本論文の背後にいる研究チームは、より効率的かつ正確なアプローチの需要を認識しました。彼らは、オルタナティブスプライシングの複雑さを解明するために設計された先端的な深層学習モデルを導入しました。このモデルはニューラルネットワークの力を活用してスプライシングの結果を予測するため、この分野の研究者にとって貴重なツールとなります。提案された深層学習モデルは、従来の方法からの著しい転換を表しています。このモデルは、学習可能なパラメータを段階的に組み込むことで解釈可能性を高める多段階のトレーニングプロセスで動作します。その効果の鍵は、さまざまな情報源を統合する能力にあります。このモデルでは、シーケンスおよび構造データにおいて強度演算モジュール（SCM）を利用します。これらのモジュールは、モデルが異なるスプライシング結果に関連付けられる強度を計算するための重要なコンポーネントです。モデルはシーケンス情報を処理するために畳み込み層を使用し、重要なシーケンスモチーフを捉えます。シーケンスデータに加えて、モデルは構造特徴も考慮します。RNA分子はしばしば複雑な二次構造を形成し、スプライシングの意思決定に影響を及ぼすことがあります。モデルは、ドットブラケット表記を使用してこれらの構造要素を捉え、ポテンシャルなG-Uワブル塩基対を特定します。この構造情報の統合により、スプライシングプロセスのより包括的な視点が提供されます。モデルの特徴の1つは、非線形活性化関数であるTuner関数です。Tuner関数は、挿入とスキップスプライシングイベントに関連付けられる強度の差を確率スコアにマッピングし、スプライスイン（PSI）値の割合を予測します。この予測は重要な出力となり、研究者が特定の文脈でのオルタナティブスプライシングの調節方法を理解するのに役立ちます。研究チームは、さまざまなアッセイとデータセットを用いてモデルのパフォーマンスを厳密に評価しました。予測を実験結果と比較することで、モデルが正確に重要なスプライシング特徴を識別する能力を示しました。特に、モデルは本物のスプライシング特徴とデータ生成中に導入される潜在的なアーティファクトを区別することに成功しており、予測の信頼性を確保しています。結論として、この画期的な研究論文は、遺伝子のオルタナティブスプライシングの理解に関する長年の課題に対する魅力的な解決策を提案しています。深層学習能力を活用したこの研究チームによるモデルは、シーケンス情報、構造特徴、ワブル塩基対指標を組み合わせてスプライシング結果を正確に予測します。この革新的なアプローチは、スプライシングプロセスの包括的な視点を提供し、遺伝子発現の調節メカニズムに対する洞察を提供します。モデルの解釈可能性は、注意深く設計されたトレーニングプロセスとTuner関数によって実現され、これが従来の方法とは異なる特徴です。このツールを使用することで、研究者はオルタナティブスプライシングの複雑な世界を探索し、遺伝子の制御を規定するメカニズムを明らかにすることができます。

MITによる新しい機械学習の研究は、大規模言語モデル（LLM）が空間と時間の概念を理解し表現する方法を示しています

大規模言語モデル（LLMs）は最近、驚くべきスキルを発揮しています。GPTのトランスフォーマーアーキテクチャに基づいて構築された有名なChatGPTは、その人間の模倣能力により、大きな人気を得ています。質問応答やテキスト要約、コンテンツ生成、言語翻訳など、さまざまな用途があります。その人気にもかかわらず、これらのモデルが訓練中に実際に学んできたものが疑問視されています。ある理論によれば、LLMsはデータのパターンと相関を見つけるのに優れていますが、データを生成する基本的なメカニズムを理解する面では不十分です。原理的には非常に優れた統計エンジンに似ており、実際には理解を持っているわけではないかもしれません。別の理論では、LLMsは相関を学び、トレーニングデータの生成プロセスに基づくより簡潔で理解しやすいモデルを成長させると述べています。最近、マサチューセッツ工科大学の2人の研究者が、大規模言語モデルがどのように学習するのかをよりよく理解するために、研究を行いました。この研究では、異なる空間的時間スケールをカバーし、場所、イベント、関連する空間または時間座標の名前を含む6つのデータセットを作成し、LLMs Llama-2モデルの内部活性化に対して線形回帰プローブを使用して、LLMsが空間と時間の表現を作成しているかどうかを調べました。これらのプローブは、各データセット名に対応する現実世界の正確な位置または時間を予測します。研究結果は、LLMsが異なるスケールで空間と時間の線形表現を学ぶことを示しています。これは、モデルが空間的および時間的側面について構造化された方法で関係性とパターンを理解していることを意味します。単にデータアイテムを記憶するのではなく、LLMsの表現は指示やプロンプトの変更に対しても強健です。情報の提供方法が異なっても、モデルは一貫して空間的および時間的情報の理解と表現を示します。この研究によれば、表現は特定のエンティティのクラスに制限されていません。都市、ランドマーク、歴史上の人物、芸術作品、ニュース見出しなどは、空間と時間の観点でLLMsによって均一に表現されています。これにより、モデルがこれらの次元の包括的な理解を生み出していることが推測されます。研究者はさらに、「空間ニューロン」と「時間ニューロン」と呼ばれる特定のLLMニューロンを認識しています。これらのニューロンは、空間的および時間的座標を正確に表現し、空間と時間を処理し表現するモデル内の専門的なコンポーネントの存在を示しています。結論として、この研究の結果は、現代のLLMsが統計量の単なる暗記を超えて、空間や時間などの重要な次元に関する構造化された重要な情報を学習しているという考えを強化しています。LLMsは単なる統計エンジンを超えており、訓練されたデータ生成プロセスの基礎構造を表現することができると言えます。

「LLMsとRAGを組み合わせることによる拡張」

私はVoAGIについてさまざまな技術トピックについて何度もブログを書いてきました特にAmazon SageMaker上での機械学習（ML）モデルのホスティングに関してはより多くの記事を執筆してきました最近では興味を持ったのは…

「新しい取り組みによる輸送とエネルギーの排出削減法」

これらの新製品の特徴と展開は、人々、都市計画者、政策立案者が持続可能な未来を構築するための行動を取るのに役立ちます

グーグルとコーネル大学の研究者がDynIBaRを紹介しました：AIによるダイナミックシーン再構築の革命化

GoogleとCornellの研究者たちによる新しい論文が発表され、DynlBaRという新しい手法がフォトリアリスティックなフリービューポイントレンダリングの生成に使用されましたそして、チームによれば、これは複雑でダイナミックなシーンの単一のビデオから可能となりました近年、コンピュータビジョンの分野では驚くべき進歩が見られています...

CPR-CoachによるCPRトレーニングの革命：エラー認識と評価に人工知能を活用

心肺蘇生（CPR）は、心臓が効果的に拍動しなくなったり、呼吸が止まるといった心停止を経験した個人を蘇生させるための命を救う医療手順です。この手順は、専門の医療スタッフが到着するか、またはその人が高度なケアのために医療施設に搬送できるまで、特に脳を含む重要な臓器への酸素が豊富な血液の流れを維持することを目的としています。 CPRを行うには持久力が必要ですが、正しい動きを追従すれば直ぐに簡単になります。しかし、胸部圧迫、救命呼吸、早期電気除細動（適切な装置を使用する）など、マスターする必要があるさまざまなアクションがあります。 CPRは重要な緊急時のスキルであるため、この基礎的な専門知識を広めることは重要です。ただし、従来の評価は物理的な人体模型や講師に依存しており、訓練費用が高額で効率も限定されています。さらに、講師やこの非常に特殊な装置がどこにでも存在しないため、このアプローチはほとんどスケーラブルではありません。この記事で紹介された画期的な研究では、CPR中のエラーアクションの認識とスキル評価を向上させるために、ビジョンベースのシステムが導入されました。この革新的な手法は、従来のトレーニング方法からの重要な転換を示しています。具体的には、心外マッサージに関連する13種類の個別のエラーアクションと74種類の複合エラーアクションが同定され、カテゴライズされています。この革新的なCPRに基づく研究は、この手続き中に一般的に犯されるアクション固有のエラーを分析する初めてのものです。研究者たちは、この新しいアプローチをサポートするためにCPR-Coachという包括的なビデオデータセットを作成しました。データセットに注釈が付けられた最も一般的なエラーの概要は以下の通りです。 https://shunli-wang.github.io/CPR-Coach/ CPR-Coachを参考にして、著者たちはさまざまなデータモダリティを活用するさまざまなアクション認識モデルの性能を評価・比較しました。彼らの目標は、CPRスキル評価に固有のシングルクラストレーニングとマルチクラステストの問題に対処することです。この問題に対処するために、彼らは人間の認知原則に着想を得たImagineNetという画期的なフレームワークを導入しました。ImagineNetは、限られた監督の制約下でもCPRのコンテキスト内で複数のエラーを認識するためのモデルの能力を向上させるために設計されています。 ImagineNetのワークフローの概要は、以下の図に示されています。 https://shunli-wang.github.io/CPR-Coach/ この研究は、CPRスキルの評価における重要な前進であり、ビジョンベースの技術と高度な深層学習モデルの革新的な応用により、訓練費用を削減し、CPR指導の効率を向上させる可能性を提供しています。結果として、心臓緊急事態を経験する個人の結果も改善する可能性があります。 CPR関連のエラーを分析し、CPR評価の自動化を図るための2つの重要なAIツールであるCPR-CoachとImagineNetの概要について説明しました。興味がある場合は、以下のリンクを参照してさらに詳細を学ぶことができます。

「凍結された大規模言語モデルによるビジュアル質問回答」

この記事では、コンピュータビジョンと自然言語モデルの橋渡し技術であるQ-Formerを使用して、ビジュアルな質問応答システムを作成します必要な理論を説明し、以下を…

「改善された推論のためのアナロジー提示による言語モデルの拡張」

近年、言語モデルは人間のようなテキストの理解と生成能力を見せるにおいて驚異的な優れた性能を示しています。しかし、これらのモデルは複雑な推論タスクにおいてはまだ追いつく必要があります。数学の問題を解くこと、コードの生成、論理的な結論を導くことなど、伝統的な言語モデルは重大な課題に直面しています。その制約に対応するため、Google Deepmindとスタンフォード大学の研究者グループは、「アナログプロンプト」という画期的な技術を導入し、言語モデルの推論能力を向上させる手法を提案しています。本記事では、この問題、提案された解決策、アナログプロンプトの背後にあるテクノロジー、およびAIによる推論の将来への影響について探っていきます。 GPT-3.5-turboなどの言語モデルは、自然言語の理解と生成において重要な進展を遂げてきました。言語翻訳、テキスト生成、事実に関する質問に答えることなどで優れた能力を発揮します。しかし、これらのモデルは推論を必要とするタスクにおいてはサポートが必要です。以下のシナリオを考えてみましょう：ある生徒が、配列の部分配列の要素の積を求める数学の問題に助けが必要です。言語モデルは問題の内容を理解できますが、正しい解答を提供するにはより深い推論が必要であり、「接頭辞積算アルゴリズム」が関わってきます。伝統的なプロンプトでは、モデルが問題に効果的に取り組むのをサポートすることができない可能性があります。アナログプロンプトに入る前に、現在の方法と推論タスクへのアプローチにおける制約を理解することが重要です。研究者たちは、ゼロショットプロンプティング（0-shot）やフューショットプロンプティング（few-shot CoT）などの技術を探求してきました。これらの方法は、言語モデルを推論タスクに導くための事前定義の例やプロンプトを提供します。しかし、これらの既存の方法には欠点があります。さまざまなドメインや言語でデータのラベル付けを行うことは困難であり、多くのラベル付けデータが必要な場合があります。また、事前定義の例が問題と完全に一致することは稀であり、結果が最適とは限りません。これらの制限に対処すべく、研究チームはアナログプロンプトを導入しました。アナログプロンプトは、言語モデルが推論タスクに取り組む方法において画期的な変革をもたらします。固定のプロンプトや事前定義の例に頼らず、この手法では言語モデルの生成能力を活用し、各問題に適した文脈に基づく事例を自己生成します。アナログプロンプトを、言語モデルにとっての個別の家庭教師と考えてみてください。推論タスクに直面した場合、モデルは問題の文脈や要件に直接関連した具体的な例を生成します。たとえば、接頭辞積算アルゴリズムを含む数学の問題に遭遇した場合、モデルはそのアルゴリズムの応用を示す例を生成します。アナログプロンプトの技術は、GPT-3.5-turboなどの現代の言語モデルの高度な能力に基づいています。これらのモデルは膨大なデータセットで訓練され、さまざまなドメインや言語を深く理解しています。アナログプロンプトはこの知識を活用して問題に特化した事例を生成します。このプロセスでは、モデルが問題の文を分析し、広範な知識から関連する事例を作成します。これらの事例によって、モデルは問題の複雑さを把握し、必要な推論をすることができます。アナログプロンプトは、問題の文とモデルの理解力とのギャップを縮めます。アナログプロンプトは推論タスクにおいて驚異的なパフォーマンスを発揮します。実験結果は、複数の領域において、0-shotやfew-shot CoTなどの伝統的な手法に比べて優れていることを示しています。特に、問題解決タスク、コード生成、論理的な推論において技術が光ります。アナログプロンプトから得られる重要な示唆の一つは、大規模な言語モデルとの互換性です。GPT-3.5-turboなどの高度なモデルと組み合わせることで、この手法は素晴らしい結果を実現します。生成される事例が大きな利点を提供し、モデルは複雑な問題に効果的に取り組むことができます。まとめると、アナログプロンプトは言語モデルの推論能力を向上させる画期的なアプローチです。各問題に適した文脈に基づく事例を自己生成することで、この手法は問題の文とモデルの理解力とのギャップを埋めます。さまざまな領域での有望な結果を示すことで、アナログプロンプトはAIによる推論の未来を示唆しています。

「MITの研究者がPFGM++を紹介：物理学とAIの画期的な融合による高度なパターン生成」

生成モデリングの分野は、近年、高品質な画像を生成することができるモデルを作成しようとする研究者によって、重要な進展を遂げてきました。ただし、これらのモデルは、画像の品質と堅牢性の面で通常の支援が必要となります。この研究では、現実的な画像を生成すると同時に、モデルがエラーや摂動に対して強靭な状態を保つための適切なバランスを見つける問題に取り組んでいます。生成モデリングでは、研究者は視覚的に魅力的で一貫性のある画像を生成するためのさまざまな手法を探求しています。しかし、既存の多くのモデルに共通する問題は、エラーや逸脱に対する脆弱性です。この問題に取り組むため、研究チームはPFGM++（Physics-Inspired Generative Models）と呼ばれる革新的な手法を導入しました。 PFGM++は、既存のNCSN++/DDPM++アーキテクチャに基づき、摂動ベースの目標を訓練プロセスに組み込んでいます。PFGM++の特徴的なパラメータである「D」というパラメータは、モデルの振る舞いを制御する役割を果たします。このパラメータにより、モデルの堅牢性と高品質な画像生成のバランスを制御する手段が提供されます。PFGM++は、生成モデリングの世界において興味深い新加入であり、モデルの性能に大きな影響を与える動的要素を導入しています。PFGM++の概念とDの調整がモデルの振る舞いにどのように影響を与えるかについて、さらに詳しく見ていきましょう。 PFGM++の中でのDは、生成モデルの振る舞いを制御する重要なパラメータです。実質的には、研究者が画像の品質と堅牢性のバランスを調整するために回すことができるダイヤルです。この調整により、モデルは、高品質な画像の生成またはエラーに対する耐性を維持することが重要なさまざまなシナリオで効果的に動作することができます。研究チームは、PFGM++の有効性を示すために広範な実験を行いました。Dの異なる値（D→∞、D=64、D=128、D=2048、さらにはD=3072000）で訓練されたモデルを比較しました。生成された画像の品質はFIDスコアを使用して評価され、スコアが低いほど画像の品質が良いことを示します。その結果は驚くべきものでした。特定のD値（128や2048など）を持つモデルは、CIFAR-10やFFHQなどのベンチマークデータセットで、最先端の拡散モデルに比べて一貫して優れた結果を残しました。特に、D=2048モデルは、CIFAR-10で最小のFIDスコア1.91を達成し、以前の拡散モデルよりも大幅に改善されました。さらに、D=2048モデルはクラス条件付け設定での最新のFIDスコア1.74も樹立しました。この研究の重要な発見の1つは、Dの調整がモデルの堅牢性に大きな影響を与えることです。チームは、異なるエラーシナリオで実験を行い、それを検証しました。制御された実験：これらの実験では、研究者がモデルの中間ステップにノイズを注入しました。ノイズの量をαとし、αが増加すると、より小さいD値を持つモデルはサンプル品質の優れた劣化を示しました。一方、D→∞の拡散モデルはより急激な性能の低下を経験しました。たとえば、α=0.2の場合、D=64やD=128のモデルは引き続きクリーンな画像を生成する一方、拡散モデルのサンプリングプロセスは壊れました。訓練後の量子化：研究チームは、ニューラルネットワークにさらなる推定誤差を導入するために、ファインチューニングなしでニューラルネットワークにポストトレーニング量子化を適用しました。その結果、有限のD値を持つモデルの方が無限のDの場合よりも堅牢性が高いことが示されました。D値が低い場合は、ビット幅の低い量子化に対してより顕著な性能向上が見られました。離散化エラー：チームは、サンプリング中の関数評価回数（NFEs）を少なくすることによる離散化エラーの影響を調査しました。D=128のモデルと拡散モデルの間のギャップは次第に広がり、離散化エラーに対する堅牢性が高まっていることを示しました。D=64のようなより小さいD値は、D=128よりも一貫して性能が低い結果となりました。結論として、PFGM++は生成モデリングにおける画期的な追加です。パラメータDを導入し、微調整が可能になることで、モデルが画像の品質と堅牢性のバランスを達成する可能性が開かれました。経験的な結果は、特定のD値（例：128と2048）を持つモデルが、拡散モデルを上回り、画像生成の品質で新たな基準を設けていることを示しています。この研究からの重要なポイントの一つは、小さいD値と無限のD値の間に「最適な点」が存在することです。極端などちらも、最良のパフォーマンスを提供しません。この結果は、生成モデリングにおけるパラメータ調整の重要性を強調しています。

Learn more about Search Results による - Page 13