Search Results A

適切なバランスを取る：機械学習モデルにおける過学習と過小適合の理解

機械学習の問題に取り組むすべての人は、自分のモデルができるだけ最適に動作することを望んでいますしかし、望むほどモデルが最適に動作しない場合もありますそれは、以下のいずれかの理由による可能性があります...

クロスバリデーションの助けを借りて、あなたの機械学習モデルに自信を持ちましょう

「訓練された機械学習モデルを訓練データ自体で評価することは基本的に間違っていますもし評価が行われれば、モデルは訓練中に学習した値のみを返しますこの評価は...」

「機械学習分類問題のさまざまな性能評価指標を知る」

「機械学習の文脈において、パフォーマンスメジャーは、訓練済みモデルの優れた性能を教えてくれる測定ツールと考えることができます通常、「正確さ」が標準的なメジャーとされています…」

直感的にR2と調整済みR2のメトリックを探索する

R2は、回帰型の機械学習タスクの評価メトリックとして広く使用されていますそれは、目的の特徴量（従属特徴量）の分散のどれくらいが機械によって説明されるかを見つけ出します...

高リスクの女性における前がん変化の予測マンモグラフィに基づくディープラーニング手法の突破

人工知能（AI）と深層学習の進歩により、医療診断と患者ケアの向上に新たな可能性が開かれました。最近のRadiology：Artificial Intelligenceに掲載された研究では、乳がんリスクの高い女性の前がん変化を検出する乳がんマンモグラフィベースのディープラーニング（DL）モデルの潜在能力を示しています。この研究は、特に疾病に対する感受性が高い人々の乳がん検出とリスク分類の向上に重要な約束を持っています。この研究では、スクリーニングマンモグラムの広範なデータセットでトレーニングされたDLモデルの利用に焦点を当てました。 DLモデルの性能は、受信者操作特性曲線下の面積（AUC）を使用して予測精度を測定することによって評価されました。結果は有望なものであり、DLモデルは1年間のAUCが71％、5年間のAUCが65％で、乳がんの予測において優れた成績を収めました。一方、従来の乳房イメージング報告およびデータシステム（BI-RADS）システムは、1年間のAUCが73％でわずかに高いものの、DLモデルは長期の乳がん予測において優れた成績を収めました。5年間のAUCはBI-RADSの54％に対してDLモデルの63％となりました。この研究では、将来のがん発症を予測するための画像の役割にも着目し、標準的なマンモグラフでは明らかにならない早期の前がんまたは前悪性変化を検出するDLモデルの正確性を評価するためにミラーリング実験を行いました。その結果、DLモデルの性能において将来の乳がんをイメージングすることの重要性が示されました。陽性ミラーリングでは62％のAUCが得られ、陰性ミラーリングでは51％のAUCが示され、DLモデルが前がんまたは早期の悪性変化を検出する可能性があることを強調しています。特に有望な所見は、DLモデルが短期リスク分類においてBI-RADSシステムを補完する可能性です。DLモデルの結果をBI-RADSスコアと組み合わせることにより、識別力が向上し、スクリーニングマンモグラムの評価を高め、近期のリスク評価により正確な予測を提供する可能性が示唆されました。研究者はまた、DLモデルのトレーニングデータセットがリスクが低い高リスクの女性に焦点を当てている点にも言及し、平均的な乳がんリスクのある女性に研究結果を直接外挿することには注意が必要であると述べています。さまざまな人口でのDLモデルの適用可能性と、より広範な患者の乳がん検出とリスク評価への貢献の可能性を探るためにさらなる研究が必要です。全体として、この研究は、特に高リスクの個人にとって、乳がん検出とリスク分類におけるDLモデルの重要な約束を強調しています。技術の進歩に伴い、AIによるソリューションは乳がんスクリーニングおよび管理を革新し、早期発見と患者ケアの改善につながる可能性があります。

「MITとスタンフォードの研究者は、効率的にロボットを制御するために機械学習の技術を開発しましたこれにより、より少ないデータでより良いパフォーマンスが得られるようになります」

MITとスタンフォード大学の研究者は、迅速に変化する状況下で、ドローンや自律型車両などのロボットの制御を革命化する可能性のある新しい機械学習技術を紹介しました。この革新的な手法は、制御理論の原則を機械学習プロセスに取り入れることで、より効率的で効果的なコントローラの作成を可能にします。研究者たちは、優れた安定化コントローラを設計するために、システムダイナミクス内の本質的な構造を学ぶことを目指しました。この手法の中核には、制御指向の構造をモデル学習プロセスに統合することがあります。研究者たちは、システムのダイナミクスとこれらのユニークな制御指向の構造を共にデータから学ぶことにより、実世界のシナリオで非常に優れたパフォーマンスを発揮するコントローラを生成することができました。コントローラを派生させるために別々のステップが必要な従来の機械学習手法とは異なり、この新しい手法では学習済みモデルから直接効果的なコントローラを抽出します。さらに、制御指向の構造を含めることで、データが少なくても優れたパフォーマンスを達成するため、急速に変化する環境で特に価値があります。この手法は、ロボット工学者が物理学を利用して単純なロボットモデルを派生させる方法に触発されています。これらの手動で派生させられたモデルは、システムの物理学に基づいた重要な構造的関係を捉えています。ただし、手動モデリングが困難な複雑なシステムでは、研究者はしばしばデータにモデルをフィットさせるために機械学習を使用します。既存の手法の課題は、コントロールベースの構造を見落としており、コントローラのパフォーマンスを最適化するためには重要です。 MITとスタンフォードのチームの手法は、機械学習中に制御指向の構造を組み込むことによって、この制約を解消しています。これにより、物理学に基づいたアプローチとデータ駆動型の学習を効果的に結びつけることができました。テスト中、新しいコントローラは望ましい軌跡に密接に従い、さまざまなベースライン手法を上回りました。驚くべきことに、学習済みモデルから派生したコントローラは、正確なシステムダイナミクスを使用して構築されたグラウンドトゥルースコントローラのパフォーマンスにほぼ匹敵しました。この手法はデータの効率的な利用に優れており、少ないデータポイントでも優れたパフォーマンスを達成しました。対照的に、複数の学習済みコンポーネントを利用した他の手法は、データセットが小さいと性能が急速に低下しました。このデータの効率的な利用は、ロボットやドローンが迅速に変化する状況に素早く適応する必要があるシナリオに特に有望です。この研究の注目すべき側面の1つは、その普遍性です。この手法は、低重力環境で動作するロボットアームや自由飛行宇宙船など、さまざまなダイナミカルシステムに適用することができます。今後の展望として、研究者はより解釈可能なモデルの開発に興味を持っており、ダイナミカルシステムに関する具体的な情報を特定することが可能になるでしょう。これにより、さらに優れたパフォーマンスを発揮するコントローラが実現し、非線形フィードバック制御の領域を更に進歩させることができるでしょう。この研究の専門家たちは、制御指向の構造を学習プロセスに導入することを感性バイアスとして統合することの貢献を称賛しています。この概念的なイノベーションにより、高効率な学習プロセスが実現し、効果的で安定した制御に適した本質的な構造を持つダイナミックモデルが生み出されました。制御指向の構造を学習プロセスに組み込むことで、この手法はより効率的で効果的なコントローラの可能性を開拓し、ロボットが卓越したスキルと適応性を持って複雑なシナリオをナビゲートする未来に一歩近づけるのです。

ETHチューリッヒの研究者たちは、LMQLという言語モデルとの相互作用のためのプログラミング言語を紹介しました

大規模な言語モデルの性能は、質問応答やコード生成などのさまざまなタスクで印象的でした。言語モデルは、入力に基づいてシーケンスの統計的に妥当な結論を自動的に生成することができます。ユーザーは、話し言葉の指示や例を通じてこれらのモデルを訓練し、さまざまな後続の活動を行うことができます。より複雑なプロンプティング技術には、言語モデル、ユーザー、電卓などのサードパーティアプリケーションとの協力が含まれる場合もあります。最新のパフォーマンスを達成するためには、複雑なタスクおよびモデル固有のプログラムを実装する際に、アドホックなインタラクションが依然として必要な場合もあります。これを踏まえ、スイスの研究者たちは、言語モデルプログラミング（LMP）という最先端の概念を紹介しました。LMPは、単純なテキストプロンプトを超えて言語モデルプロンプティングの範囲を拡大し、これらの2つの方法の自然なハイブリッドを提供します。さらに、LMPでは言語モデルが生成する結果を制限することができます。これにより、言語モデルの高い抽象度が実現され、さまざまな活動に容易に適応できます。研究者はLMPを実装するためにLMQL（Language Model Query Language）を使用しており、LMPプロンプトからの制約と制御フローを使用して、基礎となる言語モデルへのコストのかかる呼び出しの数を削減する効率的な推論技術を生成します。彼らは、既存のハイレベルAPIでは実装が難しい対話型フローを容易にするさまざまな先端プロンプティングメカニズムをLMQLがどのように捉えるかを示しています。この調査では、計算時間または使用料（有料APIの場合）を劇的に削減しながら、さまざまな下流の活動で精度を維持または向上させることを実証しています。それはどのように機能しますか？ LMQLは、その宣言的な性質から、タスクの望ましい結果を指定するだけで、ロジックの制御フローの詳細を別の言語に任せます。それはSQLのアイデアを借りてPythonの上に構築されています。ユーザーは、モデルにテキストとプログラム可能な質問の両方を与えることができます。このレポートでは、言語の文法の5つの主要なコンポーネントが特定されています。デコーダの役割は、テキスト生成アルゴリズムの秘密を解明することです。これは、データをより有用なもの、つまりより高品質でさまざまな表現方法に変換するコードの一部です。言語モデルとの対話の基本的なツールは、Python構文で記述されたクエリブロックです。クエリブロックのトップレベルの各文字列は、個別のクエリを表します。クエリの対象モデルは、Model/from句で識別されます。これは、テキストが生成される言語的基盤を指定します。一方、Where句では結果を制御するパラメータを設定することができます。必要なプロパティを維持するために言語モデルが生成する必要がある内容を指定します。 LMQLのユーザーは、言語モデルによって生成される結果に洗練された論理的な制約を設定することができます。これらの制約からは、トークンレベルの予測マスクが自動的に生成されるため、テキストの生成の初めに厳格に強制されることができます。その結果、さまざまな制約を慎重に強制することができ、モデルは基準を満たすコンテンツのみを生成します。出力形式の保証が改善されたことにより、マルチパートのプロンプティングと統合がより簡単になりました。主な貢献この研究の著者たちが特定し、解決した現在のLMプロンプティング方法のいくつかの問題に対して、革新的な言語モデルプログラミングのパラダイムを紹介しています。 LMQLは、LM向けの高レベルクエリ言語であるため、スクリプトによるプロンプティングと出力の制限という2つの機能を提供しています。熱心な部分評価セマンティクスの最終的な抽象化と後続の抽象化の形式的な説明。これにより、一般的なガイドラインのみが与えられた場合でも、モデル固有のトークンマスクがLMデコーディングのために自動的に生成されます。 LMQLの徹底的な分析により、短く理解しやすいLMQLプログラムとしてさまざまな基本的および洗練されたプロンプティングアプローチを表現する方法が示され、LMQLの推論コストと実行時間を最大80%削減することができます。研究者による事例研究によると: LMQLの高い表現能力により、多くの最新の先端技術を、比較可能なPythonベースのものよりもはるかに少ない行数で実装することができます。 LMQLを使用することで、モデルクエリの数、効率性、実行時間が大幅に改善されます。トークンレベルの検証を可能にするLMQLの能力により、チャンク単位のデコーディングやバックトラッキングに頼らずに制約を動的に強制することができます。 LMQLはモデルの精度に影響しません。設定された制約によるわずかな精度向上が見られる場合もあります。さらに、研究者たちは、有料のAPIゲートモデルの文脈で使用される場合、LMQLが請求可能なトークンの削減による著しい費用削減を提供することを実証しています。最後に、彼らはこれらのケーススタディが、LMQLの実用性に関する主張の信憑性を脅かす、実世界のプロンプトエンジニアとの並行して評価される包括的なユーザー調査とは別であることを指摘しています。このような研究の不足は、実用性に関する主張の信憑性を脅かすものであることを忘れてはなりません。結論として、専門家は、（巨大な）言語モデルとの対話の新しいアプローチとして、言語モデルプログラミングを提案しています。直感的な構文を持つ高レベルのクエリ言語であるLMQLが導入されました。LMQLの評価セマンティクスは効率的に開発され、迅速なクエリ処理が可能となりました。彼らはケーススタディを通じて、高度なプロンプト方法を簡単で明確かつ高速なLMQLコードに変換することで、計算費用を最大80%削減することができることを証明しています。

「MLOpsの全機械学習ライフサイクルをカバーする：論文要約」

このAIの論文は、MLOpsの分野に関する包括的な調査を提供しています。MLOpsは、機械学習のライフサイクル全体を自動化することに焦点を当てた新興の学問です。この調査は、MLOpsのパイプライン、課題、ベストプラクティスなど、幅広いトピックをカバーしています。モデルの要件分析、データの収集、データの準備、特徴量エンジニアリング、モデルのトレーニング、評価、システムの展開、モデルの監視など、機械学習プロセスのさまざまなフェーズについて詳しく説明しています。さらに、ビジネス価値、品質、人間の価値、倫理など、ライフサイクル全体での重要な考慮事項についても議論されています。この論文は、MLOpsの包括的な調査を提示し、機械学習のライフサイクルを自動化することの重要性を強調しています。調査では、MLOpsのパイプライン、課題、ベストプラクティス、および機械学習プロセスのさまざまなステージについて取り上げています。この論文は以下の図でまとめられています: https://arxiv.org/abs/2304.07296: 機械学習プロセスモデルの要件分析機械学習プロジェクトを始めるために、ステークホルダーはモデルの要件を分析し特定する必要があります。このセクションでは、ビジネス価値、モデルの品質、人間の価値（プライバシー、公正性、セキュリティ、責任）、倫理の4つの基本的な側面について説明しています。ステークホルダーは目的を定義し、価値と問題を特定するためのツールを評価し、要件を優先順位付けし、関連するステークホルダーを巻き込み、必要な機能を決定することが推奨されています。データの収集と準備データの準備フェーズは、機械学習タスクに適した高品質のデータを確保するために重要な役割を果たします。このセクションでは、データの収集、データの発見、データの拡張、データの生成、およびETL（抽出、変換、読み込み）プロセスについて取り上げています。データの品質チェック、データのクリーニング、データの統合、データのマッチング、および探索的データ分析（EDA）を行うことの重要性を強調しています。特徴量エンジニアリング特徴量エンジニアリングは、予測モデリングの性能向上に重要です。このセクションでは、特徴量の選択と抽出、特徴量の構築、特徴量のスケーリング、データのラベリング、特徴量の補完などの技術を強調しています。各技術に関連する特定のアルゴリズムとメソッドも説明されており、Principal Component Analysis（PCA）、Independent Component Analysis（ICA）、およびStandardization and Normalizationも含まれています。モデルのトレーニングモデルのトレーニングフェーズでは、監視された学習、非監視学習、半教師あり学習、強化学習など、さまざまなタイプの機械学習モデルがカバーされています。このセクションでは、特定の問題に適したモデルを選択するモデル選択についても議論されています。また、クロスバリデーション、ブートストラップ、ランダム分割などのモデル選択の方法も探求されています。ハイパーパラメータのチューニング、つまりモデルのパラメータを最適化するプロセスも取り上げられています。モデルの評価モデルの評価は、さまざまなメトリックを使用してモデルのパフォーマンスを評価することに焦点を当てています。このセクションでは、精度、適合率、再現率、Fスコア、ROC曲線下面積（AUC）などの一般的な評価メトリックを紹介しています。モデルのパフォーマンスだけでなく、ビジネス価値も考慮することの重要性を強調しています。システムの展開システムの展開には、適切なMLモデルオペレーティングプラットフォームの選択、システムの統合、システム統合テストの実施、およびシステムのエンドユーザーへのリリースが含まれます。カナリア展開やブルーグリーン展開などの展開戦略も説明されています。MLシステムの展開に関連する課題も議論されており、スムーズな展開プロセスのためのヒントも提供されています。モデルの監視…

「ゲート付き再帰型ユニット（GRU）の詳細な解説：RNNの数学的背後理論の理解」

この記事では、ゲート付き再帰ユニット（GRU）の動作について説明しますGRUは、長期短期記憶（LSTM）の事前知識があれば簡単に理解できるため、強くおすすめします...

NLPの探索 – NLPのキックスタート（ステップ＃1）

今学期、私はカリキュラムの一部としてNLPを受講していますやったー！さて、この科目の今後の評価の一環として、与えられた教材を復習し、いくつかのノートを作成しましたそれが私がすることです...

Learn more about Search Results A - Page 741