Search Results 6. 結論

「PyMC-Marketingによる顧客のライフタイムバリュー予測」

要約：顧客生涯価値（CLV）モデルは、顧客分析において価値のある顧客を特定するための重要な技術ですCLVを無視すると、過剰な投資が生じる可能性があります...

「Johns Hopkins Medicineの研究者たちは、正確な骨肉腫壊死計算のための機械学習モデルを開発しました」

がん医療の領域において、骨がん患者における化学療法の効果を評価することは予後の重要な指標となります。ジョンズ・ホプキンス医学の研究チームはこの分野で画期的な進歩を達成しました。彼らは、骨肉腫患者における腫瘍死の程度を示す重要な指標である壊死率（Percent Necrosis, PN）を計算するための機械学習モデルを開発・訓練し、その精度が筋骨格病理学者による結果と比較して驚異的な85％、一部外れ値を除いた場合は99％に達することを実証しました。 PNの計算は従来、筋骨格病理学者による豊富な注釈データに依存する労働集約的なプロセスであると同時に、2人の病理学者が同じ全スライド画像（whole-slide images, WSIs）を分析しても異なる結論に至る低い相互観測者信頼性の問題も抱えています。これらの課題を認識し、研究者たちは代替的なアプローチの必要性を強調しました。チームの取り組みは、最小限の注釈データがトレーニングに必要な弱く監視された機械学習モデルを開発することにつながりました。この革新的な方法論によれば、PN計算のためにモデルを利用する筋骨格病理学者は部分的に注釈付けされたWSIsの提供のみが求められるため、病理学者の作業量を大幅に削減することができます。このモデルの構築に際して、チームはジョンズ・ホプキンスの優れた米国の第三次がんセンターの病理学アーカイブからWSIsを含む包括的なデータセットを作成しました。このデータは、2011年から2021年の間にセンターで化学療法と手術を受けた骨中髄型骨肉腫の症例だけで構成されています。筋骨格病理学者は、収集された各WSIs上の3つの異なる組織タイプ（活動性腫瘍、壊死腫瘍、非腫瘍組織）を綿密に注釈付けしました。さらに、病理学者は各患者に対してPNを推定しました。この貴重な情報を手に入れたチームは、訓練フェーズに入りました。研究者たちはトレーニングプロセスを説明しました。彼らは、モデルに画像パターンの認識を教えることでモデルを訓練することにしました。WSIsは数千の小さなパッチに分割され、そこから病理学者がラベル付けした方法に基づいてグループに分けられました。最後に、これらのグループ化されたパッチがモデルにトレーニングのために提供されました。このアプローチは、モデルにより堅牢な参照フレームを提供するために選択されました。ただし、一つの大きなWSIを単独でモデルに与えると発生する可能性のある見落としを回避するためです。訓練後、モデルと筋骨格病理学者によって、2人の骨肉腫患者の6つのWSIsが評価されました。その結果、モデルのPN計算と組織のラベリングとの間に85％の正の相関があり、筋骨格病理学者の結果と比較して驚異的な結果が得られました。ただし、軟骨組織を適切に識別することに時折困難があるため、一つのWSIにおいて軟骨が多く存在するため外れ値が生じました。その外れ値を除去すると、相関係数は素晴らしい99％にまで上昇しました。チームは今後、モデルの訓練に軟骨組織を取り入れ、WSIsの範囲を骨中髄型骨肉腫以外のさまざまな型の骨肉腫に拡大することを予想しています。この研究は、骨肉腫の治療成績の評価を革新するために重要な一歩を示しています。

「Amazon SageMaker Canvasを使用して、コードを1行も書かずに機械学習を利用しましょう」

最近、テキストや画像の形式でのデータを使用して予測を行うために機械学習（ML）を使用することは、深層学習モデルの作成や調整に広範なMLの知識が必要でしたしかし、今日では、MLはビジネス価値を創出するためにMLモデルを使用したいユーザーにとってよりアクセスしやすくなっていますAmazon SageMakerを使用することで[…]

このAI論文は、医療の視覚的な質問応答におけるGPT-4Vの性能について包括的な分析を紹介します：洞察と限界

リハイ大学、マサチューセッツ総合病院、ハーバード医学大学の研究者チームが最近、最先端のマルチモーダル言語モデルであるGPT-4Vをビジュアルクエスチョンアンサリングタスクにおいて詳細な評価を行いました。この評価は、テキストとビジュアルの入力を必要とする複雑なクエリを処理するモデルの総合的な効率とパフォーマンスを評価することを目的としています。研究の結果は、GPT-4Vが自然言語処理とコンピュータビジョンの応用において持つ潜在能力を明らかにしています。最新の研究に基づくと、現時点のGPT-4Vのバージョンは、信頼性のない、最適化されていない応答のため、実践的な医療診断には適していません。GPT-4Vはテキストの入力に大きく依存しており、これがしばしば不正確な結果をもたらします。この研究は、GPT-4Vが教育的なサポートを提供できることや、異なるクエスチョンタイプや複雑さのレベルに対して正確な結果を生み出すことを強調しています。しかし、GPT-4Vがより効果的になるためには、より正確で簡潔な応答が必要とされます。このアプローチは、医学のマルチモーダル性を強調し、臨床医が医学画像、臨床ノート、検査結果、電子健康記録、ゲノムなど、さまざまなデータタイプを統合しています。さまざまなAIモデルがバイオメディカル応用において有望な成果を示していますが、多くは特定のデータタイプやタスクに合わせて調整されています。また、ChatGPTの潜在能力も示しており、患者や医師に有益な情報を提供する可能性があります。それは、複数の医療専門家が診断に失敗した後に正確な診断結果を出したケースの一例です。 GPT-4Vの評価では、関連する画像と共に質問が提示される病理学および放射線学のデータセットを使用し、11のモダリティと15の対象をカバーしています。テキストのプロンプトは、GPT-4Vがビジュアルとテキスト情報を効果的に統合するために慎重に設計されています。評価では、各QAケースに対して別々のチャットセッションを開始し、公平な結果を確保するためにGPT-4Vの専用チャットインターフェースを使用します。パフォーマンスは閉じられた質問と開かれた質問を含む正確さの指標を用いて量化されます。医療ドメインのビジュアルクエスチョンアンサリングタスクを含むGPT-4Vの実験結果は、現時点のバージョンが実世界の診断応用により適している可能性があり、診断医学的なクエリに対しては信頼性が低く、精度も低い特徴を持っていると示しています。GPT-4Vは常に曖昧な場合には医療専門家との直接相談を求めるようアドバイスしており、専門的な医療ガイドと慎重な医療分析の重要性を強調しています。この研究は、GPT-4Vの医療ビジュアルクエスチョンアンサリングタスクにおける制約を包括的に検討する必要があります。それは、CT画像内のサイズの関係や文脈上の輪郭の解釈にGPT-4Vが苦労するという具体的な課題を挙げています。GPT-4Vは画像のマーキングを過度に強調し、これらのマーキングのみに基づくクエリの差別化にも支援が必要です。現在の研究には、複雑な医療問い合わせの扱いや詳細な回答の提供に関連する制約に明確に取り組む必要があります。結論として、GPT-4V言語モデルは医療診断においては信頼性がなく、また十分に正確ではありません。限界点が強調され、精度の高い結果を保証するために医療専門家との協力が必要です。明確かつ包括的な回答を得るためには、専門家の助言と医療専門家との相談が必要です。GPT-4Vは不確実性のある場合には専門家のガイダンスの重要性を常に強調します。

インテルの研究者たちは、CPU上でLLMs（Large Language Models）をより効率的に展開するための新しい人工知能のアプローチを提案しています

大型言語モデル（LLM）は、その驚異的なパフォーマンスと多様なタスクでの潜在能力により、世界中で話題となっています。テキスト生成、言語理解、テキスト要約などの能力でよく知られています。ただし、これらのモデルの広範な採用の一方で、モデルパラメータの膨大なサイズにより、推論には大きなメモリ容量と専用のハードウェアが必要であり、これまでこれらのモデルの展開は非常に困難でした。推論に必要な計算能力を削減する方法の一つは、量子化手法を使用することです。つまり、人工ニューラルネットワークの重みと活性化関数の精度を低下させることです。INT8や重みのみの量子化など、推論コストを改善するための方法はいくつかありますが、これらの方法は一般的にCUDAに最適化されており、必ずしもCPU上で動作するわけではありません。このIntelの研究論文の著者は、LLMを効率的にCPU上に展開する方法を提案しています。彼らのアプローチは、自動INT-4重みのみの量子化（低精度がモデルの重みにのみ適用され、活性化関数の精度は高く保たれます）のフローをサポートしています。また、CPU上の推論プロセスを加速する高度に最適化されたカーネルを持つ特定のLLMランタイムも設計しています。量子化フローは、Intel Neural Compressorをベースに開発され、異なる量子化レシピ、粒度、グループサイズでのチューニングが可能で、精度目標を満たすINT4モデルを生成することができます。モデルはその後、LLMランタイムに渡され、量子化モデルのパフォーマンスを評価するために設計された特殊環境で評価されます。このランタイムは、CPU上のLLMの効率的な推論を提供するために設計されています。実験では、研究者たちはパラメータサイズが異なる人気のあるLLMをいくつか選びました（7Bから20Bまで）。オープンソースのデータセットを使用してFP32モデルとINT4モデルのパフォーマンスを評価しました。選択したデータセット上での量子化モデルの精度は、FP32モデルとほぼ同等であることが観察されました。さらに、次のトークン生成のレイテンシの比較分析を行い、LLMランタイムがggmlベースのソリューションよりも最大1.6倍優れていることがわかりました。結論として、この研究論文は、LLMに関連する最大の課題の1つであるCPU上での推論に対する解決策を提案しています。従来、これらのモデルはGPUのような専用ハードウェアが必要であり、多くの組織にとって利用できない状況でした。この論文では、INT4モデルの量子化と専用のLLMランタイムを提供することで、CPU上のLLMの効率的な推論を実現しています。人気のあるLLMの一連の評価では、この手法はggmlベースのソリューションに比べて優位性を示し、FP32モデルと同等の精度を提供します。ただし、今後の改善の余地もあり、研究者はAI生成コンテンツの成長する需要に対応するために、PC上での生成型AIを強化する計画です。

「Amazon SageMaker Model Registry、HashiCorp Terraform、GitHub、およびJenkins CI/CDを使用して、マルチ環境設定でのパイプラインの促進を行う」

「機械学習運用（MLOps）プラットフォームを組み立てることは、人工知能（AI）と機械学習（ML）の急速に進化する状況において、データサイエンスの実験と展開のギャップをシームレスに埋めるため、モデルのパフォーマンス、セキュリティ、コンプライアンスの要件を満たす組織にとって必要不可欠です規制とコンプライアンスの要件を満たすためには、[…]」

「KOSMOS-2：Microsoftによるマルチモーダルな大規模言語モデル」

イントロダクション 2023年はAIの年となりました。言語モデルから安定した拡散モデルの強化にSegMind APIを使うまで、AI技術は進化し続けています。その中で、Microsoftが開発したKOSMOS-2が注目を浴びています。これはマイクロソフトによって開発されたマルチモーダルの大規模言語モデル（MLLM）であり、テキストと画像の理解力において画期的な能力を発揮しています。言語モデルを開発することは一つのことですが、ビジョンモデルを作成することは別のことです。しかし、両方の技術を組み合わせたモデルを持つことは、さらなるレベルの人工知能を実現することになります。この記事では、KOSMOS-2の特徴と潜在的な応用について掘り下げ、AIと機械学習への影響を解説します。学習目標 KOSMOS-2のマルチモーダル大規模言語モデルの理解 KOSMOS-2のマルチモーダルグラウンディングと参照表現生成の仕組みの学習 KOSMOS-2の現実世界での応用について洞察を得る KOSMOSを使ったColabでの推論の実行この記事はデータサイエンスブログマラソンの一部として公開されました。 KOSMOS-2モデルの理解 KOSMOS-2はマイクロソフトの研究チームによる研究成果で、そのタイトルは「Kosmos-2: Grounding Multimodal Large Language Models to the World（KOSMOS-2：マルチモーダル大規模言語モデルのグラウンディング）」です。テキストと画像を同時に処理し、マルチモーダルデータとの相互作用を再定義することを目指して設計されたKOSMOS-2は、他の有名なモデルであるLLaMa-2やMistral AIの7bモデルと同様にトランスフォーマーベースの因果言語モデルのアーキテクチャを採用しています。しかし、KOSMOS-2の特徴はその独自のトレーニングプロセスです。特殊なトークンとして画像内のオブジェクトへの参照を含むテキストである、GRITと呼ばれる巨大なデータセットでトレーニングされています。この革新的なアプローチにより、KOSMOS-2はテキストと画像の新たな理解を提供することができます。マルチモーダルグラウンディングとは何ですか？ KOSMOS-2の特徴的な機能の一つは、「マルチモーダルグラウンディング」の能力です。これは、画像のオブジェクトとその位置を記述するイメージキャプションを生成することができるという意味です。これにより、言語モデルにおける「幻覚」の問題を劇的に減少させ、モデルの精度と信頼性を向上させることができます。この概念は、テキストを画像内のオブジェクトに特殊なトークンを通じて接続し、実質的にはオブジェクトを視覚的な文脈に結びつけるというものです。これにより幻覚が減少し、正確なイメージキャプションの生成能力が向上します。…

「ハギングフェイスの研究者たちは、Distil-Whisperを紹介しました：高性能でリソースが限られた環境におけるギャップを埋めるコンパクトな音声認識モデル」

ハギングフェイスの研究者たちは、リソース制約のある環境での大規模な事前学習済音声認識モデルの展開の問題に取り組んできました。彼らは、擬似ラベリングを通じて大規模なオープンソースデータセットを作成することにより、この問題を解決しました。そのデータセットは、Distil-Whisperと呼ばれるWhisperモデルのより小さいバージョンの煮詰まった形式に蒸留されるために利用されました。 Whisper音声認識トランスフォーマーモデルは、ノイズの多いインターネット音声データの680,000時間の事前学習を行いました。これは、トランスフォーマーベースのエンコーダとデコーダのコンポーネントを含み、ファインチューニングなしでゼロショットシナリオで競争力のある結果を実現しています。Distil-Whisperは、擬似ラベリングを使用して行われた知識蒸留を通じて派生したコンパクトなバージョンです。Distil-Whisperは、長い形式のオーディオにおける幻聴エラーを緩和しながら、Whisperモデルの耐音響的な状況への頑健性を維持しています。この研究は、音声データのための大規模な擬似ラベリング方法を導入し、知識蒸留に対する未探索でありながら有望なアプローチです。自動音声認識（ASR）システムは人間レベルの精度に達しましたが、リソース制約のある環境での事前学習モデルのサイズの増大による課題に直面しています。Whisperは大規模な事前学習済ASRモデルで、さまざまなデータセットで優れた性能を発揮しますが、低レイテンシの展開にはより実用的になる可能性があります。知識蒸留はNLPトランスフォーマーモデルを効果的に圧縮してきましたが、音声認識での利用は未探索です。提案されたアプローチでは、知識蒸留を容易にするために、擬似ラベリングを使用して大規模なオープンソースデータセットを構築します。トレーニング品質を確保するために、最適な擬似ラベルの選択にWERヒューリスティックが使用されます。知識蒸留の目的は、Kullback-Leibler距離と擬似ラベルの項の組み合わせで、学生の隠れ層の出力を教師のものと一致させるために平均二乗誤差の成分を導入することです。この蒸留技術は、Seq2Seq ASRフレームワーク内のWhisperモデルに適用され、一貫した転写のフォーマッティングとシーケンスレベルの蒸留ガイダンスを提供します。知識蒸留によって得られたDistil-Whisperは、元のWhisperモデルと比較してスピードが向上し、パラメータが削減されています。ゼロショットシナリオでの分布外テストデータにおいて、Distil-Whisperは1%未満のWERを達成し、5.8倍の高速化と51%のパラメータ削減を実現しています。distil-medium.enモデルは、わずかに高いWERを持っていますが、6.8倍の即時推論と75%のモデル圧縮を示しています。Whisperモデルは長い形式のオーディオ転写において幻聴エラーに対して脆弱ですが、Distil-Whisperはこれらのエラーを軽減しながら競争力のあるWER性能を維持しています。結論として、Distil-Whisperは知識蒸留を通じて実現されたWhisperモデルのコンパクトなバリアントです。この革新的なアプローチは、元のWhisperモデルと比較してスピードとパラメータの削減の面で注目すべき利益をもたらします。distil-medium.enモデルはわずかに高いWERを示していますが、より即時の推論と大規模なモデル圧縮を提供しています。将来の研究では、音声認識におけるトランスフォーマーベースのモデルを圧縮するための音声ドメインの知識蒸留と擬似ラベリングの可能性が有望です。さまざまなフィルタリング方法や閾値が転写品質やダウンストリームのモデル性能に与える影響の調査は、知識蒸留の最適化に貴重な知見を提供することができます。レイヤーベースの方法や平均二乗誤差項を使用した他の圧縮技術の探索は、パフォーマンスを犠牲にすることなくさらなるモデル圧縮を実現する可能性があります。この研究で提供されたトレーニングコード、推論コード、およびモデルは、音声認識のための知識蒸留に関するさらなる研究や実験において貴重なリソースとなるでしょう。

「Giskard の紹介 AI モデルのためのオープンソース品質管理」

‘製品化されたAIモデルの品質を確保するジレンマを解決するために — 特にLLMsの出現を考慮して — オープンソースのAI品質管理システムであるGiskardの正式なローンチをお知らせできることを嬉しく思います’

Partners

GLM-130B：オープンなバイリンガル事前訓練モデル

「GLM-130Bフレームワーク」は、英語と中国語の両方でテキストを生成できる、13兆パラメータを備えたバイリンガル事前学習済み大規模言語モデルですGLM-130Bフレームワークは、1000億以上のパラメータを持つ言語モデルをオープンソースで公開する試みであり、このような大規模なフレームワークについての議論を目指しています

Learn more about Search Results 6. 結論 - Page 15