「より優れたモデルを構築するためには、評価指標の再評価から始める」

Start with reevaluating the evaluation metrics to build a better model.

南カリフォルニア大学（USC）の研究者は、生成型人工知能（AI）モデルのパフォーマンスを測定することの重要性を強調し、それらを改善するために必要なものだと述べました。

研究者は、適合率と再現率を指標として使用することには、生成型モデルの忠実度と多様性を定量化するための欠陥があると述べました。

これは、彼らによれば、”より良い”生成型モデルを構築するためには、パフォーマンスを評価するために使用される指標を再検討する必要があることを意味します。

USCのコンピュータ科学者Mahyar Khayatkhoeiは、「これらの測定が欠陥を持っているということは、これらのすべての意思決定も潜在的に欠陥があるということです。

• 「英国の選挙登録簿に対するサイバー攻撃が明らかになる」
• 「それはすでに人間ができることを遥かに超えている」：AIは建築家を一掃するのか？
• 「Zoomのプライバシーの微調整が、通話内容がAIのトレーニングに使用されることへの懸念を引き起こしている」という文になります

「この問題が存在することを示すために実験を行い、数学的には実際に、いくつかの仮定の下では非常に一般的な問題であることを証明しました。そして、数学的分析の洞察から、この問題を緩和するための修正版を作成しました。」 USCヴィタービ工学部からの全文記事を見る

抄録の著作権は2023年SmithBucklin、ワシントンD.C.、アメリカに帰属します

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!