Learn more about Search Results Twitter - Page 6

「生成AIのキーワードを解説する」

この記事では、生成AIに重要なキーワードを紹介し、説明しますさらに学習するための追加のリソースへのリンクも提供されます

オープンLLMリーダーボード:DROPディープダイブ

最近、新たに3つの新基準がOpen LLM Leaderboardに追加されました。Winogrande、GSM8k、そしてDROPです。これらはEleutherAI Harnessの再現実装を使用しています。DROPのスコアをざっと見てみると、f1スコアでほとんどのモデルが10点以下という奇妙な現象が起こっていることがわかりました。私たちはこの問題を深く掘り下げ、何が起こっているのかを理解するために調査を行いました。一緒に調査結果を見ていきましょう! 初期の観察結果 DROP(段落に対する離散的な推論)は、モデルが英語の段落から関連する情報を抽出し、それらに対して離散的な推論手法(例えば、ソートやアイテムの数え上げなどを行い、正解にたどり着く)を実行する必要がある評価です(例は下の表を参照してください)。使用される評価指標はカスタムのf1スコアと完全一致スコアです。 DROPをOpen LLM Leaderboardに3週間前に追加しましたが、事前学習モデルのf1スコアは予想外の傾向を示しました。DROPのスコアをARC、HellaSwag、TruthfulQA、MMLUのリーダーボードの元々の平均(モデル全体のパフォーマンスの合理的な代理)と比較したとき、優れたモデルほどDROPのスコアも良い関連性があると予想していました。しかし、それは一部のモデルにしか当てはまらず、他のすべてのモデルのDROPのf1スコアは10点未満でした。 正規化の問い合わせ この驚くべき振る舞いに対する最初の深い調査中に、正規化ステップが意図した通りに機能していない可能性があることがわかりました。いくつかのケースでは、正規化が正しい数値の回答を無視してしまっていました。具体的には、数値の回答の後に空白文字(スペース以外の改行など)が続いていた場合に正規化が無視されていました。以下に例を示します。生成結果が10\n\nPassage: The 2011 census recorded a population of 1,001,360で、正解が10である場合を見てみましょう。 正規化は生成結果と正解の両方に対して複数のステップで行われます: 区切り文字での分割 |、-、または. を使って分割します。生成結果の先頭のシーケンス 10\n\nPassage:…

サークルブームのレビュー:最高のAIパワードソーシャルメディアツール?

「サークルブームの参考文献として、サークルブームの力を発見してみてくださいそれは最高のAIパワードソーシャルメディアツールですか?」

予測モデルの構築:Pythonにおけるロジスティック回帰

著者によるイメージ 機械学習を始めるとき、ロジスティック回帰は最初にツールボックスに追加するアルゴリズムの一つですこれはシンプルで頑健なアルゴリズムであり、主に2値分類の課題に使用されます0と1の2つのクラスを持つ二値分類問題を考えますロジスティック回帰はロジスティックまたは...

「コール オブ デューティ」がGeForce NOWに登場

ゲームの始まりに – このGFNの木曜日は、高い期待を胸に待ち望まれたCall of Duty: Modern Warfare IIIがクラウド上に登場します。これは、NVIDIAとMicrosoftの提携の一環として、初めてActivisionのタイトルがGeForce NOWに登場するものです。 さらに、Call of Duty: Modern Warfare IIとCall of Duty: Warzoneも加わります – これらの3つのタイトルは、GeForce NOW上のCall of Dutyのロゴを通じて1つの中央場所からプレイすることができます。 そして、素晴らしい季節がやってきました…

一緒にAIを学ぶ- Towards AIコミュニティニュースレター#3

おはようございます、AI愛好家のみなさん!今週のポッドキャストエピソードをシェアできることをとても嬉しく思います今回は、AIの分野で有名なキーパーソンであるKen Jeeさんとの対談ですKenさんのデータサイエンスへの道のりは非常にインスピレーションに満ちています...

Find the right Blockchain Investment for you

Web 3.0 is coming, whether buy Coins, NFTs or just Coding, everyone can participate.

Advertising with us