Search Results T5

2023年に再訪するトップの生成AI GitHubリポジトリ

はじめに 2023年も終わりに近づき、人工知能の領域は忍び足で進化を続けています。最新の進歩について追いかけることは、動く標的を追うようなものです。幸いにも、GitHubの活気あるエコシステムの中には、貴重な情報源が数多く存在しています。ここでは、2024年を含む将来のAI学習のためのスプリングボードとなる、トップのAI GitHubリポジトリを紹介します。この厳選されたリストは完全ではありませんが、関連性、インパクト、および好奇心を刺激する潜在能力により、それぞれのリポジトリが評価されています。 Hugging Face / Transformers 117k スター | 23.3k フォークこのリポジトリは、自然言語処理（NLP）に興味のある人々にとって宝庫です。BERT、RoBERTa、T5などのさまざまな事前学習済みのTransformerベースのモデル、詳細なドキュメント、チュートリアル、そして活気あるコミュニティがホスティングされています。主な特徴幅広い事前学習済みモデル、包括的なドキュメント、活発なコミュニティサポート、多様なアプリケーションの可能性、他のライブラリとの簡単な統合。このGenerative AI GitHubリポジトリを探索するには、ここをクリックしてください。 Significant Gravitas / AutoGPT 155k スター…

大規模な言語モデルについて企業が知っておくべきこと

大規模な言語モデルは、ビジネスコミュニケーション、コンテンツ作成、データ分析を変革しますビジネスにおける主な機能と利点を探るために読んでみてください

EAGLEをご紹介します：圧縮に基づく高速LLMデコードのための新しい機械学習手法

ChatGPTのような大規模言語モデル（LLM）は、さまざまな言語関連タスクでその手腕を発揮し、自然言語処理を革命化しました。しかし、これらのモデルは、各トークンの処理に完全な順方向のパスを必要とする自己回帰デコーディングプロセスに取り組んでいます。この計算のボトルネックは、パラメータセットが広範囲であるLLMにおいて特に顕著であり、リアルタイムアプリケーションの妨げとなり、制約のあるGPUの機能を持つユーザーに課題を与えます。 Vector Institute、ウォータールー大学、北京大学の研究者チームは、LLMデコーディングに固有の課題に対処するためにEAGLE（Extrapolation Algorithm for Greater Language-Model Efficiency）を導入しました。MedusaやLookaheadなどの従来の方法とは異なり、EAGLEは、第2トップレイヤーの文脈特徴ベクトルの外挿に焦点を当てる独自のアプローチを取っています。前例のない効率的な次の特徴ベクトルの予測を目指すEAGLEは、テキスト生成を大幅に加速する画期的な成果を提供します。 EAGLEの方法論の中核には、FeatExtrapolatorと呼ばれる軽量プラグインの展開があります。このプラグインは、元のLLMの凍結された埋め込み層と連携してトレーニングされ、第2トップレイヤーの現在の特徴シーケンスに基づいて次の特徴を予測します。EAGLEの理論的な基盤は、時間の経過に伴う特徴ベクトルの圧縮性にあり、トークン生成の迅速化の道筋をつけます。EAGLEの優れたパフォーマンスメトリックには注目です。通常のデコーディングと比較して3倍の速度向上を誇り、Lookaheadの速度を2倍にし、Medusaと比較して1.6倍の加速を実現します。もっとも重要なのは、生成されたテキストの分布の保存を確保しつつ、通常のデコーディングとの一貫性を保つことです。 https://sites.google.com/view/eagle-llm EAGLEの能力は、その加速能力を超えます。標準的なGPUでのトレーニングとテストが可能であり、より広いユーザーベースにアクセスできるようになっています。さまざまな並列技術とのシームレスな統合は、効率的な言語モデルデコーディングのツールキットへの価値ある追加として、その応用性を高めます。 FeatExtrapolatorへの依存度を考慮すると、EAGLEの方法論は軽量ですがパワフルなツールであり、元のLLMの凍結された埋め込み層と協力しています。この協力によって、第2トップレイヤーの現在の特徴シーケンスに基づいて次の特徴を予測することができます。EAGLEの理論的な基盤は、時間の経過に伴う特徴ベクトルの圧縮性に根ざしており、より効率的なトークン生成プロセスを実現します。 https://sites.google.com/view/eagle-llm 従来のデコーディング方法では、各トークンに対して完全な順方向のパスが必要であるのに対し、EAGLEの特徴レベルの外挿はこの課題を克服する革新的な方法を提供します。研究チームの理論的な探求は、テキスト生成を大幅に加速するだけでなく、生成されたテキストの分布の品質と一貫性を維持するために重要な側面も保持しています。 https://sites.google.com/view/eagle-llm 結論として、EAGLEはLLMデコーディングの長年の非効率性に対処するための希望の光として浮かび上がっています。EAGLEの背後にある研究チームは、自己回帰生成の核心問題に巧妙に取り組み、テキスト生成を劇的に加速するだけでなく、配布の一貫性も保持する方法を導入しました。リアルタイム自然言語処理が高い需要を持つ時代において、EAGLEの革新的なアプローチは、先駆者としての地位を確立し、先端の能力と実際の現実世界の応用との間の溝を埋める役割を果たしています。

大規模言語モデル、MirrorBERT — モデルを普遍的な単語ベクトルと文エンコーダーに変換する

「BERTのようなモデルが現代の自然言語処理アプリケーションにおいて基本的な役割を果たしていることは秘密ではありません下流のタスクにおける驚異的なパフォーマンスにもかかわらず、これらのモデルの多くは完璧ではありません...」

「エキスパートのミックスについて解説」

ミクストラル8x7Bのリリース（発表、モデルカード）により、トランスフォーマのクラスがオープンAIコミュニティで最も話題となっています。それがエキスパートの混合（Mixture of Experts、略してMoEs）です。このブログ記事では、MoEsの構成要素、トレーニング方法、および推論時の考慮事項について見ていきます。さあ、深く掘り下げてみましょう！目次ミクストラルとは何ですか？ MoEsの簡潔な歴史スパース性とは何ですか？ MoEsのトークンのロードバランシング MoEsとトランスフォーマスイッチトランスフォーマルータZ損失によるトレーニングの安定化エキスパートは何を学ぶのですか？エキスパートの数をスケーリングすると事前トレーニングにどのような影響を与えるのですか？ MoEsの微調整スパースMoEsと密なモデルの使用時期はいつですか？ MoEsを効果的に活用するためにエキスパート並列処理能力係数と通信コストサービングテクニック効率的なトレーニングオープンソースのMoEs ワークのエキサイティングな方向性いくつかのリソース…

‘LLMがデータアナリストを置き換えることはできるのか？ LLMを活用したアナリストの構築’

私たちの中の誰もが、昨年の少なくとも1度は、ChatGPTがあなたの役割を置き換えることができるか（いや、むしろいつか）と考えたことがあると思います私も例外ではありません私たちは、最近の...

「サポートベクターマシン（SVM）とは何ですか？」

サポートベクターマシン（SVM）は、機械学習の分野で利用される教師あり学習アルゴリズムです。主に分類や回帰などのタスクを実行するために使用されます。このアルゴリズムは、メールがスパムかどうかの判断、手書き文字の認識、写真での顔の検出など、さまざまなタスクを処理できます。データ内の多くの情報や複雑な関係に対応できる非常に適応性のあるアルゴリズムです。 SVMの主な役割は、特徴に基づいて異なるグループの間を最適な線（または面）で分離することです。データが紙の上の点のようなもので、それらを完全に異なるクラスに分けるための単一の直線を引くことができると想像してください。これは、データが完全に線形に分離可能である必要があります。 SVMの種類線形サポートベクターマシンデータが直線を使用して簡単に2つのグループに分割できる場合、線形SVMが最適です。データが紙の上の点のようなもので、1本の直線を引いてそれらをきれいに2つの異なるクラスに分離できる状態であることを想像してください。非線形サポートベクターマシンデータが直線を使用して2つの別々のグループに分類できない場合、非線形SVMを使用します。ここでは、データは線形に分離できません。このような場合には、非線形SVMが救世主となります。データが複雑なパターンに従わずにしばしば乱雑な現実世界では、非線形SVMのカーネルトリックが使用されます。どのように動作するのか？床に散らばった2つのグループ、例えば緑と青の点があると想像してください。SVMの役割は、これらの点をそれぞれのグループに分けるための最適な線（または3次元の世界では面）を見つけ出すことです。今、点を分けるための多くの線があるかもしれませんね？しかし、SVMは特別な線を探します。すなわち、線と最も近い緑の点から線までの距離と線と最も近い青の点から線までの距離が最大となる線です。この距離を「マージン」と呼び、SVMはできるだけ大きくすることを目指します。この線を定義するのに重要な役割を果たす最も近い点を「サポートベクター」と呼びます。SVMは、2つのグループの間のスペースを最大化する最良の線を描くためにこれに焦点を当てます。しかし、もし点がきれいに直線で分離されていない場合はどうでしょうか？もし点があちこちに散らばっている場合はどうでしょうか？そんなときに、SVMは問題を高次元空間に持ち上げるために「カーネルトリック」と呼ばれるものを使用することができます。これにより、より複雑な分割曲線や曲面を引くことが可能になります。用途とアプリケーション 1. スパムメールフィルタリング: スパムと普通のメールが混在するメールボックスがあると想像してください。SVMを使用して、スパムと通常のメールを区別するスマートフィルターを作成できます。使用される単語などのメールの様々な特徴を見て、スパムと非スパムを区別する境界線を描き、メールボックスをきれいに保ちます。 2. 手書き文字認識: コンピュータが異なる人々の手書き文字を認識することを希望する場合、SVMが役立ちます。手書き文字の形や大きさなどの特徴を分析することで、SVMは一人の人の手書き文字を別の人のものと分離する線や曲線を描くことができます。これは郵便サービスでの数字認識などのアプリケーションに役立ちます。 3. 医療診断: 医学の世界では、SVMは疾患の診断に役立ちます。ある特定の状態の患者とその他の一般の患者についてのデータがあるとします。SVMは様々な健康指標を分析し、健康な患者と状態を持つ患者を区別する境界線を作成します。これにより、医師がより正確な診断を行うのに役立ちます。 4. 画像分類:…

「二塔モデルの限界を押し上げる」

「2つのタワーモデルは、現代の推薦システムにおいて最も一般的な建築デザインの選択肢の一つです「関連性を学習するための1つのタワー」と、「浅い2つ目のタワー」があるというキーポイントがあります…」

イリノイ大学の研究者は、コードのための完全なオープンソース大規模言語モデル（LLM）のシリーズであるマジコーダを紹介しました

イリノイ大学アーバナ・シャンペーン校と清華大学の研究者チームは、オープンソースのコードスニペットからの低バイアスと高品質なコーディングチャレンジの生成の課題に取り組むために、Magicoderを導入しました。Magicoderは、Pythonテキストからコードを生成する、多言語のコーディング、データサイエンスプログラムの言語モデルを含むさまざまなコーディングベンチマークで、既存のLLMよりも優れたパフォーマンスを発揮します。 CodeGen、CodeT5、StarCoder、CODELLAMAなどのような主要なベースモデルは、LLMのコード生成と理解の基本的な能力を確立しています。事前学習されたLLMを改善するためには、自己指導とEvol-Instructのような手法を使った指示の調整が提案されており、HumanEval、MBPP、APPS、およびCodeContestsなどの既存のコードベンチマークは、自然言語の説明から単一機能プログラムを開発する際のLLMの評価に利用されます。 Magicoderは、コードのための完全なオープンソースのLLMシリーズであり、OSS-INSTRUCTを使用して75,000件の合成指示データでトレーニングされています。これは、GitHubのシードコードスニペットから多様性と現実世界の関連性を確保しながら、LLMにコーディングの問題と解決策を引き起こすように促します。評価には、HumanEvalとMBPPのようなベンチマークが使用され、pass1メトリックに焦点が当てられます。INSTRUCTORは、埋め込みの類似性に基づいてOSS-INSTRUCT生成データを分類するために使用されます。データのクリーニング技術、含められているのは浄化とプロンプトのフィルタリングなどがあり、堅牢性が向上しています。 Magicoderは、最大でも70億を超える控えめなパラメータサイズで、優れたパフォーマンスを示しています。OSS-INSTRUCTを使用して75,000件の合成指示データをトレーニングしたMagicoderは、Pythonテキストからコードを生成する、多言語のコーディング、データサイエンスプログラムの言語モデリングなど、先進的なコードモデルよりも優れたパフォーマンスを発揮します。拡張版のMagicoderSは、コード生成性能をさらに向上させ、さまざまなベンチマークで同じまたはより大きなサイズの他のモデルを上回ります。MagicoderS-CL-7Bは、コードモデルの中で最先端の結果を同時に達成し、堅牢で優れたコード生成能力を示します。まとめると、この研究では、オープンソースのコードスニペットからコーディングチャレンジを生成するためにLLMを利用する効果的な手法であるOSS-INSTRUCTの有用性が強調されています。OSS-INSTRUCTを使用して訓練されたMagicoderは、大きなパラメータを持つ他のLLMよりもさまざまなコーディングベンチマークで優れたパフォーマンスを発揮します。また、Evol-Instructと組み合わせると、ChatGPTのような先進的なモデルと同様に、HumanEvalベンチマークで印象的なパフォーマンスを発揮するMagicoderSモデルを向上させます。この研究では、将来のLLMに関する研究や、OSS-INSTRUCTを拡大してより高品質なデータを生成するために、モデルの重み、トレーニングデータ、およびソースコードをオープンソース化することを推奨しています。

Amazon AlexaのAI研究者がQUADRoを発表：QAシステムの向上に向けた画期的なリソースで、440,000以上のアノテーション付きの例があります

人工知能（AI）と機械学習（ML）の能力は、あらゆる可能な産業に進出することを成功裏に可能にしました。最近では、大規模言語モデル（LLM）と質問応答システムの導入により、AIコミュニティは大きな進歩を遂げています。事前計算されたデータベースから効率的に応答を取得することは、自動質問応答（QA）システムの開発における一般的なステップです。主なQAパラダイムには、オープンブック型とクローズドブック型の2つがあります。オープンブック型、またはリトリーブアンドリード型は、適切な素材を大量の文書コーパス、頻繁にインターネットから取得する2つの手順を経て、異なるモデルや手法を適用して取得された素材から解決策を取り出す手法です。一方、クローズドブック型は最近の手法であり、外部のコーパスを利用せずにT5などのSeq2Seqモデルを基にしたモデルを訓練することで、結果を生成します。クローズドブック技術は優れた結果を示しているものの、多くの産業アプリケーションに対してリソースが過剰であり、システムのパフォーマンスに重大なリスクをもたらす可能性があります。質問応答型データベース（DBQA）は、パラメータや大規模なコーパスの情報に頼るのではなく、事前生成された質問応答のデータベースから応答を取得する方法です。これらのシステムの主要な部分は、質問と回答のデータベース、データベースのクエリに対する検索モデル、および最適な回答を選ぶランキングモデルです。DBQA技術により、迅速な推論と再学習モデルなしで新しいペアを追加できる能力が可能となり、新しい情報を導入することができます。 DBQA技術の課題の一つは、検索およびランキングモデルの開発における充分なトレーニングデータの不足です。既存のリソースはスコープと内容の面で不足しており、注釈プロセスの品質を向上させる必要があるものや、質問と質問の類似性に焦点を当て、回答を無視するものが多数存在しています。これらの課題に対処するため、研究者チームは質問応答データベースの検索に関するデータセットとモデルであるQUADRoを提案しました。これは訓練と評価のために特別に作成された新しいオープンドメインの注釈リソースです。リポジトリの15,211の入力質問には、各質問に関連する30の質問応答ペアがあります。このコレクションには合計で443,000の注釈付きサンプルが含まれています。入力クエリに対する各ペアの重要性を示すバイナリインジケータがラベル付けされています。研究チームはまた、このリソースの品質と特性をいくつかの重要なQAシステムコンポーネントに関して評価するための徹底した実験も行いました。これらの要素には、トレーニング方法、入力モデルの構成、および回答の関連性が含まれます。実験は、このデータセットで訓練されたモデルの挙動とパフォーマンスを検討することで、関連する応答を取り出すために提案された方法がどれだけうまく機能するかを示しました。まとめると、この研究は、自動品質保証システムにおけるトレーニングとテストデータの不足を解決するために、有用なリソースを導入し、リソースの属性を慎重に評価することで、包括的な理解を支援しています。トレーニング戦略と回答の関連性のような重要な要素に重点を置くことで、評価が補完されます。

Learn more about Search Results T5 - Page 3