Search Results LeetCode

「新しいAI研究が、PanGu-Coder2モデルとRRTFフレームワークを提案し、コード生成のための事前学習済み大規模言語モデルを効果的に向上させる」というものです

大規模言語モデル（LLM）は、最近の数ヶ月で非常に注目を集めています。これらのモデルは、関連する質問に答えることや、正確なコンテンツの生成、言語の翻訳、長いテキスト段落の要約、コードサンプルの補完など、人間を模倣することによって、多様なタスクを遂行します。LLMは急速に開発が進んでおり、優れたパフォーマンスを示す強力なモデルの定期的なリリースが行われています。研究者たちは、教師あり微調整、教示調整、強化学習など、事前学習済みのコードLLMの能力を向上させるために、さまざまな技術を調査しています。最近の研究では、華為雲科技有限公司、中国科学院、北京大学の研究者チームが、コード生成のための事前学習済みの大規模言語モデルを効果的に向上させるための独自のフレームワークであるRRTF（Rank Responses to align Test&Teacher Feedback）を紹介しました。RRTFフレームワークは、Code LLMのパフォーマンスを向上させることを目的として開発されました。このフレームワークは、絶対的な報酬値ではなく、自然言語LLMの整列技術とフィードバックの評価を利用しています。人間のフィードバックからの強化学習アプローチは、InstructGPTやChatGPTなどのモデルに対して、絶対的な報酬値ではなくランキングされた応答をフィードバックとして使用することで、よりシンプルかつ効果的なトレーニングアプローチを提供します。このノベルアプローチは、自然言語LLMの整列技術をCode LLMに適用するものであり、その結果として、チームはOpenAI HumanEvalベンチマークのトップ1位で驚異的な62.20%の合格率を達成したPanGu-Coder2モデルも導入しました。チームはStarCoder 15Bでこのアプローチを使用し、PanGu-Coderを上回り、すべての文書化されたCode LLMの中で最高のパフォーマンスを達成し、RRTFの有用性を証明しました。HumanEval、CoderEval、LeetCodeの3つのベンチマークの包括的な分析は、Code LLMが同等またはそれ以上のサイズの自然言語モデルを超えてコード生成のタスクで優れたパフォーマンスを発揮する可能性があることを示しています。この研究では、モデルが命令に従いコードを書く能力を向上させるために、高品質なデータの価値も強調されています。チームは以下の貢献をまとめています：モデルに中立的で、簡単で、データ効率の良いアプローチであるRRTF最適化パラダイムを導入しました。 PanGu-Coder2モデルも導入されました。PanGu-Coder2は元のモデルに比べて約30%改善されています。HumanEval、CoderEval、LeetCodeなどのベンチマークにおいても、この大幅な速度向上が示されています。 PanGu-Coder2は、コード生成の面で以前にリリースされたCode LLMすべてを凌駕し、新たな最先端の成果を達成しています。チームは、コード生成のための良質なトレーニングデータの構築に関するアイデアと実践的な知識について議論しています。 PanGu-Coder2モデルはRRTFフレームワークを使用してトレーニングされており、チームはこのプロセスに関する有益な洞察を提供しています。コード生成の効率を向上させるだけでなく、PanGu-Coder2が迅速な推論を保証するために使用する最適化手法も提案されています。効率的な推論は実世界のアプリケーションにおいて重要であるため、この分野の研究結果は現実的な展開シナリオの構築に役立ちます。

「GPT-4の能力と限界を探索する」

「GPT-4の公開：データサイエンスへの影響を解読し、その強みと限界を探る」

Artificial Intelligence

私の物理学の博士号へのオード

「1年前、私は博士論文を守りました部屋は通りすがりの人々がのぞき込めるように壁一面に窓があるため、俗に「ガラス張りの部屋」と呼ばれていましたそれは金曜日の午後4時でした...」

大規模なネアデデュープリケーション：BigCodeの背後に

対象読者大規模な文書レベルの近似除去に興味があり、ハッシュ、グラフ、テキスト処理のいくつかの理解を持つ人々。動機モデルにデータを供給する前にデータをきちんと扱うことは重要です。古い格言にあるように、ゴミを入れればゴミが出てきます。データ品質があまり重要ではないという幻想を作り出す見出しをつかんでいるモデル（またはAPIと言うべきか）が増えるにつれて、それがますます難しくなっています。 BigScienceとBigCodeの両方で直面する問題の1つは、ベンチマークの汚染を含む重複です。多くの重複がある場合、モデルはトレーニングデータをそのまま出力する傾向があることが示されています[1]（ただし、他のドメインではそれほど明確ではありません[2]）。また、重複はモデルをプライバシー攻撃に対しても脆弱にする要因となります[1]。さらに、重複除去の典型的な利点には以下があります：効率的なトレーニング：トレーニングステップを少なくして、同じかそれ以上のパフォーマンスを達成できます[3][4]。データ漏洩とベンチマークの汚染を防ぐ：ゼロでない重複は評価を信用できなくし、改善という主張が偽りになる可能性があります。アクセシビリティ：私たちのほとんどは、何千ギガバイトものテキストを繰り返しダウンロードまたは転送する余裕がありません。固定サイズのデータセットに対して、重複除去は研究、転送、共同作業を容易にします。 BigScienceからBigCodeへ近似除去のクエストに参加した経緯、結果の進展、そして途中で得た教訓について最初に共有させてください。すべてはBigScienceがすでに数ヶ月前に始まっていたLinkedIn上の会話から始まりました。Huu Nguyenは、私のGitHubの個人プロジェクトに気付き、BigScienceのための重複除去に取り組むことに興味があるかどうか私に声をかけました。もちろん、私の答えは「はい」となりましたが、データの膨大さから単独でどれだけの努力が必要になるかは全く無知でした。それは楽しくも挑戦的な経験でした。その大規模なデータの研究経験はほとんどなく、みんながまだ信じていたにもかかわらず、何千ドルものクラウドコンピュート予算を任せられるという意味で挑戦的でした。はい、数回マシンをオフにしたかどうかを確認するために寝床から起きなければならなかったのです。その結果、試行錯誤を通じて仕事を学びましたが、それによってBigScienceがなければ絶対に得られなかった新しい視点が開かれました。さらに、1年後、私は学んだことをBigCodeに戻して、さらに大きなデータセットで作業をしています。英語向けにトレーニングされたLLMに加えて、重複除去がコードモデルの改善につながることも確認しました[4]。さらに、はるかに小さなデータセットを使用しています。そして今、私は学んだことを、親愛なる読者の皆さんと共有し、重複除去の視点を通じてBigCodeの裏側で何が起こっているかを感じていただければと思います。興味がある場合、BigScienceで始めた重複除去の比較の最新バージョンをここで紹介します：これはBigCodeのために作成したコードデータセット用のものです。データセット名が利用できない場合はモデル名が使用されます。 MinHash + LSHパラメータ（ P , T , K…

キルギスタンからキングスクロスまで：コードを作り上げるスターベーカー

私の一日はさまざまですそれは本当にプロジェクトのどのフェーズにいるかによりますたとえば、製品に機能を追加したいとします私の仕事は、最適な解決策を設計したり、チームと協力して最適な解決策を見つけたりすることから、新しい機能を本番環境に展開したり、メンテナンスを行ったりすることまで様々です途中で、変更内容を利害関係者に伝えたり、ドキュメントを作成したり、コードを書いたり、ソリューションをテストしたり、分析ダッシュボードを作成したり、古いコードを整理したり、バグを修正したりします

Life at DeepMind

自分の脳の季節性を活用した、1年間のデータサイエンスの自己学習プランの作成方法

ソーシャルメディアでは、最近自分自身でデータサイエンスを学んだ人々が3ヶ月でデータサイエンスを習得し、成功したという話ばかりがあふれているため、自分でデータサイエンスを学ぶことは到底不可能に思えるかもしれません

Learn more about Search Results LeetCode - Page 2