Search Results Jam

Note The translation result may vary depending on the context and specific requirements.

心配しないで、私はこのタイトルを選んだわけではなく、データサイエンスが「真の科学ではない」と嘆くためではありません（それが何を意味するのか、というのは別として）むしろ、データであることの意味について、いくつかの異なる視点を提供することを望んでいます...

「小規模言語モデルにおける意図の調整の解除：Zephyr-7Bの突破を目指した、蒸留された教師あり微調整とAIフィードバックの包括的ガイド」

ZEPHYR-7Bは、AIフィードバック（AIF）データを使用した蒸留直接好み最適化（dDPO）を通じてユーザーの意図整合性に最適化された、小型の言語モデルです。この手法は、人間の注釈なしで意図の整列を効果的に向上させ、7Bパラメータモデルのトップパフォーマンスを実現します。この手法はAIFからの好みデータに依存し、トレーニング時間を最小限に抑え、ファインチューニング中の追加サンプリングは必要ありません。これにより、新たな最先端を樹立しています。研究者は、ChatGPTなどのLLMの普及と、その派生モデルであるLLaMA、MPT、RedPajama-INCITE、Falcon、Llama 2に取り組んでいます。ファインチューニング、コンテキスト、検索補完生成、および量子化の進歩が強調されています。より小さいモデルのパフォーマンスを向上させるための蒸留技術、モデル評価のツールとベンチマークも議論されています。この研究では、ZEPHYR-7BのパフォーマンスをMTBench、AlpacaEval、HuggingFace Open LLM Leaderboardで評価しています。この研究では、精度とユーザーの意図の整列を向上させるために、蒸留教師付きファインチューニング（dSFT）を使用した、より小型のオープンLLMの強化方法について検討しています。それは、人間の注釈なしでLLMを整列させるためにdDPOを導入し、教師モデルからのAIFに頼っています。研究者は、dSFT、AIFデータ、およびdDPOを介したMistral-7Bの整列版であるZEPHYR-7Bを紹介し、人間のフィードバックに整列した70Bパラメーターのチャットモデルと同等のパフォーマンスを示しています。この研究は、LLM開発における意図の整列の重要性を強調しています。この手法では、モデルを高品質のデータでトレーニングするためにdSFTを組み合わせ、応答の好みを最適化するためにdDPOを利用して言語モデルを強化する方法が提案されています。教師モデルからのAIFを使用してユーザーの意図との整列性を改善します。このプロセスでは反復的なセルフプロンプティングを使用してトレーニングデータセットを生成します。その結果得られたZEPHYR-7Bモデルは、dSFT、AIFデータ、およびdDPOを介して達成され、改善された意図の整列性を持つ最先端のチャットモデルを表しています。 7BパラメータモデルであるZEPHYR-7Bは、オープンアクセスのRLHFベースモデルであるLLAMA2-CHAT-70Bを超えて、チャットのベンチマークで新たな最先端を確立しています。AlpacaEvalではGPT-3.5-TURBOとCLAUDE 2と競り合っていますが、数学やコーディングのタスクでは遅れています。7Bモデルの中で、dDPOモデルは優れており、dSFTとXwin-LM dPPOを上回っています。ただし、より大きなモデルは知識集約型のタスクでZEPHYRを上回っています。Open LLM Leaderboardでの評価では、ZEPHYRの多クラス分類タスクにおける強さが示され、ファインチューニング後の思考力と真実性の能力が確認されています。 ZEPHYR-7Bは、意図の整列性を高めるために直接好み最適化を採用しています。この研究は、評価者としてGPT-4を使用する際の潜在的なバイアスを強調し、ユーザーの意図との整列性に対するより小さいオープンモデルの能力を探求することを推奨しています。有害な出力や違法な助言などの安全性に関する考慮事項の欠落について指摘し、この重要な領域における今後の研究の必要性を示しています。この研究では、将来の研究のいくつかの展望が明らかにされています。有害な出力や違法なアドバイスに対する安全性の考慮事項は、まだ探求されていません。より大きな教師モデルが学生モデルのパフォーマンス向上にどのような影響を与えるかを調査することが提案されています。蒸留における合成データの使用は困難ですが、価値ある研究領域として認識されています。ユーザーの意図に合わせるためのより小さいオープンモデルとその能力のさらなる探求は、可能な進歩を目指しており、広範なベンチマークとタスクでZEPHYR-7Bの能力を包括的に評価することが推奨されています。

Rにおけるトップ10のエラーとそれらを修正する方法

「Rを初めたばかりの場合、コードによくエラーが発生し、実行ができないことがよくあります私もRの使用を始めた頃は、コードのエラーが頻繁に起こり、このプログラミング言語の学習を諦めそうになったことを覚えています私はさらに、...」

私の個人的なコパイロット：自分自身のコーディングアシスタントをトレーニングする

プログラミングとソフトウェア開発の常に進化する風景において、効率と生産性の追求は非凡なイノベーションにつながってきました。そのようなイノベーションの一つが、Codex、StarCoder、そしてCode Llamaといったコード生成モデルの登場です。これらのモデルは、人間のようなコードの断片を生成する能力を示し、コーディングアシスタントとしての無限の潜在能力を持っています。しかし、これらの事前学習済みモデルは、さまざまなタスクにおいて印象的なパフォーマンスを発揮する一方で、まだまだ未来に待ち受けている魅力的な可能性も存在します。それは、特定のニーズに合わせてコード生成モデルをカスタマイズできる能力です。エンタープライズスケールで活用できる個人別のコーディングアシスタントを想像してみてください。このブログ投稿では、私たちがどのようにHugCoder 🤗を作成したかを紹介します。HugCoderは、huggingface GitHubの公開リポジトリからのコード内容に対して、コードLLMでファインチューニングを行ったものです。データの収集ワークフローやトレーニング実験、興味深い結果についても話します。これにより、プロプライエタリなコードベースに基づいた独自のパートナーを作成することができます。さらなるこのプロジェクトの拡張のアイデアもいくつかご提案します。では、始めましょう 🚀 データ収集のワークフロー私たちが望むデータセットは、概念的にはシンプルで、次のような構造になっています。 Githubからのコード内容のスクレイピングは、PythonのGitHub APIを用いれば簡単です。ただし、リポジトリの数やリポジトリ内のコードファイルの数に応じて、APIのレート制限に達する可能性があります。そのような問題を防ぐために、私たちは公開リポジトリをすべてローカルにクローンし、APIではなくそれらからコンテンツを抽出することにしました。ダウンロードスクリプトでは、Pythonのmultiprocessingモジュールを使用して、すべてのリポジトリを並列にダウンロードしました。詳細な実装については、このダウンロードスクリプトを参照してください。リポジトリにはしばしば画像やプレゼンテーションなどの非コードファイルが含まれていますが、私たちはそれらをスクレイピングすることには興味がありません。これらを除外するために、拡張子のリストを作成しました。Jupyter Notebook以外のコードファイルを解析するために、私たちは単純に「utf-8」エンコーディングを使用しました。ノートブックの場合は、コードセルのみを考慮しました。また、コードと直接関係のないファイルパスはすべて除外しました。これには、.git、__pycache__、およびxcodeprojなどが含まれます。このコンテンツのシリアライズを比較的メモリにやさしいものにするために、私たちはチャンキングとfeather形式を使用しました。フルの実装については、こちらのスクリプトを参照してください。最終的なデータセットは、Hubで利用可能であり、以下のような見た目をしています：このブログでは、stargazersに基づいて、Hugging Faceの最も人気のある10つのパブリックリポジトリを考慮しました。それらは次のとおりです： [‘transformers’, ‘pytorch-image-models’, ‘datasets’, ‘diffusers’,…

「2023年のACM-IEEE CSジョージ・マイケル記念HPCフェローシップの受賞者が発表されました」

「ACMとIEEEは、2023年のACM-IEEE CSジョージ・マイケル記念HPCフェローシップの受賞者を発表しました」

生成AI 最初のドラフト、最終的なものではない

この記事は、LLLの仕組みとそれに伴う制約を、分かりやすい説明や逸話を交えながら概説していますまた、人々がLLLを自分のワークフローに導入する方法についてもアドバイスを提案しています

Artificial Intelligence

「サンゴ礁の衰退を転換する：CUREEロボットが深海にディープラーニングでダイブする」

研究者たちは、深層学習を文字通りに深く掘り下げています。ウッズホール海洋研究所（WHOI）の自律型ロボットおよび知覚ラボ（WARPLab）とMITは、珊瑚礁とその生態系の研究のためのロボットを開発しています。世界最大の民間海洋研究機関の努力であるWARPLabの自律型水中無人機（AUV）は、NVIDIA Jetson Orin NXモジュールによって可能にされ、珊瑚礁の衰退に歯止めをかけることを目指しています。世界中の珊瑚礁の25%が過去30年間で消滅し、残りのほとんどの珊瑚礁も絶滅の危機に直面していると、WHOI Reef Solutions Initiativeは述べています。 AUV（興味津々の海中エコシステム探査用水中ロボット）と名付けられたCUREEは、ダイバーと一緒にビジュアル、音声、および他の環境データを収集し、珊瑚礁とその周りの海洋生物への人間の影響を理解するのに役立ちます。このロボットは、珊瑚礁の3Dモデルを構築し、生物や植物を追跡するためにNVIDIA Jetson対応のエッジAIの拡張コレクションを実行します。また、自律的にナビゲートし、データを収集するモデルも実行します。 1986年にはじめてタイタニックを探査したWHOIは、CUREEロボットをデータ収集のために開発し、対策に協力します。この海洋研究機関は、シミュレーションおよびデジタルツインの使用も検討しており、3Dツールとアプリケーションを構築および接続する開発プラットフォームであるNVIDIA Omniverseなどの解決策を調査しています。 NVIDIAはOmniverseで地球のデジタルツインを作成し、気候変動を予測するための世界で最もパワフルなAIスーパーコンピュータを開発しています。それはEarth-2と呼ばれています。水中AI：DeepSeeColorモデルシュノーケリングをしたことのある人なら、水中の視界は陸上と比べて明確ではないことを知っています。水中では、太陽からの可視光スペクトルが距離によって減衰し、一部の色が他の色よりも抑制されます。同時に、水中の微粒子によって、バックスキャッタと呼ばれる朦朧とした視界が生じます。 WARPLabのチームは最近、これらの問題を軽減し、CUREEの作業をサポートする海中ビジョン補正に関する研究論文を発表しました。この論文では、DeepSeeColorと呼ばれるモデルを使用して、2つの畳み込みニューラルネットワークのシーケンスを実行し、水中でリアルタイムにバックスキャッタを低減し、色を補正します（NVIDIA Jetson Orin NX上で）。「NVIDIAのGPUは、大部分のパイプラインで使用されています。画像が入ってくると、DeepSeeColorを使用して色補正を行い、魚の検出を行い、それを船上の科学者に送信できます」と、MITのロボティクス博士候補であり、WARPLabのAI開発者であるスチュワート・ジェミーソン氏は述べています。目と耳：魚と珊瑚の検出 CUREEには、前方を向いたカメラ4台、水中音声キャプチャのための水中マイク4台、深度センサー、慣性計測ユニットセンサーが搭載されています。水中でのGPSは機能しないため、水上にある間にロボットの開始位置を初期化するためにのみ使用されます。…

「ドラッグ＆ドロップ、分析：ノーコードデータサイエンスの台頭」

データサイエンスにおけるノーコードまたはローコードの機能は、近年大きな注目を集めていますこれらのソリューションは十分に実証され、成熟しており、データサイエンスをより幅広い人々にアクセス可能にしています

Data science

正しい選択をすること：AIのアドバイス、決定支援、およびLLMsの約束

「AIの民主化が多様な領域でAIシステムの採用をもたらしています大規模な言語モデル（LLM）の事前学習済みなど、最近の生成モデルの流れにより、それらの採用が進んでいます…」

LoftQをご紹介します：大規模言語モデルのためのLoRA（Fine-Tuning-Aware Quantization）

プリトレーニングされた言語モデル(PLM)の導入は、自然言語処理の分野において画期的な変革を示しています。プリトレーニングされたモデルは、自然言語理解(NLU)や自然言語生成(NLG)を含む幅広い言語タスクにおいて卓越した能力を示しています。これらのモデルは通常、数百万または数十億のパラメータを組み込んでおり、計算およびメモリの要件が大きくなっています。ただし、これらのモデルの計算およびメモリのニーズは、研究コミュニティに認識されているように、重要な課題を提起しています。この論文で、著者たちは新しい量子化フレームワークであるLoRA-Fine-Tuning-aware Quantization (LoftQ)を紹介しています。このフレームワークは、量子化とLoRA微調整を必要とするプリトレーニングモデルに特化しています。このフレームワークは、元々の高精度のプリトレーニングウェイトを低ランク近似と組み合わせて近似的に表現することにより、効果的に機能します。上記の画像は、QLoRAの異なるビットでのパフォーマンスを示しています。左：WikiText-2上のLLAMA-2-13bのQLoRA初期化。右：WikiText-2の言語モデリングタスクにおいてLLAMA-2-13bにQLoRAを適用。より小さい困惑度はより優れたパフォーマンスを示します。量子化手法。LoftQがさまざまな量子化関数と互換性があることを示すために、2つの量子化手法を適用します：・一様量子化は、古典的な量子化手法です。連続区間を均等に2N個に分割し、復元のために局所的な最大絶対値を格納します。・QLoRAで使用されるNF4とその2ビットバリアントNF2は、高精度の値がガウス分布に従っていると仮定し、これらの値を等しい確率を持つ離散スロットにマッピングします。私たちは全モデルに2ビットおよび4ビットの量子化を行い、4ビットおよび2ビットレベルでそれぞれ25〜30%、15〜20%の圧縮率を達成しました。すべての実験はNVIDIA A100 GPUで実施されました。彼らの量子化フレームワークの評価は、NLU、質問応答、要約、NLGを含むさまざまな下位タスクでの包括的な実験を通じて行われます。これらの実験の結果は、LoftQがすべての精度レベルにおいて常にQLoRAを上回っていることを示しています。たとえば、4ビット量子化では、XSumおよびCNN/DailyMailのRouge-1の改善がそれぞれ1.1と0.8であります。自然言語処理の分野が進歩し続けるにつれ、PLMの膨大な潜在能力とその実用的な展開との間のギャップを埋めるため、さらなる革新と最適化が期待されており、幅広いアプリケーションとユーザーに利益をもたらすでしょう。

Learn more about Search Results Jam - Page 4