Search Results RLHF

『倫理と社会ニュースレター＃5：ハグフェイスがワシントンに行くと、他の2023年夏の考え事』

人工知能（AI）における「倫理」について知っておくべき最も重要なことの一つは、それが「価値観」に関連しているということです。倫理は何が正しくて何が間違っているかを教えてくれるのではなく、透明性、安全性、公正などの価値観の語彙と優先順位を定めるための枠組みを提供します。今年の夏、私たちはAIの価値観についての理解を欧州連合、イギリス、アメリカの立法府に伝え、AIの規制の未来を形作るのに役立ちました。ここで倫理が光を放つのです：法律がまだ整っていないときに前進するための道筋を切り開くのに役立つのです。 Hugging Faceの主要な価値であるオープンさと責任を守るために、私たちはここで私たちが言ったことや行ったことのコレクションを共有しています。これには、私たちのCEOであるクレムが米国議会に対する証言や米国上院AI Insight Forumでの発言、E.U. AI Actに関するアドバイス、NTIAに対するAIの責任に関するコメント、そして私たちのChief Ethics Scientistであるメグの民主党議員団に対するコメントなどが含まれています。これらの議論の多くで共通していたのは、なぜAIのオープンさが有益であるのかという質問でした。私たちはこの質問に対する私たちの回答のコレクションをこちらで共有しています。 Hugging Faceのコア価値である民主化に則り、私たちは多くの時間を公に話すことに費やしてきました。そしてAIの世界で今起こっていることを説明するためにジャーナリストと対話する機会を与えられています。これには以下のものが含まれます：サーシャのAIのエネルギー使用と炭素排出に関するコメント（The Atlantic、The Guardian、2回、New Scientist、The Weather Network、The Wall Street Journal、2回）およびWall Street Journal op-edの一部の執筆；AIの終末論的なリスクに対する考え（Bloomberg、The Times、Futurism、Sky…

「LLMアライメントの活用：AIをより利用しやすくする」

エディターの注記 Sinan Ozdemirは、10月30日から11月2日までODSC Westのスピーカーとして登壇します彼の講演「フィードバックからの強化学習を用いたオープンソースLLMsの整合化」をぜひチェックしてください！2020年、世界はOpenAIのGPT-3という驚異的なAIに出会いました...

West 2023

「金融分野における生成型AI：FinGPT、BloombergGPT そしてその先へ」

「Generative AI」とは、入力データに似た新しいデータサンプルを生成できるモデルのことを指します「ChatGPT」の成功により、企業が独自の大規模言語モデルを設計するための機会が多く生まれ、様々な業界で革新的なアイデアが生まれていますデータによって推進される金融セクターは、今や以前よりもデータ集約的です私はデータサイエンティストとして働いています[…]

「ウィキペディアの知識を持つエージェントを備えたLLaMa 2を作成する」

大規模言語モデル（LLMs）は、AIの最新トレンドの一つですこれらは、人間との会話を行う能力を含む、印象的なテキスト生成能力を示しています...

「時間差学習と探索の重要性：図解ガイド」

最近、強化学習（RL）アルゴリズムは、タンパク質の折りたたみやドローンレースの超人レベルの到達、さらには統合などの研究課題を解決することで、注目を集めています

「自分の武器を選ぶ：うつ病AIコンサルタントの生存戦略」

最新のターミネーターの映画が最近公開されましたこの新しいエピソードでは、未来の人間の抵抗組織がロボットを過去に送り、OpenAIのサーバーファームを破壊し、それによって…の出現を防ぎます

大規模言語モデルの応用の最先端テクニック

イントロダクション大規模言語モデル（LLM）は、人工知能の絶えず進化する風景において、注目すべきイノベーションの柱です。GPT-3のようなこれらのモデルは、印象的な自然言語処理およびコンテンツ生成の能力を示しています。しかし、それらのフルポテンシャルを活かすには、その複雑な仕組みを理解し、ファインチューニングなどの効果的な技術を用いてパフォーマンスを最適化する必要があります。私はLLMの研究の奥深さに踏み込むことが好きなデータサイエンティストとして、これらのモデルが輝くためのトリックや戦略を解明するための旅に出ました。この記事では、LLMのための高品質データの作成、効果的なモデルの構築、および現実世界のアプリケーションでの効果を最大化するためのいくつかの重要な側面を紹介します。学習目標：基礎モデルから専門エージェントまでのLLMの使用における段階的なアプローチを理解する。安全性、強化学習、およびデータベースとのLLMの接続について学ぶ。「LIMA」、「Distil」、および質問応答技術による一貫した応答の探求。「phi-1」などのモデルを用いた高度なファインチューニングの理解とその利点。スケーリング則、バイアス低減、およびモデルの傾向に対処する方法について学ぶ。効果的なLLMの構築：アプローチと技術 LLMの領域に没入する際には、その適用の段階を認識することが重要です。これらの段階は、私にとって知識のピラミッドを形成し、各層が前の層に基づいて構築されています。基礎モデルは基盤です。それは次の単語を予測することに優れたモデルであり、スマートフォンの予測キーボードと同様です。魔法は、その基礎モデルをタスクに関連するデータを用いてファインチューニングすることで起こります。ここでチャットモデルが登場します。チャットの会話や教示的な例でモデルをトレーニングすることで、チャットボットのような振る舞いを示すように誘導することができます。これは、さまざまなアプリケーションにおける強力なツールです。インターネットはかなり乱暴な場所であるため、安全性は非常に重要です。次のステップは、人間のフィードバックからの強化学習（RLHF）です。この段階では、モデルの振る舞いを人間の価値観に合わせ、不適切な応答や不正確な応答を防止します。ピラミッドをさらに上に進むと、アプリケーション層に達します。ここでは、LLMがデータベースと接続して、有益な情報を提供し、質問に答えたり、コード生成やテキスト要約などのタスクを実行したりすることができます。最後に、ピラミッドの頂点は、独自にタスクを実行できるエージェントの作成に関わります。これらのエージェントは、ファイナンスや医学などの特定のドメインで優れた性能を発揮する特殊なLLMと考えることができます。データ品質の向上とファインチューニングデータ品質はLLMの効果において重要な役割を果たします。データを持つことだけでなく、正しいデータを持つことが重要です。たとえば、「LIMA」のアプローチでは、注意深く選ばれた小さなセットの例が大きなモデルよりも優れることが示されています。したがって、焦点は量から品質へと移ります。「Distil」テクニックは、別の興味深いアプローチを提供しています。ファインチューニング中に回答に根拠を加えることで、モデルに「何」を教えるかと「なぜ」を教えることができます。これにより、より堅牢で一貫性のある応答が得られることがしばしばあります。 Metaの創造的なアプローチである回答から質問のペアを作成する手法も注目に値します。既存のソリューションに基づいて質問を形成するためにLLMを活用することで、より多様で効果的なトレーニングデータセットが作成できます。 LLMを使用したPDFからの質問ペアの作成特に魅力的な手法の1つは、回答から質問を生成することです。これは一見矛盾する概念ですが、知識の逆破壊とも言える手法です。テキストがあり、それから質問を抽出したいと想像してみてください。これがLLMの得意分野です。たとえば、LLM Data Studioのようなツールを使用すると、PDFをアップロードすると、ツールが内容に基づいて関連する質問を出力します。このような手法を用いることで、特定のタスクを実行するために必要な知識を持ったLLMを効率的に作成することができます。…

「LLM Fine-Tuningの理解：大規模言語モデルを独自の要件に合わせる方法」

「Llama 2のような大規模言語モデル（LLM）の微調整技術の最新の進展を探索してくださいLow-Rank Adaptation（LoRA）やQuantized LoRA（QLoRA）などの技術が、新しい利用におけるモデルの適応を革新している方法を学びましょう最後に、人間のフィードバックからの強化学習による微調整が、LLMをより人間の価値観に近づける方法にどのように影響しているかを見てみましょう」

このAIニュースレターは、あなたが必要とするすべてです＃65

今週のAIでは、AI規制に関する進展がありましたエロン・マスクやマーク・ザッカーバーグなどのテックリーダーが60人以上の上院議員とAIについて話し合いましたが、彼らは皆同意しました-

大規模言語モデルは安全性を自己評価できるのか？RAINに会ってください：ファインチューニングなしでAIのアライメントと防御を変革する革新的な推論方法

事前学習済み大規模言語モデル（LLM）であるGPT-3などは、人間の質問に対する理解力や返答能力に非凡な才能を持っており、コーディングの手伝いなどにも役立っています。しかし、彼らはしばしば人々が好む結果とは異なる結果を生成します。過去に、研究者たちは人間の好みに関する情報を収集し、強化学習や指示調整を用いて以前に訓練されたモデルを整列させることで、この問題を解決しようと試みてきました。これには微調整段階が必要です。追加のデータは必要ありませんが、追加のトレーニングを受けていない凍結されたLLMを整列させる方が魅力的です。最近、研究チームは、整列していないLLMが自己評価および巻き戻し機構を含む自己改善プロセスによって直接人間の好みに合った返答を生成できることを発見しました。AIの安全性を考慮して、彼らはRewindable Auto-regressive INference（RAIN）を導入しました。これは、事前学習済みLLMが自身が生成したテキストを評価し、評価結果を逆巻き戻しと前方生成に利用する独自の推論技術です。 RAINは、モデルの整列に追加のデータを必要としません。パラメータの更新、勾配の計算、トレーニングは必要ありません。固定テンプレートのプロンプトを介して自己評価フェーズでどの人間の好みに整列するかの指示をモデルが受け取りますので、初期クエリを繰り返し調整する必要はありません。 GPT-4モデルと人間の評価者によって評価された実験結果は、RAINの成功を示しています。たとえば、HHデータセットを使用すると、RAINはLLaMA 30Bの無害率をバニラ推論と比較して82%から97%に劇的に向上させながら、有用性率を一定に保ちます。チームはRAINがLLM-ATTACKSに対する攻撃の成功率を94%から19%に下げることで、防御の新たな基準を確立したと共有しています。 RAINは、現在使用されている大規模言語モデル（LLM）の整列方法に比べていくつかの利点を提供します：普遍性：RAINのアプローチは柔軟で、さまざまな言語生成の仕事に使用することができます。これは多くのLLMにとって標準的な自己回帰推論パラダイムに完全に適合しています。これにより、RAINは高度にカスタマイズ可能で使いやすく、ほとんどの現行のLLMに迅速に統合することができます。凍結された重みとの整列：RAINはRLHFなどの他の整列戦略とは異なり、追加のモデルの維持や勾配データおよび計算ネットワークの保存は必要ありません。これによって生じる最小のメモリオーバーヘッドは、単純な自己回帰推論と同等です。RAINは、シンプルな実装とメモリ効率の良い設計のため、凍結された重みを持つLLMを整列させるための現実的な選択肢です。これにより、リソースを消費する微調整手順が除外されます。学習不要：RAINは、ラベル付きまたは未ラベル化のデータや人間の注釈に頼る必要はありません。学習不要の方法で動作するため、多くの情報やトレーニングは必要ありません。RAINは、さまざまなタスクで整列性能を大幅に向上させ、LLMを敵対的なプロンプト攻撃に対してより耐性のあるものにします。よく知られた敵対的な攻撃手法に対して評価された場合、RAINは攻撃の成功率を大幅に低下させるため、その防御能力を示しています。まとめると、この研究では、追加情報や手間のかかる微調整の必要なく、LLMを人間の好みに合わせて調整するためのRAINという技術が導入されました。これは、LLMが自己の出力を評価し改善できるようにすることによって達成されます。結果として、より調和のとれた安全なAI生成の応答が生まれます。

Learn more about Search Results RLHF - Page 8