Search Results コーパス

AI2とワシントン大学の研究者が、LLMsの表面的な性質を明らかにし、チューニングフリーの新しい方法であるURIALを紹介した

ラージランゲージモデル（LLMs）は、人工知能（AI）やディープラーニングの分野での最近の革新です。GPT、PaLM、LLaMaなどのよく知られたLLMは、コンテンツの生成において非常に高いポテンシャルを示しています。質問応答やテキスト要約から言語翻訳やコード補完まで、これらのモデルは多くのことができます。ChatGPTを含むこれらのモデルは、広範な非監督テキストコーパスでの事前トレーニングを経ています。しかし、最近の研究は、従来のファインチューニングの採用方法が以前に考えられていたほど重要ではない可能性があると示唆しています。オープンドメインのAIアシスタントとしての基本LLMの改善プロセスであるアライメントチューニングは業界標準と認められています。これには、人間のフィードバックからの強化学習（RLHF）や監視付きファインチューニング（SFT）が含まれます。この標準は、LIMAという研究によって問われ、SFTのためのわずか1,000のサンプルでも意味のあるアライメントパフォーマンスを達成することができると示されました。 LIMAが提案したスーパーフィシャルアライメント仮説では、基本LLMの振る舞いを根本的に変えるのではなく、特定のデータ形式を選択するようにトレーニングすることで、アライメントチューニングが行われる可能性があります。これにより、わずかな例でも高品質なアライメントモデルが監視付きファインチューニングによって生成されることが示されました。スーパーフィシャルアライメント理論に確かな支持を見つけるための研究が不十分であるため、Allen Institute for Artificial Intelligenceおよびワシントン大学の研究チームは、最近の論文でアライメントチューニングの広く使用されている技術に取り組み、基本LLMを有用なオープンドメインのAIアシスタントにする方法を提案しています。選好チューニングは人間のフィードバックからの強化学習によって実現され、指導学習は監視付きファインチューニングによって実現されています。チームは、基本LLMとそのアライメントされたバージョン（例：Llama-2およびLlama-2-chat）のトークン分布の変化を調査し、アライメント調整の影響を研究しました。彼らは、基本LLMとそのアライメントされたバージョンが上位ランクされたトークンを共有し、ほとんどのトークン位置でデコーディングにおいてほぼ同じパフォーマンスを発揮することを発見しました。ディスコースマーカーやセーフティディスクレイマーなどのスタイルトークンは、最も分布の変動を経験しています。この研究は、アライメント調整が主にAIアシスタントの言語スタイルを同化することに焦点を当てており、基本LLMがユーザーの問い合わせに応えるために必要な情報を提供しているという仮説の説得力のある証拠を提供しています。チームはまた、SFTやRLHFなしで基本LLMをどの程度アラインできるかという研究トピックを提示しました。彼らは、URIAL（調整を必要としないLLMとコンテキスト内アライメント）というアライメント技術を提案しました。わずか3つの連続スタイルの例とシステムのプロンプトだけで、URIALは基本LLMとのコンテキスト内学習（ICL）のみを通じて効果的なアラインメントを達成します。チームは、Mistral-7b-Instruct（SFTで調整されたLLM）やSFT+RLHF（Llama-2-70b-chat）でアラインされたLLMsと同等またはそれ以上のパフォーマンスを提供するURIALを持つ基本LLMの詳細で理解しやすい分析を提供する、just-eval-instructと呼ばれる一連のインスタンスで、チューニングフリーおよびチューニングベースのアライメント戦略のギャップを劇的に縮小することが示されました。結論として、評価結果は浅いアライメントチューニングを強調し、基本LLMの言語スタイルの導入と既存の知識に委ねられることを示しています。

Amazon AlexaのAI研究者がQUADRoを発表：QAシステムの向上に向けた画期的なリソースで、440,000以上のアノテーション付きの例があります

人工知能（AI）と機械学習（ML）の能力は、あらゆる可能な産業に進出することを成功裏に可能にしました。最近では、大規模言語モデル（LLM）と質問応答システムの導入により、AIコミュニティは大きな進歩を遂げています。事前計算されたデータベースから効率的に応答を取得することは、自動質問応答（QA）システムの開発における一般的なステップです。主なQAパラダイムには、オープンブック型とクローズドブック型の2つがあります。オープンブック型、またはリトリーブアンドリード型は、適切な素材を大量の文書コーパス、頻繁にインターネットから取得する2つの手順を経て、異なるモデルや手法を適用して取得された素材から解決策を取り出す手法です。一方、クローズドブック型は最近の手法であり、外部のコーパスを利用せずにT5などのSeq2Seqモデルを基にしたモデルを訓練することで、結果を生成します。クローズドブック技術は優れた結果を示しているものの、多くの産業アプリケーションに対してリソースが過剰であり、システムのパフォーマンスに重大なリスクをもたらす可能性があります。質問応答型データベース（DBQA）は、パラメータや大規模なコーパスの情報に頼るのではなく、事前生成された質問応答のデータベースから応答を取得する方法です。これらのシステムの主要な部分は、質問と回答のデータベース、データベースのクエリに対する検索モデル、および最適な回答を選ぶランキングモデルです。DBQA技術により、迅速な推論と再学習モデルなしで新しいペアを追加できる能力が可能となり、新しい情報を導入することができます。 DBQA技術の課題の一つは、検索およびランキングモデルの開発における充分なトレーニングデータの不足です。既存のリソースはスコープと内容の面で不足しており、注釈プロセスの品質を向上させる必要があるものや、質問と質問の類似性に焦点を当て、回答を無視するものが多数存在しています。これらの課題に対処するため、研究者チームは質問応答データベースの検索に関するデータセットとモデルであるQUADRoを提案しました。これは訓練と評価のために特別に作成された新しいオープンドメインの注釈リソースです。リポジトリの15,211の入力質問には、各質問に関連する30の質問応答ペアがあります。このコレクションには合計で443,000の注釈付きサンプルが含まれています。入力クエリに対する各ペアの重要性を示すバイナリインジケータがラベル付けされています。研究チームはまた、このリソースの品質と特性をいくつかの重要なQAシステムコンポーネントに関して評価するための徹底した実験も行いました。これらの要素には、トレーニング方法、入力モデルの構成、および回答の関連性が含まれます。実験は、このデータセットで訓練されたモデルの挙動とパフォーマンスを検討することで、関連する応答を取り出すために提案された方法がどれだけうまく機能するかを示しました。まとめると、この研究は、自動品質保証システムにおけるトレーニングとテストデータの不足を解決するために、有用なリソースを導入し、リソースの属性を慎重に評価することで、包括的な理解を支援しています。トレーニング戦略と回答の関連性のような重要な要素に重点を置くことで、評価が補完されます。

言語モデルを使用したドキュメントの自動要約のテクニック

要約は、大量の情報をコンパクトで意味のある形式に短縮する技術であり、情報豊かな時代における効果的なコミュニケーションの基盤となっていますデータの溢れる世界で、長いテキストを短い要約にまとめることで時間を節約し、的確な意思決定を支援します要約は内容を短縮して提示することにより、時間を節約し、明確さを向上させる役割を果たします

リトリーバル・オーグメンテッド・ジェネレーションにおける関連性の課題にどのように対処するか

パート1では、非最適な埋め込みモデル、効率の悪いチャンキング戦略、およびメタデータフィルタリングの不足により、LLMから関連する応答を得るのが難しくなることをご覧いただけます

詳細に説明されたLlama 2：Metaの大型言語モデル！

MetaのLlama 2についてもっと知りたいですか？ここには基礎から高度な仕様まで、すべてを網羅した初心者向けガイドがあります

「研究者がドメイン固有の科学チャットボットを開発」

科学的な研究では、協力と専門家の知見は非常に重要ですが、特に専門分野では得ることが困難なことがよくありますこれに対応して、ブルックヘブン国立研究所の機能性ナノ材料センター（CFN）の電子ナノ材料グループのリーダーであるケビン・イエーガー氏は、画期的なソリューションである特化型AIチャットボットを開発しましたこのチャットボットは、一般的なチャットボットとは異なる点で注目されます

chatbot

データの観察可能性：AI時代の信頼性

「GenAIにとって、データの可観測性は解決策、パイプラインの効率性、ストリーミングとベクターインフラストラクチャに優先する必要があります」

「スノーケルAIのCEO兼共同創設者、アレックス・ラットナー – インタビューシリーズ」

アレックス・ラトナーは、スタンフォードAIラボを母体とする会社、Snorkel AIのCEO兼共同創設者ですSnorkel AIは、手作業のAI開発プロセスをプログラムソリューションに変換することで、AIの開発を迅速かつ実用的に行いますSnorkel AIは、独自のデータと知識を使用して、企業が独自のワークロードに対して動作するAIを開発することを可能にします

「ChatGPTのコードインタプリター：データサイエンティスト向けGPT-4の高度なデータ分析」

イントロダクション ChatGPTは、ユーザーの入力に理解し、会話的に応答する能力で世界を驚かせているOpenAIによって開発された強力な言語モデルです。ChatGPTの最もエキサイティングな機能の1つは、Python、Java、JavaScript、C++など、さまざまなプログラミング言語でコードスニペットを生成できる点です。この機能により、コード全体を自分で記述する必要がないまま、素早くプロトタイプを作成したり問題を解決したりしたい開発者の間でChatGPTが人気の選択肢となっています。この記事では、データサイエンティスト向けのChatGPTのコードインタプリタについて調査します。さらに、その仕組みや機械学習コードの生成方法についても見ていきます。ChatGPTの利点と制限についても議論します。学習目標 ChatGPTの高度なデータ分析の仕組みを理解し、機械学習コードの生成にどのように活用できるかを理解する。 Pythonを使用してデータサイエンティスト向けのChatGPTの高度なデータ分析を使用してコードスニペットを生成する方法を学ぶ。 ChatGPTの高度なデータ分析の利点と制限を理解する。 ChatGPTの高度なデータ分析を使用して機械学習モデルの設計と実装する方法を理解する。欠損値の処理、カテゴリ変数のエンコーディング、データの正規化、数値特徴量のスケーリングなど、機械学習のためのデータの前処理方法を理解する。データをトレーニングセットとテストセットに分割し、精度、適合率、再現率、F1スコア、平均二乗誤差、平均絶対誤差、R二乗値などの指標を使用して機械学習モデルのパフォーマンスを評価する方法を学ぶ。これらの学習目標を習得することで、ChatGPTの高度なデータ分析を利用して機械学習コードを生成し、さまざまな機械学習アルゴリズムを実装する方法を理解できるようになります。また、これらのスキルを実世界の問題とデータセットに適用し、機械学習タスクにおけるChatGPTの高度なデータ分析の熟練度を示すこともできるようになります。この記事はData Science Blogathonの一部として公開されました。 ChatGPTの高度なデータ分析はどのように機能するのですか？ ChatGPTの高度なデータ分析は、大規模なテキストデータのコーパスで訓練されたトランスフォーマと呼ばれる深層学習モデルに基づいています。トランスフォーマは、入力テキストの異なる部分の文脈と関係を理解するために、セルフアテンションメカニズムを使用します。ユーザーがプロンプトやコードスニペットを入力すると、ChatGPTのモデルは訓練データから学んだパターンと構造に基づいて応答を生成します。 ChatGPTの高度なデータ分析は、オンラインの大量のコードを活用してコードスニペットを生成することができます。ChatGPTのモデルは、オープンソースのリポジトリや他のコードソースを分析することで、さまざまなプログラミング言語の構文、意味論、イディオムを学ぶことができます。ユーザーがコードの一部をリクエストすると、ChatGPTのモデルは関連する動作するコードスニペットを生成するためにこの知識を活用することができます。 ChatGPTを使用して機械学習コードを生成する機械学習は、ChatGPTの高度なデータ分析の最も有望な応用の1つです。ディープラーニングや機械学習アプリケーションの台頭により、これらは研究開発の重要な領域となっていますが、これらのモデルの設計と実装は複雑で時間がかかる場合があります。線形代数、微分積分、確率論、コンピュータサイエンスの専門知識が必要になるからです。 ChatGPTの高度なデータ分析は、ユーザーがプロジェクトに統合できる機械学習のコードスニペットを生成することで、このプロセスを簡素化するのに役立ちます。例えば、ユーザーは、カリフォルニアの住宅価格を予測するための線形回帰技術を使用したコードスニペットを生成するようChatGPTに要求することができます。この際、入力として提供されたトレーニングデータセットは.csv形式です。ChatGPTのモデルは、ユーザーの入力に基づいて必要なインポート、データの前処理手順、モデルのアーキテクチャ、およびトレーニング手順を含むコードスニペットを生成することができます。コードインタプリタにデータセットをアップロードして、以下のプロンプトを入力してください。プロンプト：上記のデータセットを使って、sklearnを使用して線形回帰を実行し、Pythonコードですべてのステップを表示します。データの予測変数はmedian_house_valueです。レスポンス： “housing.csv”データセットを使用して、ターゲット変数として”median_house_value”を使用して、sklearnを使用した線形回帰の手順は次の通りです：…

ナレッジグラフ、ハードウェアの選択、Pythonのワークフロー、およびその他の11月に読むべきもの

データと機械学習の専門家にとって、1年間のイベント満載な時期もいよいよ終盤に入ってきました皆さんの中には、新しいスキルを学ぶために最後の力を振り絞り、最新の研究に追いつくために奮闘している方も多いことでしょう

Learn more about Search Results コーパス - Page 2