Search Results 大規模な言語モデル

新しいAI研究がAttrPromptを紹介します：ゼロショット学習における新しいパラダイムのためのLLM-as-Training-Data-Generator

大規模な言語モデル（LLM）のパフォーマンスは、多くの自然言語処理（NLP）アプリケーションで印象的でした。最近の研究では、LLMはタスク固有のトレーニングデータジェネレータとして提案され、特にテキスト分類においてタスク固有のデータと注釈の必要性を低減するために使用されています。これらの取り組みは、LLMをデータ生成者としての有用性を示していますが、生成されたデータがタスク固有のモデルのトレーニングに使用される場合、上流のデータ作成プロセスは無視されています。LLMをクエリするための主要な方法は、単一のクラス条件付きのプロンプトを使用するものですが、これにより提供されるデータの多様性が低下し、LLMの固有のシステムバイアスが持続する可能性があります。ジョージア工科大学、ワシントン大学、UIUC、Google Researchによる新しい研究は、さまざまなドメインからの大規模な枢軸分類タスクを分析します。高品質で人間らしい言語を書く能力のためにLLMをChatGPTに固定します。チームは主にデータ属性を使用して、作成されたトレーニングセット内のバイアスと多様性のレベルを評価します。具体的には、データ属性は複数の属性次元とさまざまな属性値から構成されており、それぞれが属性自体の可能な実現を表しています。研究者たちは、SimPromptで生成されたデータセットにおける属性のバイアスを分析するために訓練された属性分類器を使用しました。さまざまな属性がモデルの最終結果にどのように影響するかを調査します。属性付きデータを生成するために、ChatGPTを使用し、必要な特性に対して特定の値を持つ質問に制約を加えます。研究者たちは、ランダムな特性を持つデータセットでトレーニングされたモデルのパフォーマンスが、特定の属性を持つデータセットでトレーニングされたモデルよりも有意に優れていることを発見しました。この結果は、生成されたデータの属性の多様性の重要性を示しています。チームは、属性のバイアスを減らし、生成されたデータの属性の多様性を増やすために、多様な属性を持つプロンプトを使用してデータを生成することを提案しています。LLMを使用したインタラクティブな半自動プロセスを最初に使用して、与えられた分類タスクに適切な属性次元と値を決定します。LLMデータクエリの標準的なクラス条件付きプロンプトは、ランダムに組み合わされたプロパティによって生成されたより複雑な問い合わせに置き換えられます。彼らはこれらのさまざまな属性トリガーを説明するために「AttrPrompt」という用語を作り出しました。研究者たちは、4つの分類タスクで作成したデータセットを、次の2つのシナリオでトレーニングされたモデルの結果を比較することによって実証的に評価しました：1）生成されたデータセットのみでトレーニングされたモデルと2）本物のトレーニングセットと生成されたセットを含む統合されたデータセットでトレーニングされたモデル。AttrPromptを使用して作成されたデータセットは、両方の場合においてSimPromptで作成されたデータセットよりも優れたパフォーマンスを発揮します。さらに、彼らの結果は、AttrPromptがデータ/予算の効率性、およびさまざまなモデルサイズとLLMとしてのトレーニングデータジェネレータ戦略の幅広さにおいて、SimPromptに比べて優れていることを示しています。 AttrPromptは、SimPromptが必要とするChatGPTのクエリコストの5％しか必要とせずに、SimPromptと同じパフォーマンスを提供するために注目されています。最後に、彼らはLLMをより困難なマルチラベル分類問題に適用することによって、AttrPromptがSimPromptをすべての評価基準で上回ることを初めて示しています。

LLM（Large Language Models）は、厳密に検証可能な数学的証明を生成できるのでしょうか？LeanDojoにご参加ください：Lean Proof Assistantで形式的な定理を証明するためのツールキット、ベンチマーク、およびモデルを備えたオープンソースのAIプレイグラウンド

人工知能と機械学習は、現代のトレンドとなっています。AIの進歩により、新たなイノベーションが人間と機械の相互作用を変革しています。人間の知性の推論は人工知能の重要な部分です。自動定理証明（ATP）など、数多くの定理証明アプローチが研究されてきました。ATPは、形式論理で述べられる定理に対して自動的に証明を生成するプロセスです。ATPは巨大な探索空間のために困難であるため、人間の専門家が証明補助ツールと呼ばれるソフトウェアツールと対話することで証明を構築する対話型定理証明（ITP）が代替のパラダイムとして登場しました。大規模な言語モデル（LLM）は、驚くべきコード生成能力を示していますが、事実性の欠陥や幻想により、定理証明においても困難に直面しています。これらの制約を克服するために、Caltech、NVIDIA、MIT、UC Santa Barbara、UT Austinの研究者チームは、LLMベースの定理証明のためのオープンソースツールキットであるLeanDojoを開発しました。LeanDojoは、数学者に人気のあるLean証明補助ツールを中心に構築されています。Leanとの作業やデータの抽出に関するリソースを提供しています。データの抽出では、証明木や元のLeanコードでは直接明らかではない中間の証明状態からトレーニングデータを収集します。LeanDojoは、モデルがLeanとプログラム的に通信できるようになっています。これにより、モデルは証明状態を見たり、証明アクションやタクティクスを実行したり、Leanからフィードバックを受けたりすることができます。オープンソースのLeanプレイグラウンドは、ツールキット、データ、モデル、ベンチマークなど、プログラム的な証明環境とLeanからデータを抽出するための多数の要素で構成されています。 LeanDojoは、証明における前提条件の詳細な注釈を提供し、定理証明における重要なボトルネックである前提選択に貴重な情報を提供します。LeanDojoのデータ抽出機能を使用することで、研究者たちは、大規模な数学ライブラリから前提を選択するために検索を補完する初のLLMベースの証明補助プログラムであるReProverを開発しました。従来の方法とは異なり、ReProverは大量の計算リソースを必要とするプライベートデータセットに依存せず、よりアクセスしやすく、コスト効果が高いように設計されています。ReProverは、わずか1週間で1つのGPUでトレーニングすることができ、コンピューティングパワーの要件も少ないです。 LeanDojoのプログラム分析能力は、ReProverの検索メカニズムによってアクセス可能な前提条件を見つけ出し、何が間違っているかの具体的な例を示すのに使用されます。その結果、証明補助プログラムのパフォーマンスが向上し、検索手順もより効果的になります。評価とさらなる研究のために、チームはLeanの数学ライブラリから抽出した96,962の定理と証明からなる新しいベンチマークデータセットを開発しました。このベンチマークデータセットは、訓練中に使用されなかった新しい前提に依存する定理に汎化するために、チャレンジングなデータ分割を特徴としています。実験結果は、このベンチマークデータセットを使用してトレーニングと評価を行う際、ReProverが非検索ベースラインやGPT-4と比較して優れたパフォーマンスを発揮することを示しています。結論として、LLMベースの定理証明のためのこのオープンソースソリューションは、将来において有望です。プライベートコード、データ、大規模な計算要件の障壁を、アクセス可能なツールキット、データ、モデル、ベンチマークを提供することで克服しています。

もし、口頭および書面によるコミュニケーションが人間の知能を発展させたのであれば… 言語モデルは一体どうなっているのでしょうか？

人間の知能は、その非凡な認知能力によって、他の種に比べて比類のない存在ですこの知的優位性の原動力は、言語の出現に遡ることができます...

テキストブック品質の合成データを使用して言語モデルをトレーニングする

マイクロソフトリサーチは、データの役割についての現在進行中の議論に新たな燃料を加える論文を発表しました具体的には、データの品質と合成データの役割に触れています

Google DeepMindは、ChatGPTを超えるアルゴリズムの開発に取り組んでいます

画期的な発表により、GoogleのDeepMind AI研究所のCEOであるデミス・ハサビス氏は、革新的なAIシステムであるGeminiの開発を発表しました。Geminiは、DeepMindが囲碁のゲームでの歴史的な勝利から導き出した技術を活用し、OpenAIのChatGPTを超える予定のアルゴリズムを持つことで、人工知能の分野で重要なマイルストーンを示すものです。この発表は、AIの未来における能力の向上と革新的な進展を約束するものであり、その詳細と将来への潜在的な影響について詳しく探っていきます。 Gemini：AI技術の次の飛躍 DeepMindの画期的なAIシステムであるGeminiは、人工知能の分野でのゲームチェンジャーとして登場しました。AlphaGoの驚異的な成果を基にしたGeminiは、DeepMindの先駆的な技術とGPT-4の言語能力を組み合わせることで、OpenAIのChatGPTの能力を超えるものとなっています。これらの強みの融合により、GeminiはAIの景観を再定義する有望なイノベーションとなっています。強みの融合：AlphaGoとGPT-4のシナジー AlphaGoの強力な技法をGPT-4モデルに取り入れることで、Geminiは従来の言語モデルの制約を超越します。Geminiの言語能力と問題解決能力のユニークな組み合わせは、AIを革新することを約束します。DeepMindのCEOであるデミス・ハサビス氏は、テキストの理解と生成に優れたシステムが複雑な問題を計画し解決する能力を持つシステムを想像しています。また読む：DeepMind CEOがAGIの実現が非常に近い可能性を示唆革新の公開：Geminiの魅力的な特徴 Geminiは、AIの能力の限界を押し広げる多くの魅力的な特徴を導入する予定です。AlphaGoタイプのシステムと大規模な言語モデルの結合により、GeminiはAIの潜在能力の新たな時代をもたらします。DeepMindのエンジニアたちは、Gemini内のいくつかの興味深いイノベーションを示唆しており、公式のローンチに対する期待感をさらに高めています。強化学習：AlphaGoの成功の基盤画期的な強化学習技術は、AlphaGoの歴史的な勝利の中核にありました。DeepMindのソフトウェアは、繰り返しの試行とパフォーマンスに対するフィードバックを通じて、複雑な問題をマスターしました。さらに、AlphaGoはツリーサーチと呼ばれる方法を利用して、ボード上の潜在的な手を探索して記憶することができました。この基盤はGeminiの将来の発展の基礎となっています。また読む：強化学習の包括的なガイド進行中の旅：Geminiの開発 Geminiはまだ開発段階にありますが、ハサビス氏はその取り組みと投資の大きさを強調しています。DeepMindのチームは、Geminiを完成させるために数か月と膨大な資金（数千万ドルまたは数億ドルにもなる可能性があります）が必要となると推定しています。この取り組みの重要性は、Geminiの潜在的な影響の重要性を示しています。競争に対抗する：Googleの戦略的な対応 OpenAIのChatGPTが注目を集める中、Googleは迅速に生成型AIを製品に統合し、チャットボットBardを導入し、AIを検索エンジンに組み込みました。GoogleはDeepMindとGoogleの主要なAI研究所であるBrainを統合してGoogle DeepMindを形成することで、ChatGPTによる競争の脅威に対処しようとしています。この戦略的な動きは、GoogleがAIのイノベーションの最前線にとどまることへの取り組みを示しています。また読む：Chatgpt-4対Google Bard：ヘッドトゥヘッドの比較 DeepMindの旅：買収から驚嘆まで DeepMindの2014年のGoogleによる買収は、AI研究における転換点となりました。この会社の革新的なソフトウェアは強化学習によって駆動し、以前には想像もつかなかった能力を示しました。AlphaGoが2016年に囲碁のチャンピオン李世ドルに対して勝利を収めたことは、AIコミュニティを驚かせ、複雑なゲームにおける人間レベルの熟練度を達成するためのタイムラインに関する先入観に挑戦しました。また読む：DeepMindのAIマスターゲーマー：2時間で26のゲームを学ぶトランスフォーマーのトレーニング：大規模言語モデルの基盤…

QLoRAを使用して、Amazon SageMaker StudioノートブックでFalcon-40Bと他のLLMsをインタラクティブにチューニングしてください

大規模な言語モデル（LLM）の微調整により、オープンソースの基礎モデルを調整して、特定のドメインタスクでのパフォーマンスを向上させることができますこの記事では、Amazon SageMakerノートブックを使用して、最新のオープンソースモデルを微調整する利点について説明します私たちは、Hugging Faceのパラメータ効率の良い微調整（PEFT）ライブラリと、bitsandbytesを介した量子化技術を利用して、インタラクティブな微調整をサポートしています

より強力な言語モデルが本当に必要なのでしょうか？

大規模な言語モデルはますます人気が高まっていますしかし、それらの開発には特定の課題にも直面することになりますGPTモデルは唯一のアプローチではありません

2023年に読むための自然言語処理に関する5冊の無料の書籍

大型言語モデルは左右中央にリリースされており、それらをより理解するためにはNLPについて知る必要があります以下には、あなたを助けるための5冊の無料の書籍があります

Natural language processing

LangFlow | LLMを使用してアプリケーションを開発するためのLangChainのUI

イントロダクション大規模言語モデルは世界中で大きな話題となっています。ChatGPT、GPT3、Bardなどの大規模言語モデルが登場することで、開発者はこれらのモデルを活用して新しい製品ソリューションを開発し続けています。新しいバージョンの大規模言語モデルや新しいモデルが毎日登場するため、これらに追いつくことは問題です。各大規模言語モデルのドキュメントを調べる必要があります。LangChainは、さまざまな大規模言語モデルにラップされたライブラリであり、作業を容易にします。さらに、LangChainに基づいたUIであるLangFlowは、直接アプリケーションを作成および操作できるようになり、作業がより簡単になりました。学習目標 LangFlow UIの理解 LangFlowのインストールと操作 LangFlowの内部機能の理解 LangFlowを使用してアプリケーションを作成する LangFlowを通じて作成したアプリケーションの共有この記事は、Data Science Blogathonの一環として公開されました。 LangFlowとは何か、なぜLangFlowを使用するのか LangFlowは、react-flowを使用して設計されたPythonパッケージであるLangChainに基づいたグラフィカルなUIです。LangChainは、大規模言語モデルを使用してアプリケーションを作成するためのPythonパッケージです。エージェント、大規模言語モデル、チェーン、メモリ、プロンプトなど、さまざまなコンポーネントで構成されています。開発者はこれらのブロックを連結させてアプリケーションを作成します。LangChainには、ほとんどの人気のある大規模言語モデルのラッパーが含まれています。しかし、LangChainを使用するには、アプリケーションを作成するためのコードを書く必要があります。コードを書くことは、時間がかかることもあり、エラーを引き起こすこともあります。ここでLangFlowが登場します。LangFlowはLangChainに基づいたグラフィカルなUIです。LangChainで提供されるすべてのコンポーネントが含まれています。LangFlowはドラッグアンドドロップ機能を提供しており、コンポーネントをスクリーン上にドラッグして大規模言語モデルからアプリケーションを構築できます。さらに、誰でも使える豊富な例も含まれています。この記事では、このUIについて説明し、それを使用してアプリケーションを構築する方法を説明します。 Langflowを始めましょう LangFlowとは何か、およびその機能の理解を深めるために、これからLangFlowについて詳しく見ていきましょう。LangFlow UIはJavaScriptとPythonの両方で利用できます。どちらかを選んで使用することができます。Pythonのバージョンを使用する場合、システムにPythonがインストールされている必要があり、LangChainライブラリも必要です。 LangFlowを使用するには、次のパッケージが必要です pip install langchain pip install…

プロンプトエンジニアリングへの紹介

イントロダクション自然言語処理は、基盤となる技術や手法を使用した実装の豊かな領域であります。近年、特に2022年の始まり以来、自然言語処理（NLP）と生成型AIは進化を遂げています。これにより、プロンプトエンジニアリングは、言語モデル（LM）をマスターするために理解する必要のある特別なスキルとなりました。学習目標プロンプト、プロンプトエンジニアリング、および例の理解プロンプトを洗練させるためのヒントプロンプトとプロンプトのパターンの要素プロンプトの技法プロンプトエンジニアリングの知識は、大規模な言語モデル（LLM）を基本的に使用する際の能力と制限をより良く理解するのに役立ちます。この記事は、データサイエンスブログマラソンの一部として公開されました。プロンプトエンジニアリングとは何ですか？プロンプトエンジニアリングは、人工知能の自然言語処理の分野で、AIが行うべきことをテキストで説明する実践です。この入力によってガイドされ、AIは出力を生成します。これは、人間が理解できるテキストを対話的にモデルとコミュニケーションするためのもので、タスクの説明が入力に埋め込まれているため、モデルは柔軟に動作し、可能性が広がります。詳細はこちらをご覧ください：プロンプトエンジニアリング：パワフルなプロンプトの作成のアートプロンプトとは何ですか？プロンプトは、モデルから期待される出力の詳細な説明です。これはユーザーとAIモデルの間の対話です。これにより、エンジニアリングについてより理解が深まります。プロンプトの例 ChatGPTやGPT-3などの大規模な言語モデルで使用されるプロンプトは、単純なテキストクエリの場合もあります。これらは提供できる詳細の量によって品質が測定されます。これらは、テキスト要約、質問と回答、コード生成、情報抽出などに使用されます。多くの指示が含まれる複雑な問題を解決するためにLLMが使用されるため、詳細であることが重要です。基本的なプロンプトのいくつかの例を見てみましょう：プロンプト抗生物質は、細菌感染症を治療するために使用される薬の一種です。それらは細菌を殺したり、増殖を防いだりすることで、体の免疫系が感染症と戦えるようにします。抗生物質は通常、錠剤、カプセル、液体溶液の形で経口的に摂取され、時には静脈内投与されます。抗生物質はウイルス感染症には効果がなく、不適切に使用すると抗生物質耐性が生じることがあります。上記を2文に要約してください：この出力はQ&Aの形式で要約を表示します。抗生物質は、細菌感染症を殺菌または増殖を防ぎ、免疫系が感染症と戦えるようにします。経口または静脈内投与され、ウイルス感染症には効果がなく、抗生物質耐性を引き起こす可能性があります。 LLMの使用例を見ました。可能性は無限です。プロンプトを洗練させるためのヒント…

Learn more about Search Results 大規模な言語モデル - Page 74