Search Results MPT

2023年の最高の人工知能（AI）ニュースレター

人工知能（AI）分野では、AIの進展について情報を得て先を見るために、様々なAIニュースレターが登場しています

自分のハードウェアでのコード理解

現在の大規模言語モデル（LLM）が実行できるさまざまなタスクの中で、ソースコードの理解は、ソフトウェア開発者やデータエンジニアとしてソースコードで作業している場合に特に興味深いものかもしれません

LangChainを使用したLLMパワードアプリケーションの構築

はじめに言語処理の未来へようこそ！言語が人々と技術をつなぐ架け橋である世界において、自然言語処理（NLP）の進歩によって素晴らしい機会が広がりました。これらの進歩の中で、革命的な言語モデルであるLLM（大規模言語モデル）が登場し、テキストベースのデータとのやり取り方法を完全に変えました。私たちは、LLMの驚異を探求し、LLMを活用したアプリケーションを構築する方法を学びます。それには、LLMのフルポテンシャルを引き出す革新的なプラットフォームであるLangChainを使用します。言語モデルは、人間らしいテキストを理解し生成する能力により、さまざまなアプリケーションで重要な役割を果たしています。これらのモデルは、機械翻訳、感情分析、チャットボット、コンテンツ生成など、自然言語処理のタスクを革新しました。彼らは貴重な洞察を提供し、コミュニケーションを改善し、ユーザーエクスペリエンスを向上させます。学習目標言語モデル（LLM）の基礎と、インテリジェントなアプリケーションの構築における重要性を理解する。 LangChainをアプリケーション開発ワークフローに統合し、そのAPIを活用する方法を学ぶ。 Langchainでできることについての洞察を得る。 Langchainを使用してさまざまなLLMと対話する。 LLMを使用して対話型チャットボットを作成する。 LangchainでのファインチューニングLLMの意味を理解する。この記事は、データサイエンスブログマラソンの一環として公開されました。 LLMとは何ですか？ LLM（Large Language Model）とは、膨大なテキストデータでトレーニングされた最新の言語モデルを指します。深層学習の技術を利用して人間らしいテキストを理解し生成するため、テキスト補完、言語翻訳、感情分析など、さまざまなアプリケーションにおいて強力なツールとなっています。LLMの最も有名な例の1つは、OpenAIのGPT-3であり、言語生成能力に対して大きな注目と賞賛を浴びています。 LangChainの紹介あなたのアプリケーションが努力なく人間らしいテキストを理解し生成できる世界を想像してください。LangChainへようこそ。これは、言語モデル（LLM）の魅惑的な領域への入り口を開く先駆的なプラットフォームです。LangChainを使用することで、LLMの非凡な能力を連携させ、プロジェクトに統合することができます。LangChainが明らかにする魅力的な機能と無限の可能性を探求しましょう。 LangChainは、開発者にシームレスで直感的なインターフェースを提供し、アプリケーションでLLMのパワーを最大限に活用することができる高度なプラットフォームです。言語処理のフルポテンシャルを引き出すためのさまざまなAPIやツールを提供しています。 LangChainの特徴と機能 LangChainには、あなたを魅了するさまざまな機能と機能が満載されています。文章の補完から感情の分析、言語の翻訳から固有名詞の認識まで、LangChainは言語を使って驚きを生み出すためのツールを提供します。APIのドキュメントを探索することで、まるで魔法使いが呪文を使いこなすかのように、これらの機能を効果的に使用する方法の秘密を発見します。 LLMをプロジェクトに統合する LangChainの機能と能力を理解したら、それを自分自身のプロジェクトに魔法として織り込む時です。LangChain SDKを使用することで、既存のコードベースとLLMの非凡な能力をシームレスに統合することができます。わずか数行のコードで、LLMの言語処理能力を呼び出し、あなたのアプリケーションを人間らしいテキストを理解し生成するインテリジェントな存在に変えることができます。 LLMの魔法が解き放たれる…

ドキュメント指向エージェント：ベクトルデータベース、LLMs、Langchain、FastAPI、およびDockerとの旅

ChromaDB、Langchain、およびChatGPTを活用した大規模ドキュメントデータベースからの強化された応答と引用されたソース

ウェブと組み込みシステムにおけるRustの実行のための9つのルール

ユーザーの要求に応じて、私は最近、range-set-blazeというクレートをWebページ内で動作するように変換しましたまた、マイクロコントローラー（組み込み）でも動作するようにしました（range-set-blazeクレートは効率的に操作を行います...

7月号データサイエンティストのための気候リソース

多くの人にとって、夏の訪れは以前は単純な興奮の原因でした：学校が終わる、仕事のスケジュールは少し忙しくないことが多い、ビーチでののんびりした午後や...

Stack Overflowで最もよく尋ねられるPythonリストの10の質問

Stack Overflowは、ソフトウェア、コーディング、データサイエンスなど、さまざまな分野において、数千もの質問と回答を見つけることができる情報の宝庫ですもしコンテンツの作成者に尋ねるとしたら、何について尋ねますか？

SalesforceはXGen-7Bを導入：1.5Tトークンのために8Kシーケンス長でトレーニングされた新しい7B LLMを紹介します

最近の人工知能の技術的なブレークスルーにより、Large Language Models（LLMs）はますます一般的になっています。過去数年間、研究者たちは、これらのモデルを膨大な量のデータでトレーニングして、複雑な言語関連のタスクを解決するための急速な進歩を遂げてきました。これには、複雑な言語パターンの理解、連続した回答の生成などが含まれます。特に研究者や開発者の関心を引いている研究の1つは、LLMsの長文コンテンツの取り扱いにおける応用です。これらのタスクの例は、テキストの要約やコードの生成などの比較的単純なタスクから、タンパク質の構造予測や情報検索などのより複雑な問題の記述まで様々です。長いテキストのシーケンスには、段落、表、画像などさまざまな形式の情報が含まれているため、LLMsはこれらの要素を処理し理解するためにトレーニングされなければなりません。さらに、長距離の構造的依存関係を効果的に考慮することで、LLMsはテキストの異なる部分間の関連性を特定し、最も関連性の高い情報を抽出することができます。したがって、より広範な知識に触れることで、LLMsはユーザーのクエリにより正確で文脈に即した回答を提供することができます。しかし、数多くの潜在的なユースケースにもかかわらず、MetaのLLaMAからMosaicMLのMPT LLMモデルに至るまで、ほとんどのオープンソースのLLMsは、最大2Kトークンのシーケンスでトレーニングされています。この制限は、より長いシーケンスのモデリングにおいて大きな課題を提起します。さらに、モデルのスケーリングに関する以前の研究は、固定された計算予算が与えられた場合、トークン数が多いほど小さなモデルの方が大きなモデルよりも優れたパフォーマンスを発揮することを示しています。したがって、現在の進歩と課題に着想を受けて、Salesforce ResearchはXGen-7Bを導入し、1.5兆トークンの8Kシーケンス長でトレーニングされた一連の7B LLMsにおいて画期的な成果を上げました。このモデルシリーズには、4Kシーケンス長に対応するXGen-7B-4K-Base、8Kシーケンス長に対応するXGen-7B-8K-Base、および公開用の教育データでファインチューニングされたXGen-7B-8k-Instが含まれています（研究目的のみで公開されています）。これらのLLMsの注目すべき特徴は、XGenがMPT、Falcon、LLaMAなどといった同様のサイズの最先端のLLMsと比較して、標準のNLPベンチマークで同等または優れた結果を達成することです。この研究で使用されたXGen-7bモデルは、Salesforceの独自のライブラリJaxFormerを使用してトレーニングされました。このライブラリは、TPU-v4ハードウェアに最適化されたデータとモデルの並列処理を利用した、効率的なLLMのトレーニングを可能にします。トレーニングプロセスはLLaMAのガイドラインに従い、さらに2つの追加の調査を行いました。最初の調査は「損失スパイク」の理解に焦点を当てました。これは、トレーニング中に損失が突然一時的に増加する現象であり、明確な原因がない状態です。これらのスパイクの原因はまだ不明ですが、研究者は「順次回路の並列化」、「swish-GLUの使用」、「RMS-Normの使用」などがトレーニングの不安定性に寄与する可能性があると特定しました。2つ目の調査はシーケンス長に関連しています。自己注意の二次の計算量のため、より長いシーケンスでのトレーニングは計算コストが著しく増加するため、段階的なトレーニングアプローチが採用されました。トレーニングは最初にシーケンス長2kの800Bトークンから始まり、次にシーケンス長4kの400Bトークン、最後にシーケンス長8kの300Bトークンを対象としました。 XGen-7b 8kモデルの長い文脈の理解能力を評価するために、研究者たちは3つの主要なタスクで評価を行いました。それらのタスクは、長い対話生成、テキストの要約、および質問応答です。研究者は、対象のタスクの難しさに基づいて、インストラクションに調整されたモデルを使用しました。長い対話生成に関しては、AMIミーティングの要約、ForeverDreaming、およびTVMegaSiteの脚本の要約の3つのタスクを評価に使用しました。すべての指標において、XGen-7B-instモデルは他のいくつかのインストラクションに調整されたモデルと比較して最高のスコアを達成し、優れたパフォーマンスを示しました。長文の質問応答に関しては、研究者は物理学、工学、歴史、エンターテイメントなどさまざまなトピックをカバーするウィキペディアのドキュメントを基にChatGPTを使用して質問を生成しました。質問と元の文書の関連性、構成、および関連性に基づいて、256トークンのLLM生成された回答をGPT-4で評価しました。このシナリオでは、2kトークンに制限されたベースラインモデルに比べて、XGen-7B-8k-Instモデルのパフォーマンスが優れていることが示されました。テキストの要約に関しては、研究者は会議の会話と政府の報告書という2つの異なるドメインのデータセットを使用してXGen-7bモデルを評価しました。その結果、XGen-7bモデルはこれらのタスクで他のベースラインモデルを大幅に上回り、テキストの要約でも優れたパフォーマンスを発揮することが示されました。評価により、XGen-7bモデルは、長い文脈を理解する能力に優れており、長い対話生成、質問応答、テキスト要約など、さまざまなタスクで優れた性能を発揮しました。その性能は、他の指示に調整されたモデルやベースラインモデルを上回り、広範なテキスト文脈での理解力と連続した応答生成能力を示しています。ただし、その効果的さにもかかわらず、XGenモデルには制約があることが研究者によって認識されており、バイアスが免除されず、有害な応答を生成する可能性があります。これは、他の多くのAIモデルと共有する特徴です。Salesforce Researchはまた、コードをオープンソース化して、コミュニティが研究内容を探求できるようにしています。 SF BlogとGithub Linkをチェックしてください。最新のAI研究ニュース、素晴らしいAIプロジェクトなどを共有している25k+ ML SubReddit、Discord Channel、Email Newsletterにもぜひ参加してください。上記の記事に関する質問や見落としがある場合は、お気軽に[email protected]までメールでお問い合わせください。

共分散と相関の違いは何ですか？

イントロダクション統計の広範な領域において、変数間の複雑な関係を理解し解き放つことは重要です。データ駆動型の意思決定、科学的な発見、予測モデリングなど、複雑なデータセット内の隠れた関連やパターンを解き明かす能力に依存しています。この追求を支えるさまざまな統計基準の中で、共分散と相関は重要であり、変数間の独立性に関する洞察を提供します。共分散と相関は統計解析において頻繁に発生する変数ですが、多くの人々が誤解したり、相互に交換可能に使用したりすることがあります。これら2つの基準を区別する微妙なニュアンスは、統計的な関係の解釈と活用に深い影響を与える可能性があります。したがって、共分散と相関の真の性質を理解することは、データの全ポテンシャルを明らかにしようとするデータ愛好家や専門家にとって非常に重要です。このブログ「共分散と相関」では、これら2つの統計的概念の違いを説明し、その関係を解明します。また、Analytics Vidhyaの「データサイエンスのためのSwift学習」コースでスキルを向上させ、データサイエンスのキャリアを活性化しましょう。共分散 2つのランダム変数間の系統的な関連性を示す統計用語であり、もう一方の変数の変化が1つの変数の変化を反映することを示します。共分散の定義と計算共分散は、2つの変数が直接的または逆比例しているかどうかを示します。共分散の式は、データセット内のデータポイントをその平均値から求めます。たとえば、次の式を使用して、2つのランダム変数XとYの共分散を計算できます：上記の手順において、共分散値の解釈共分散値は、変数間の関係の大きさと方向（正または負）を示します。共分散値は-∞から+∞の範囲を持ちます。正の値は正の関係を示し、負の値は負の関係を示します。正の共分散、負の共分散、およびゼロ共分散数値が高いほど、変数間の関係は依存性が高くなります。それぞれの共分散の種類を理解しましょう：正の共分散 2つの変数間の関係が正の共分散である場合、それらは同じ方向に進化しています。これは変数間の直接的な関係を示しています。したがって、変数は同様に振る舞います。変数の値（小さいまたは大きい）が、他の変数の重要性と等しい場合、変数間の関係は正の共分散となります。負の共分散負の共分散は、2つのランダム変数間の負の関係を示します。この場合、変数は逆方向に動きます。正の共分散とは異なり、1つの変数の増加に対応して他の変数の値が減少し、その逆も同様です。…

ToolQAとは外部ツールを使用した質問応答のための大規模言語モデル（LLM）の能力を評価する新しいデータセット

大規模言語モデル（LLM）は、自然言語処理（NLP）と自然言語理解（NLU）の分野で非常に効果的であることが証明されています。有名なLLMの例として、GPT、BERT、PaLMなどがあり、これらは教育やソーシャルメディアから金融や医療まで、あらゆる領域で研究者によって解決策を提供するために使用されています。これらのLLMは、膨大な量のデータセットで訓練されており、膨大な知識を獲得しています。LLMは、チューニングを通じた質問応答、コンテンツ生成、テキスト要約、言語の翻訳など、さまざまな能力を持っています。最近では、LLMは印象的な能力を示していますが、根拠のない情報や数値的な推論の弱点を伴わずに、合理的な情報を生成することには困難があります。最近の研究では、検索補完、数学ツール、コードインタプリタなどの外部ツールをLLMに組み込むことが、上記の課題に対するより良いアプローチであることが示されています。これらの外部ツールの有効性を評価することは困難であり、現在の評価方法では、モデルが事前に学習された情報を単に思い出しているのか、本当に外部ツールを利用して問題解決に役立てているのかを確定するための支援が必要です。これらの制約を克服するために、ジョージア工科大学のコンピューティング学部とアトランタの研究者チームが、外部リソースの利用能力を評価するためのベンチマークであるToolQAを開発しました。 ToolQAは、8つのドメインからのデータを含み、外部参照コーパスから情報を取得することができる13種類のツールを定義しています。ToolQAの各インスタンスには、質問、回答、参照コーパス、利用可能なツールのリストが含まれています。ToolQAの独自性は、すべての質問が適切なツールを使用して参照コーパスから情報を抽出することでのみ回答できるようになっており、これによりLLMが内部の知識に基づいてのみ質問に回答する可能性を最小限に抑え、ツールの利用能力を忠実に評価することができます。 ToolQAは、参照データ収集、人間による質問生成、プログラムによる回答生成の3つの自動化されたフェーズで構成されています。第1フェーズでは、テキスト、表、グラフなど、さまざまなタイプの公開コーパスが異なるドメインから収集され、ツールベースの質問応答のための参照コーパスとして使用されます。第2フェーズでは、ツールではなく参照コーパスに頼らない方法で解決できる質問が生成されます。これは、テンプレートベースの質問生成メソッドを通じて達成されます。このメソッドには、ツールの属性と人間によるテンプレートの作成と検証が含まれます。第3フェーズでは、生成された質問に対して正確な回答が生成され、ツールに対応する演算子が実装され、参照コーパスからプログラムによって回答が得られます。チームは、ToolQA内の質問に対して、標準LLMとツールを組み込んだLLMの両方を使用して実験を行いました。その結果、ChatGPTやChain-of-thoughts promptingなど、内部の知識にのみ依存するLLMの成功率は、簡単な質問で約5％、難しい質問で約2％と低かったことが示されました。一方、ChameleonやReActなどのツールを組み込んだLLMは、外部ツールを使用することでより良いパフォーマンスを発揮し、簡単な質問では最高のパフォーマンスが43.15％、難しい質問では8.2％となりました。結果とエラー分析からわかるように、ToolQAは現在のツールを組み込んだLLMアプローチにとって難しいベンチマークであり、より複雑なツールの構成的推論を必要とする難しい問題に対して特に難しいです。これはAIの発展における有望な進展です。

Learn more about Search Results MPT - Page 77