Search Results Transformer

すべての開発者が知るべき6つの生成AIフレームワークとツール

この記事では、トップのジェネラティブAIフレームワークとツールについて探求しますあなたの想像力を解き放ち、ジェネラティブAIの可能性を探究するために必要なリソースを発見してください

「QLoRAを使ってLlama 2を微調整し、AWS Inferentia2を使用してAmazon SageMakerに展開する」

この記事では、パラメータ効率の良いファインチューニング（PEFT）手法を使用してLlama 2モデルを微調整し、AWS Inferentia2上でファインチューニングされたモデルを展開する方法を紹介します AWS Neuronソフトウェア開発キット（SDK）を使用してAWS Inferentia2デバイスにアクセスし、その高性能を活用しますその後、[…]の動力を得るために、大きなモデル推論コンテナを使用します

「GPTの力を解き放つ：ReactJSでOpenAIのGPTを実装するための包括的なガイド」

この包括的なガイドでは、ReactJSでのGPTの実装について詳しく掘り下げ、開発者に開かれた複雑さと可能性を探ります

ミストラルの最先端言語モデル、Mixtral 8x7bをご紹介しますGPT-3.5を超えるオープンアクセスAIです

大容量の言語モデルの領域は、Mixtral 8x7bの登場により、大きな進歩を遂げました。 Mistral AIは、印象的な機能と独自のアーキテクチャを持つこの新しいモデルを開発しました。このモデルは、Transformerモデルにおいて革新的なアプローチであるフィードフォワードレイヤーをスパースなエキスパート混合 (MoE) レイヤーで置き換えています。 Mixtral 8x7bは、1つのフレームワーク内に8つのエキスパートモデルを持つモデルです。このモデルはMixture of Experts（MoE）であり、Mixtralは卓越したパフォーマンスを実現できます。エキスパートの混合は、モデルが著しく少ない計算能力で事前学習されることを可能にします。これにより、モデルやデータセットのサイズを大幅に拡大することができるため、計算予算を増やさずに行うことができます。 MoEレイヤーにはルーターネットワークが組み込まれており、どのエキスパートがどのトークンを効率的に処理するかを選択します。12Bパラメータの密なモデルよりも4倍のパラメータを持っているにもかかわらず、Mixtralのモデルは、各タイムステップごとに2つのエキスパートが選択されるため、高速でデコードできます。 Mixtral 8x7bは32,000トークンのコンテキスト長の容量を持ち、Llama 2 70Bを上回り、さまざまなベンチマークでGPT3.5と比較可能または優れた結果を示しています。研究者は、このモデルがさまざまなアプリケーションに対して柔軟に対応できると述べています。それは多言語対応であり、英語、フランス語、ドイツ語、スペイン語、イタリア語で流暢さを示しています。また、コーディングの能力も優れており、HumanEvalテストで40.2%のスコアを獲得し、包括的な自然言語処理ツールであることが確認されました。 Mixtral Instructは、MT-BenchやAlpacaEvalなどの業界標準でのパフォーマンスを示しました。MT-Benchでは、他のどのオープンアクセスモデルよりも優れたパフォーマンスを発揮します。また、7,000,000,000のパラメータを持っているにもかかわらず、このモデルは8つのアンサンブルのように機能します。56,000,000,000のスケールには達しませんが、総パラメータ数はおよそ45,000,000,000です。また、Mixtral Instructはインストラクションやチャットモデルの領域で優れた性能を発揮し、その支配的な地位を確立しています。 Mixtral Instructのベースモデルには、他のベースモデルと整合する特定のプロンプト形式がありません。この柔軟性により、ユーザーは入力シーケンスをスムーズに信憑性のある継続に拡張したり、ゼロショット/フューショットの推論に利用したりすることができます。ただし、事前トレーニングのデータセットの寸法、構成、および前処理方法についての完全な情報はまだ不明です。同様に、Mixtral InstructモデルのDPO（ドメイン提供目的）およびSFT（いくつかのファインチューニング）に使用されるファインチューニングデータセットと関連するハイパーパラメータも不明です。要約すると、Mixtral…

2023年に再訪するトップの生成AI GitHubリポジトリ

はじめに 2023年も終わりに近づき、人工知能の領域は忍び足で進化を続けています。最新の進歩について追いかけることは、動く標的を追うようなものです。幸いにも、GitHubの活気あるエコシステムの中には、貴重な情報源が数多く存在しています。ここでは、2024年を含む将来のAI学習のためのスプリングボードとなる、トップのAI GitHubリポジトリを紹介します。この厳選されたリストは完全ではありませんが、関連性、インパクト、および好奇心を刺激する潜在能力により、それぞれのリポジトリが評価されています。 Hugging Face / Transformers 117k スター | 23.3k フォークこのリポジトリは、自然言語処理（NLP）に興味のある人々にとって宝庫です。BERT、RoBERTa、T5などのさまざまな事前学習済みのTransformerベースのモデル、詳細なドキュメント、チュートリアル、そして活気あるコミュニティがホスティングされています。主な特徴幅広い事前学習済みモデル、包括的なドキュメント、活発なコミュニティサポート、多様なアプリケーションの可能性、他のライブラリとの簡単な統合。このGenerative AI GitHubリポジトリを探索するには、ここをクリックしてください。 Significant Gravitas / AutoGPT 155k スター…

大規模な言語モデルについて企業が知っておくべきこと

大規模な言語モデルは、ビジネスコミュニケーション、コンテンツ作成、データ分析を変革しますビジネスにおける主な機能と利点を探るために読んでみてください

「vLLMの解読：言語モデル推論をスーパーチャージする戦略」

イントロダクション大規模言語モデル（LLM）は、コンピュータとの対話方法を革新しました。しかし、これらのモデルを本番環境に展開することは、メモリ消費量と計算コストの高さのために課題となることがあります。高速なLLM推論とサービングのためのオープンソースライブラリであるvLLMは、PagedAttentionと呼ばれる新しいアテンションアルゴリズムと連携して、これらの課題に対処します。このアルゴリズムは効果的にアテンションのキーと値を管理し、従来のLLMサービング方法よりも高いスループットと低いメモリ使用量を実現します。学習目標この記事では、以下の内容について学びます： LLM推論の課題と従来のアプローチの制約を理解する。 vLLMとは何か、そしてどのように機能するのか理解する。 vLLMを使用したLLM推論のメリット。 vLLMのPagedAttentionアルゴリズムがこれらの課題を克服する方法を発見する。 vLLMを既存のワークフローに統合する方法を知る。この記事はData Science Blogathonの一環として公開されました。 LLM推論の課題 LLMは、テキスト生成、要約、言語翻訳などのタスクでその価値を示しています。しかし、従来のLLM推論手法でこれらのLLMを展開することはいくつかの制約を抱えています：大きなメモリフットプリント：LLMは、パラメータや中間アクティベーション（特にアテンションレイヤーからのキーと値のパラメータ）を保存するために大量のメモリを必要とし、リソースに制約のある環境での展開が困難です。スループットの限定：従来の実装では、大量の同時推論リクエストを処理するのが難しく、スケーラビリティと応答性が低下します。これは、大規模言語モデルが本番サーバーで実行され、GPUとの効果的な連携が行えない影響を受けます。計算コスト：LLM推論における行列計算の負荷は、特に大規模モデルでは高額になることがあります。高いメモリ使用量と低いスループットに加えて、これによりさらにコストがかかります。 vLLMとは何か vLLMは高スループットかつメモリ効率の良いLLMサービングエンジンです。これは、PagedAttentionと呼ばれる新しいアテンションアルゴリズムと連携して、アテンションのキーと値をより小さな管理しやすいチャンクに分割することで効果的に管理します。このアプローチにより、vLLMのメモリフットプリントが削減され、従来のLLMサービング手法と比べて大きなスループットを実現することができます。テストでは、vLLMは従来のHuggingFaceサービングよりも24倍、HuggingFaceテキスト生成インファレンス（TGI）よりも2〜5倍高速になりました。また、連続的なバッチ処理とCUDAカーネルの最適化により、インファレンスプロセスをさらに洗練させています。 vLLMのメリット vLLMは従来のLLMサービング手法よりもいくつかの利点を提供します：高いスループット：vLLMは、最も人気のあるLLMライブラリであるHuggingFace Transformersよりも最大24倍の高いスループットを実現できます。これにより、より少ないリソースでより多くのユーザーに対応することができます。低いメモリ使用量：vLLMは、従来のLLMサービング手法と比べて非常に少ないメモリを必要とするため、ソフトハードウェアのプラットフォームに展開する準備ができています。…

「Phi-2解放：コンパクトで輝かしい言語モデル」

最近、Microsoft ResearchのMachine Learning Foundationsチームは、彼らの小さな言語モデル（SLM）のスイートの最新バージョンであるPhi-2を発表しました。パラメーター数が27億に上るPhi-2は、驚くほどコンパクトなフレームワーク内で非凡な推論力と言語理解能力を発揮し、期待を裏切るものです。 Phi-2謎解き Phi-2の登場は、その前身であるPhi-1とPhi-1.5の成功に続くものです。研究チームは、言語モデルのスケーリングにおけるユニークなアプローチを開拓し、サイズだけがすべてではないことを示しました。トレーニングデータの品質と革新的なスケーリング技術に焦点を当てることで、Phi-2は自身よりも25倍も大きいモデルに劣らず、さらに優れたパフォーマンスを発揮します。品質が数量を凌駕する Phi-2の成功の要点は、チームがトレーニングデータの品質に重点を置いていることにあります。以前の研究「テキストブックが必要なすべて」に続いて、研究者たちは合成データセットと厳選されたウェブデータを組み合わせてモデルに常識的な推論と一般的な知識を植え付けることを目指しました。この緻密なデータキュレーションのアプローチが、Phi-2の優れたパフォーマンスへの道を開きました。革新的なスケーリング技術研究チームは、Phi-1.5モデルの知識をPhi-2に埋め込むという新たな知識転送アプローチを採用しました。これにより、トレーニングの収束が加速されるだけでなく、Phi-2のベンチマークスコアにおいて明確な性能向上が示されました。この革新的なスケーリング技術によって、Phi-2は他と一線を画し、戦略的なモデル開発の力を示しています。 Phi-2のトレーニングの歩み Phi-2は、次の単語予測目標を持つTransformerベースのモデルであり、合成データセットとウェブデータから合計14兆トークンに対してトレーニングを行いました。驚くべきことに、96台のA100 GPUでわずか14日間のトレーニングを実施し、効率性と効果性を示しました。Phi-2は、人間のフィードバックからの強化学習や命令による微調整を行っていないにもかかわらず、有害性や偏見に関して優れた振る舞いを示しています。 Phi-2の評価での勝利 Phi-2の優れた性能は、ミストラルやラマ2などのより大きなモデルを凌駕し、コーディングや数学などのマルチステップの推論タスクで卓越した成績を収めています。驚くべきことに、最近発表されたGoogleのジェミニナノ2を上回り、そのサイズの小ささにもかかわらず優れた性能を発揮します。研究者たちはモデルの評価における課題を認識していますが、Phi-2が一貫して自らの能力を証明できる具体的な使用例でのテストの重要性を強調しています。私たちの考え Phi-2の優れたパフォーマンスは、大きなモデルが常に良い結果を意味するという常識に挑戦しています。そのコンパクトなサイズは、研究や開発の新たな可能性を開き、機械的解釈可能性、安全性の向上、およびさまざまなタスクにおける微調整実験を探求するための理想的なプレイグラウンドとなります。Microsoft Researchは、自然言語処理の未来を新たな情熱で探求するために、Phi-2を活用して限界を押し広げる姿勢を示しています。 Phi-2は、人工知能と言語理解の領域において、小さな言語モデルに宿る驚くべき力を証明し、効率性と効果性の新たな時代を切り開いています。

ジェンAIに関するトップ10の研究論文

イントロダクション自然言語理解の常に進化する風景の中で、研究者たちは革新的なアプローチを通じて可能性の限界を em>押し上げることを続けています。本記事では、生成AI（GenAI）に関する画期的な研究論文のコレクションについて探求していきます。これらの研究は、人間の好みとの一致度向上からテキストの説明から3Dコンテンツを生成するという様々な側面にわたって言語モデルを探究しています。これらの研究は学術的な論議に貢献すると同時に、自然言語処理の未来を形作る可能性のある実践的な洞察を提供しています。これらの啓発的な調査を通じて旅を始めましょう。 GenAIに関するトップ10の研究論文 GenAIに関する数百の研究論文の中から、以下は私たちのトップ10の選り抜きです。 1. 生成プリトレーニングによる言語理解の向上この研究論文は、非教示型のプリトレーニングと教示型のファインチューニングを組み合わせて自然言語理解タスクを強化するための半教師付きアプローチを探求しています。この研究では、Transformerアーキテクチャに基づいたタスクに依存しないモデルを利用しています。これにより、多様な未ラベルのテキストでの生成プリトレーニングとその後の識別的ファインチューニングによって、さまざまな言語理解ベンチマークでのパフォーマンスが大幅に向上することが明らかになりました。このモデルは、常識的な推論において8.9%、質問応答において5.7%、テキスト言い換えにおいて1.5%といった注目すべき改善を達成しました。この研究は、大規模な未ラベルのコーパスをプリトレーニングに活用し、ファインチューニング中のタスクに意識した入力変換を行うことが、教師なし学習を自然言語処理や他の領域で進めるための貴重な洞察を提供しています。論文はこちらで入手できます：https://s3-us-west-2.amazonaws.com/openai-assets/research-covers/language-unsupervised/language_understanding_paper.pdf 2. 人間フィードバックを用いた強化学習：悲観主義を通じたダイナミックな選択の学習この生成AIに関する研究論文は、オフラインでの人間フィードバックによる強化学習（RLHF）の難しい領域に深入りしています。この研究は、人間の選択に影響を受けたトラジェクトリの集合から、マルコフ決定過程（MDP）における人間の基盤と最適方策を把握することを目指しています。この研究は、経済計量学に根ざしたダイナミックディスクリートチョイス（DDC）モデルに焦点を当て、有界合理性を持った人間の意思決定をモデル化します。提案されたDynamic-Choice-Pessimistic-Policy-Optimization（DCPPO）メソッドは、次の3つのステージで構成されています。それらは、人間の行動方針と価値関数の推定、人間の報酬関数の再現、および事実に近い最適方策のための悲観的価値反復の呼び出しです。この論文は、動的なディスクリートチョイスモデルによるオフポリシーオフラインRLHFについての理論的な保証を提供しています。分布のシフトや次元のサブオプティマリティの課題への対処についての洞察も提供しています。論文はこちらで入手できます：https://arxiv.org/abs/2305.18438 3. ニューラル確率言語モデルこの研究論文は、次元の呪いによって生じる統計的言語モデリングの課題に取り組み、未見の単語の連続列に対して一般化する難しさに焦点を当てています。提案された解決策は、単語の分散表現を学習することで、各トレーニング文がモデルに対して意味的に隣接する文について情報を提供することを可能にします。単語の表現と単語列の確率関数を同時に学習することで、モデルは一般化性能を向上させることができます。ニューラルネットワークを用いた実験結果は、最先端のn-gramモデルに比べて大幅な改善を示しており、長い文脈を活用するアプローチの効果を示しています。論文は、学習された分散表現によって次元の課題に対処するモデルの能力を強調しながら、潜在的な将来の改善の可能性についても言及しています。論文はこちらで入手できます：https://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf 4. BERT：言語理解のための深層双方向トランスフォーマーの事前学習 GenAIの研究論文では、未ラベル化されたテキストに対して双方向の事前学習を行うために設計された画期的な言語表現モデルであるBERTが紹介されています。従来のモデルとは異なり、BERTはすべてのレイヤーで左右の文脈に依存し、タスク固有の修正を最小限に抑えながら微調整を可能にします。BERTはさまざまな自然言語処理タスクで最先端の結果を実現し、その簡潔さと実証的なパワーを示しています。この論文では既存の技術の制約に対処し、言語表現のための双方向の事前学習の重要性を強調しています。BERTのマスクされた言語モデル目的は、深い双方向のTransformer事前学習を促進し、タスク固有のアーキテクチャへの依存を減らし、11のNLPタスクの最先端の技術を前進させています。…

「2024年の包括的なNLP学習パス」

紹介 2023年は、バード、ジェミニ、そしてChatGPTのような強力な言語モデルの台頭により、自然言語処理（NLP）で画期的な進展がありました。これらの驚異は、単なるAIの進化の見事な快挙だけでなく、機械が前例のない正確さと流暢さで人間の言語を理解し生成できる新たな時代の始まりを意味しています。パーソナライズされたチャットボットからリアルタイム翻訳まで、NLPはテクノロジーと私たちとのインタラクションの方法を革新しています。これらのアプリケーションがますます普及するにつれて、NLPの習得は単なる技能ではなく、必要不可欠なものとなります。これを念頭に置いて、2024年にNLPの専門家になるための6ヶ月間のステップバイステップの学習パスを作成しました。このNLPの学習パスでは、事前に知っておく必要のある事項から始めます。その後、月ごとに学習と実践が必要な内容を具体的にご案内いたします。さあ、始めましょう！ 2024年の包括的なNLP学習パス概要 Natural Language Processing (NLP)に興味はありますか？それなら、この学習パスがおすすめです！初心者でもわかりやすいように設計されており、6ヶ月でNLPの基礎を学ぶことができます。何を学ぶことができますか？ Month 1: Pythonと基本的な機械学習のスタート。NLPのための統計、確率、およびディープラーニングの概念を学びましょう。 Month 2 & 3: テキスト処理技術、単語埋め込み、PyTorchやTensorFlowなどのディープラーニングフレームワークのマスター。テキスト要約や機械翻訳の最初のプロジェクトを作成しましょう。 Month 4 & 5: BERTやGPT-3などの強力な事前学習モデルを発見しましょう。転移学習、プロンプトエンジニアリング、ファインチューニングの技術を学びましょう。大規模な言語モデルでアプリケーションを作成しましょう。 Month…

Learn more about Search Results Transformer - Page 10