Search Results 大規模な言語モデル

「QLoRAを使ってLlama 2を微調整し、AWS Inferentia2を使用してAmazon SageMakerに展開する」

この記事では、パラメータ効率の良いファインチューニング（PEFT）手法を使用してLlama 2モデルを微調整し、AWS Inferentia2上でファインチューニングされたモデルを展開する方法を紹介します AWS Neuronソフトウェア開発キット（SDK）を使用してAWS Inferentia2デバイスにアクセスし、その高性能を活用しますその後、[…]の動力を得るために、大きなモデル推論コンテナを使用します

VoAGI ニュース、12月 13日データサイエンスをマスターするための5つの超便利なチートシート• データサイエンスのためのGoogleのNotebookLMの使用：包括的なガイド

VoAGIで今週は、データサイエンス、確率・統計、SQL、機械学習、深層学習の基本的なコンセプトを網羅した超お得なチートシートのコレクション • エクスプローラーLMの機能、制限、研究者や科学者にとって必要な高度な機能についての探求 • そして、さらにたくさんの内容をお届けします！

NEWS

「ガードレールを使用して安全で信頼性のあるAIを設計する方法」

もしデザイン、構築、またはAIの実装に真剣に取り組んでいるのであれば、ガードレールの概念についてはすでに聞いたことがあるかもしれませんAIのリスクを緩和するためのガードレールの概念は新しいものではありませんが、最近の生成型AIの応用の波は、これらの議論をデータエンジニアや学者だけでなく、すべての人にとって関連性のあるものにしました...

『たった10行のコードで任意のGPUに適合するLLMを作成します』

「24ギガバイト以上のVRAMを搭載したGPUに十分なお金を持っている人って、誰ですか？特に、それを試してみたり、使ってみたり、ローカルで実行して遊びたいだけなのに！私たちは…」

2023年に再訪するトップの生成AI GitHubリポジトリ

はじめに 2023年も終わりに近づき、人工知能の領域は忍び足で進化を続けています。最新の進歩について追いかけることは、動く標的を追うようなものです。幸いにも、GitHubの活気あるエコシステムの中には、貴重な情報源が数多く存在しています。ここでは、2024年を含む将来のAI学習のためのスプリングボードとなる、トップのAI GitHubリポジトリを紹介します。この厳選されたリストは完全ではありませんが、関連性、インパクト、および好奇心を刺激する潜在能力により、それぞれのリポジトリが評価されています。 Hugging Face / Transformers 117k スター | 23.3k フォークこのリポジトリは、自然言語処理（NLP）に興味のある人々にとって宝庫です。BERT、RoBERTa、T5などのさまざまな事前学習済みのTransformerベースのモデル、詳細なドキュメント、チュートリアル、そして活気あるコミュニティがホスティングされています。主な特徴幅広い事前学習済みモデル、包括的なドキュメント、活発なコミュニティサポート、多様なアプリケーションの可能性、他のライブラリとの簡単な統合。このGenerative AI GitHubリポジトリを探索するには、ここをクリックしてください。 Significant Gravitas / AutoGPT 155k スター…

「なぜマイクロソフトのOrca-2 AIモデルは持続可能なAIにおいて重要な進展を示すのか？」

「マイクロソフトのOrca-2が持続可能なAIへの画期的な進歩を遂げていることを発見してください大規模な言語モデル（LLM）のエネルギー消費が激しい性質から解放されたOrca-2は、サイズよりも知的なデザインを重視することで既成概念に挑戦しますこの転換が、高度なAIを包括的で、環境負荷の少ない、影響力のあるものにする新たな可能性を示していることを学んでくださいOrca-2の意義を探り、技術の進歩と環境責任への取り組みを調和させる持続可能なAIの未来の形成における役割を探ってください」

「vLLMの解読：言語モデル推論をスーパーチャージする戦略」

イントロダクション大規模言語モデル（LLM）は、コンピュータとの対話方法を革新しました。しかし、これらのモデルを本番環境に展開することは、メモリ消費量と計算コストの高さのために課題となることがあります。高速なLLM推論とサービングのためのオープンソースライブラリであるvLLMは、PagedAttentionと呼ばれる新しいアテンションアルゴリズムと連携して、これらの課題に対処します。このアルゴリズムは効果的にアテンションのキーと値を管理し、従来のLLMサービング方法よりも高いスループットと低いメモリ使用量を実現します。学習目標この記事では、以下の内容について学びます： LLM推論の課題と従来のアプローチの制約を理解する。 vLLMとは何か、そしてどのように機能するのか理解する。 vLLMを使用したLLM推論のメリット。 vLLMのPagedAttentionアルゴリズムがこれらの課題を克服する方法を発見する。 vLLMを既存のワークフローに統合する方法を知る。この記事はData Science Blogathonの一環として公開されました。 LLM推論の課題 LLMは、テキスト生成、要約、言語翻訳などのタスクでその価値を示しています。しかし、従来のLLM推論手法でこれらのLLMを展開することはいくつかの制約を抱えています：大きなメモリフットプリント：LLMは、パラメータや中間アクティベーション（特にアテンションレイヤーからのキーと値のパラメータ）を保存するために大量のメモリを必要とし、リソースに制約のある環境での展開が困難です。スループットの限定：従来の実装では、大量の同時推論リクエストを処理するのが難しく、スケーラビリティと応答性が低下します。これは、大規模言語モデルが本番サーバーで実行され、GPUとの効果的な連携が行えない影響を受けます。計算コスト：LLM推論における行列計算の負荷は、特に大規模モデルでは高額になることがあります。高いメモリ使用量と低いスループットに加えて、これによりさらにコストがかかります。 vLLMとは何か vLLMは高スループットかつメモリ効率の良いLLMサービングエンジンです。これは、PagedAttentionと呼ばれる新しいアテンションアルゴリズムと連携して、アテンションのキーと値をより小さな管理しやすいチャンクに分割することで効果的に管理します。このアプローチにより、vLLMのメモリフットプリントが削減され、従来のLLMサービング手法と比べて大きなスループットを実現することができます。テストでは、vLLMは従来のHuggingFaceサービングよりも24倍、HuggingFaceテキスト生成インファレンス（TGI）よりも2〜5倍高速になりました。また、連続的なバッチ処理とCUDAカーネルの最適化により、インファレンスプロセスをさらに洗練させています。 vLLMのメリット vLLMは従来のLLMサービング手法よりもいくつかの利点を提供します：高いスループット：vLLMは、最も人気のあるLLMライブラリであるHuggingFace Transformersよりも最大24倍の高いスループットを実現できます。これにより、より少ないリソースでより多くのユーザーに対応することができます。低いメモリ使用量：vLLMは、従来のLLMサービング手法と比べて非常に少ないメモリを必要とするため、ソフトハードウェアのプラットフォームに展開する準備ができています。…

ジェンAIに関するトップ10の研究論文

イントロダクション自然言語理解の常に進化する風景の中で、研究者たちは革新的なアプローチを通じて可能性の限界を em>押し上げることを続けています。本記事では、生成AI（GenAI）に関する画期的な研究論文のコレクションについて探求していきます。これらの研究は、人間の好みとの一致度向上からテキストの説明から3Dコンテンツを生成するという様々な側面にわたって言語モデルを探究しています。これらの研究は学術的な論議に貢献すると同時に、自然言語処理の未来を形作る可能性のある実践的な洞察を提供しています。これらの啓発的な調査を通じて旅を始めましょう。 GenAIに関するトップ10の研究論文 GenAIに関する数百の研究論文の中から、以下は私たちのトップ10の選り抜きです。 1. 生成プリトレーニングによる言語理解の向上この研究論文は、非教示型のプリトレーニングと教示型のファインチューニングを組み合わせて自然言語理解タスクを強化するための半教師付きアプローチを探求しています。この研究では、Transformerアーキテクチャに基づいたタスクに依存しないモデルを利用しています。これにより、多様な未ラベルのテキストでの生成プリトレーニングとその後の識別的ファインチューニングによって、さまざまな言語理解ベンチマークでのパフォーマンスが大幅に向上することが明らかになりました。このモデルは、常識的な推論において8.9%、質問応答において5.7%、テキスト言い換えにおいて1.5%といった注目すべき改善を達成しました。この研究は、大規模な未ラベルのコーパスをプリトレーニングに活用し、ファインチューニング中のタスクに意識した入力変換を行うことが、教師なし学習を自然言語処理や他の領域で進めるための貴重な洞察を提供しています。論文はこちらで入手できます：https://s3-us-west-2.amazonaws.com/openai-assets/research-covers/language-unsupervised/language_understanding_paper.pdf 2. 人間フィードバックを用いた強化学習：悲観主義を通じたダイナミックな選択の学習この生成AIに関する研究論文は、オフラインでの人間フィードバックによる強化学習（RLHF）の難しい領域に深入りしています。この研究は、人間の選択に影響を受けたトラジェクトリの集合から、マルコフ決定過程（MDP）における人間の基盤と最適方策を把握することを目指しています。この研究は、経済計量学に根ざしたダイナミックディスクリートチョイス（DDC）モデルに焦点を当て、有界合理性を持った人間の意思決定をモデル化します。提案されたDynamic-Choice-Pessimistic-Policy-Optimization（DCPPO）メソッドは、次の3つのステージで構成されています。それらは、人間の行動方針と価値関数の推定、人間の報酬関数の再現、および事実に近い最適方策のための悲観的価値反復の呼び出しです。この論文は、動的なディスクリートチョイスモデルによるオフポリシーオフラインRLHFについての理論的な保証を提供しています。分布のシフトや次元のサブオプティマリティの課題への対処についての洞察も提供しています。論文はこちらで入手できます：https://arxiv.org/abs/2305.18438 3. ニューラル確率言語モデルこの研究論文は、次元の呪いによって生じる統計的言語モデリングの課題に取り組み、未見の単語の連続列に対して一般化する難しさに焦点を当てています。提案された解決策は、単語の分散表現を学習することで、各トレーニング文がモデルに対して意味的に隣接する文について情報を提供することを可能にします。単語の表現と単語列の確率関数を同時に学習することで、モデルは一般化性能を向上させることができます。ニューラルネットワークを用いた実験結果は、最先端のn-gramモデルに比べて大幅な改善を示しており、長い文脈を活用するアプローチの効果を示しています。論文は、学習された分散表現によって次元の課題に対処するモデルの能力を強調しながら、潜在的な将来の改善の可能性についても言及しています。論文はこちらで入手できます：https://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf 4. BERT：言語理解のための深層双方向トランスフォーマーの事前学習 GenAIの研究論文では、未ラベル化されたテキストに対して双方向の事前学習を行うために設計された画期的な言語表現モデルであるBERTが紹介されています。従来のモデルとは異なり、BERTはすべてのレイヤーで左右の文脈に依存し、タスク固有の修正を最小限に抑えながら微調整を可能にします。BERTはさまざまな自然言語処理タスクで最先端の結果を実現し、その簡潔さと実証的なパワーを示しています。この論文では既存の技術の制約に対処し、言語表現のための双方向の事前学習の重要性を強調しています。BERTのマスクされた言語モデル目的は、深い双方向のTransformer事前学習を促進し、タスク固有のアーキテクチャへの依存を減らし、11のNLPタスクの最先端の技術を前進させています。…

「2024年の包括的なNLP学習パス」

紹介 2023年は、バード、ジェミニ、そしてChatGPTのような強力な言語モデルの台頭により、自然言語処理（NLP）で画期的な進展がありました。これらの驚異は、単なるAIの進化の見事な快挙だけでなく、機械が前例のない正確さと流暢さで人間の言語を理解し生成できる新たな時代の始まりを意味しています。パーソナライズされたチャットボットからリアルタイム翻訳まで、NLPはテクノロジーと私たちとのインタラクションの方法を革新しています。これらのアプリケーションがますます普及するにつれて、NLPの習得は単なる技能ではなく、必要不可欠なものとなります。これを念頭に置いて、2024年にNLPの専門家になるための6ヶ月間のステップバイステップの学習パスを作成しました。このNLPの学習パスでは、事前に知っておく必要のある事項から始めます。その後、月ごとに学習と実践が必要な内容を具体的にご案内いたします。さあ、始めましょう！ 2024年の包括的なNLP学習パス概要 Natural Language Processing (NLP)に興味はありますか？それなら、この学習パスがおすすめです！初心者でもわかりやすいように設計されており、6ヶ月でNLPの基礎を学ぶことができます。何を学ぶことができますか？ Month 1: Pythonと基本的な機械学習のスタート。NLPのための統計、確率、およびディープラーニングの概念を学びましょう。 Month 2 & 3: テキスト処理技術、単語埋め込み、PyTorchやTensorFlowなどのディープラーニングフレームワークのマスター。テキスト要約や機械翻訳の最初のプロジェクトを作成しましょう。 Month 4 & 5: BERTやGPT-3などの強力な事前学習モデルを発見しましょう。転移学習、プロンプトエンジニアリング、ファインチューニングの技術を学びましょう。大規模な言語モデルでアプリケーションを作成しましょう。 Month…

「30+ AI ツールスタートアップのための（2023年12月）」

AIによって、職場での創造力、分析力、意思決定力が革新されています。現在、人工知能の能力は、企業が成長を促進し、内部プロセスをより良く制御するための絶大な機会を提供しています。人工知能の応用は広範で、自動化や予測分析からパーソナライゼーションやコンテンツ開発までさまざまです。以下は、若い企業が成長を加速させるために最適な人工知能ツールの概要です。 Pecan AI Pecan AIは、予測分析を自動化して、現代のビジネス課題（予算の縮小、コストの上昇、データサイエンスとAIリソースの制約）を解決します。Pecanの低コード予測モデリングプラットフォームは、データ駆動の意思決定を導き、ビジネスチームが目標を達成するのに役立つAI駆動の予測分析を提供します。直感的な低コードインターフェースで、分析者は数週間で正確なモデルを設定できます。このプラットフォームでは、顧客離脱、コンバージョン、LTV、アップセル/クロスセル予測、需要予測、マーケティングミックスモデリングなど、予測モデルの容易な実装が可能です。データの準備、特徴量エンジニアリング、モデル構築、展開、モデルの監視などを自動化します。 Pecanは汎用のプラットフォームとは異なり、特定のビジネスの関心事に合わせた実行可能な予測を提供します。個別レベルの予測は詳細な洞察を提供し、一般的なBIインターフェースやビジネスシステムと統合することができます。pecan.aiで詳細をご覧いただき、無料トライアルやガイドツアーにサインアップしてください。 Hostinger AIウェブサイトビルダー Hostingerは、スタートアップオーナーを含む、ウェブサイトを作成したいすべての人に最適なAIウェブサイトビルダーを提供しています。使いやすいインターフェースで、初心者からエキスパートまで、AIを利用して独自のオンラインプラットフォームを作成できます。このビルダーにはSEOツールやeコマース機能も付属しており、ウェブサイトをさらに最適化することができます。 AdCreative.ai AdCreative.aiを使用して、広告とソーシャルメディアの戦略を強化しましょう。この究極の人工知能ソリューションを利用することで、数秒で高変換率の広告やソーシャルメディアの投稿を生成できます。AdCreative.aiで成功を最大化し、努力を最小限に抑えましょう。 SaneBox SaneBoxの強力なAIによって、メールの整理が自動化され、その他のスマートツールによって、メールの習慣が想像以上に効率的になります。今日からSaneBoxで混乱を秩序に変えましょう。 DALL·E 2 OpenAIのDALL·E 2は、単一のテキスト入力からユニークで創造的なビジュアルを生成する最先端のAIアートジェネレーターです。AIモデルは、画像とテキストの説明の大規模なデータセットでトレーニングされており、テキストに応じて詳細でビジュアルに魅力的な画像を生成します。スタートアップは、このテキストから異なる画像を生成する手法により、広告やウェブサイト、ソーシャルメディアページでグラフィックを手動で入手する必要がなく、時間とお金を節約することができます。 Otter AI 人工知能を使用することで、Otter.AIはリアルタイムの会議のメモの音声テキスト変換を提供し、共有可能、検索可能、アクセス可能、安全なものにします。会議の音声を録音し、メモを書き、スライドを自動的にキャプチャし、要約を生成する会議アシスタントを手に入れましょう。 Notion Notionは、先進のAI技術を活用してユーザーベースを拡大しようとしています。最新の機能であるNotion AIは、ノートの要約、ミーティングのアクションアイテムの特定、テキストの作成と修正など、ユーザーをサポートする高パフォーマンスな生成AIツールです。Notion…

Learn more about Search Results 大規模な言語モデル - Page 10