Search Results prompt engineering

『Re Invent 2023の私のお勧め』

ここに私のお気に入りのリストがありますが、特定の順序はありません (Koko ni watashi no okiniiri no risuto ga arimasu ga, tokutei no junjo wa arimasen.)

「ChatGPTを使ったデータサイエンスワークフローのマスター」

この記事では、データサイエンティストがChatGPTの能力を最大限に活用するために学べるスキルに焦点を当てています

language models

イントロダクション技術がますます進化する中、人工知能（AI）の領域は拡大するだけでなく、ジェネラティブAIという様々なサブフィールドにも多様化しています。創造性とAIの融合であるジェンAIは、世界中の産業を変革する準備が整っています。業界の予測によると、ジェンAIセクターは2032年までに驚くべき1.3兆ドルの産業に成長すると予想されています。自身の専門分野を築きたいという意欲的なプロフェッショナルのために、独占的な書籍のページの中には待ち望まれる知識がたくさんあります。ここでは、ジェンAI愛好家が読むべき必須の５冊を厳選して紹介します。「The Artificial Intelligence and Generative AI Bible：[5 in 1] 最も最新かつ完全なガイド」 by Alger Fraley 評価：4.4 『The Artificial Intelligence and Generative AI Bible』は、ジェンAIの複雑な領域を簡素化した包括的な書籍です。AIの基礎、深層学習、NLP、倫理、そして将来の応用に分割された５つの必須セクションで構成されています。この本は複雑な概念を分解し、多様な産業にわたる実践的な洞察と現実の例を提供します。理論だけでなく、倫理的な考慮事項を説明し、AIの潜在的な影響を紹介します。将来に焦点を当てたアプローチで、読者の好奇心を刺激し、革新的な解決策にAIの力を活用する力を与えます。初心者から専門家まで、AIの変革的な能力を理解し活用するための指南となります。「Ripples…

AIの進歩における倫理的な課題のナビゲーション

「AIの進展に伴う倫理的な課題の多面的な景観を探求してみましょうAIが社会により統合されるにつれて倫理と責任に関する懸念をどのように対処するかについて、詳細な視点を提供します」

Tech

VoAGIニュース、11月29日：機械学習をマスターするための5つの無料コース• ChatGPTで魅力的なデータ可視化

今週のVoAGIでは、無料の機械学習コースで機械学習モデルの構築方法を学び始めましょうChatGPTがわずか数語で驚くほど素晴らしいデータビジュアライゼーションを作成する様子をご覧くださいさらに、その他にもたくさんの情報があります！

NEWS

ジェネラティブAIとプロンプトエンジニアリングを学ぶための5つの無料リソース

プロンプトエンジニアリングは技術スキルのワイルドウェストになりつつありますこの分野はまだ幼いですが、プロンプトエンジニアになりたい場合に活用できるリソースが増えてきていますそれ自体が目標ではなく、単に学びたいだけでも…

「前方予測デコーディング」：LLM推論を加速するための並列デコーディングアルゴリズム

大規模な言語モデル（LLM）であるGPT-4やLLaMAなどは現代のアプリケーションを再構築し続けているが、推論は遅く最適化が困難であるため、自己回帰デコーディングに基づいている。LLMのリクエストの遅延は、リクエストの回答の長さ、または同等の復号化ステップの数にほとんど依存しており、自己回帰デコーディングの各ステップでは時間ごとに1つのトークンしか生成されないため、現在のGPUの並列処理能力は一般的に十分に活用されていない。これは、チャットボットや個人アシスタントなどの実用的なLLMアプリケーションでは問題となり、瞬時の応答を必要とするため、低レイテンシで大規模なシーケンスを頻繁に生成することになる。自己回帰デコーディングは、メドゥーサとOSDのような先読みデコーディング手法を使用することで高速化することができる。これらの手法は、「予測して確認する」という戦略を採用し、予備モデルが将来のいくつかの可能なトークンについて予測し、オリジナルのLLMがこれらの予測を並列で確認する。これにより、デコードのステップ数が少なくて済む場合にレイテンシを削減することができる。しかし、これらの手法には制約もある。まず、ドラフトモデルが主モデルの出力を適切に予測することができる割合、または同等のトークン受理率は、先読みデコーディング手法が達成できる最大の高速化の上限である。第二に、信頼性のある予備モデルを開発することは容易ではなく、通常はトラフィックの時間的な変動を考慮してトレーニングと細かい調整が必要となる。 LMSYS ORGによる新しい研究では、これらの困難に対処するために開発された新しい正確なデコーディング技術である「先読みデコーディング」を紹介している。1つのステップで多くの後続トークンをデコードすることは計算上制約がありますが、LLMは複数の直交n-gramを同時に生成できることが観察されています。これらのn-gramは将来のシーケンスの一部に適用することができます。従来のヤコビ反復法は並列デコーディングに適応され、自己回帰デコーディングを非線形方程式の解と見なすことが可能になります。生成されたn-gramは記録され、確認後、シーケンスに組み込まれます。先読みデコーディングは特に次のような点で注目に値するです。事前モデルを使用しないため、展開が高速化されます。各ステージごとにデコードのステップ数をlog(FLOPs)倍減少させる研究者は、先読みデコーディングがレイテンシを1.5倍から2.3倍低減することを実証しています。特に、ほとんど計算負荷を増やすことなく処理を削減することが可能です。ただし、利点は限定的です。彼らは自分たちの実装を作成し、huggingface/transformersとの互換性を持つように先読みデコーディングを作動させています。HuggingFaceはネイティブ生成関数を提供していますが、ユーザーはわずかなコードで効率を大幅に向上させることができます。ヤコビ反復法は非線形システムを解決するための確立された技術です。LLM推論は事前トレーニングモデルを必要とせず、並列にトークンを作成するためにも使用することができます。ヤコビデコーディングでは、各ステップで1つ以上のトークンに対してLLMの前方計算が行われるため、自己回帰デコーディングの各ステップよりもFLOPが多く必要です。研究者は、実世界のアプリケーションにおいてヤコビデコーディングのウォールクロック性能を大幅に改善しようとする際に遭遇するいくつかの困難を観察しています。ヤコビデコーディングは、多くのトークンを複数のステップでデコードすることができますが、トークンの順序がしばしば間違ってしまいます。適切に予測された場合でも、トークンは次のサイクルで置き換えられることがよくあります。そのため、わずかな反復で複数のトークンを同時に正確にデコードすることはできません。これにより、並列デコーディングを使用する目的が無効化されます。一般に、グラフィックス処理ユニットの並列処理能力のおかげで、パフォーマンスの低下は起こりません。先読みデコーディングは、ヤコビデコーディングの並列n-gram生成能力を生かすことで、これらの欠点を克服することができます。ある時点での各新しいトークンは、ヤコビデコーディングで前の反復のその位置の値を使用してデコードされます。このプロセスにより、多くのn-gramが形成され、各トークン位置の過去のトークンのタイムラインが作成されます。これを活用するため、先読みデコーディングではこれらのn-gramが軌跡に基づいて収集され、キャッシュされます。先読みデコーディングは、将来のトークンに対してヤコビ反復を使用した並列デコーディングを実行しながら、キャッシュから期待されるn-gramを同時に確認します。各先読みデコードフェーズは、効率を向上させるために、先読みブランチと検証ブランチの2つの並行したブランチに分割されます。Jacobi反復軌跡からn-gramを生成するため、先読みブランチは定数サイズの二次元ウィンドウを保持します。同時に、有望なn-gramの候補は検証ブランチによって選択され、確認されます。 LLMデコードにおいて主要なボトルネックはメモリーバンド幅であるため、研究者は先読みブランチと検証ブランチを1回の通過に組み合わせ、関連するオーバーヘッドを隠蔽しながらGPUの並列処理能力を活用します。研究チームは、LLaMA-2-ChatとCodeLLaMAの異なるサイズをMT-bench、HumanEval、GSM8Kでテストし、先読みデコードの有効性を確認しました。先読みデコード技術は、微調整や事前モデルの必要性なしに高速化を実現します。彼らはfp16精度の下で、単一のA100 GPUで7B、13B、33Bモデルを評価し、2つのA100 GPUで70Bモデルをパイプライン並列処理します。 MT-Bench LLaMA Discussion: 多くのモデル構成で、先読みデコードによるスピードアップは約1.5倍です。 HumanEval’s CodeLLaMA: CodeLLaMAでは、先読みデコードを使用するとHumanEvalのレイテンシが2倍以上減少します。これは、コードには数多くの容易に推測可能なN-gramが含まれているためです。 GSM8Kの教育用CodeLLaMA: 先読みデコードにより、CodeLLama-InstructorをGSM8Kの数学的な課題に適用することで、レイテンシが1.8倍減少します。…

「SnapLogicがAmazon Bedrockを使用してテキストからパイプラインアプリケーションを構築し、ビジネスの意図を行動に変換します」

この投稿は、SnapLogicのChief ScientistであるGreg Benson、Sr. Product ManagerであるAaron Kesler、Enterprise Solutions ArchitectであるRich Dillと共同で執筆されました多くのお客様がAmazon BedrockとAmazon CodeWhisperer上で生成型AIアプリを構築し、自然言語に基づくコードアーティファクトを作成していますこのユースケースでは、大規模な言語モデル（LLM）がどのようにして[…]を行っているかを強調しています

大規模な言語モデルをマスターするための包括的な資源リスト

大規模言語モデル（LLM）は、さまざまなアプリケーションの重要な一部となりましたこの記事では、LLMの世界に飛び込みたいと思う人々のための豊富な情報源のリストを提供しています

language models

VoAGIニュース、11月22日：パンダとの7つの必須データ品質チェック•2024年に試してみるべき5つのベクトルデータベースのベスト

今週のVoAGIでは、pandasを使用してデータ品質チェックの方法を学びます欠損したレコードや外れ値、一貫性のないデータ入力などを検出しますまた、トップのベクトルデータベースは、AIアプリケーションのためのベクトルエンベディングの格納、インデックス付け、クエリにおいて、その多様性、パフォーマンス、スケーラビリティ、一貫性、効率的なアルゴリズムで知られています

NEWS

Learn more about Search Results prompt engineering - Page 7