Search Results ML

「Amazon SageMaker Pipelinesを使用した機械学習ワークフローの構築のためのベストプラクティスとデザインパターン」

この投稿では、SageMakerパイプラインの価値を最大化し、開発体験をシームレスにするためのベストプラクティスをいくつか紹介しますまた、SageMakerパイプラインを構築する際の一般的なデザインシナリオとパターンについても説明し、それらに対処するための例も提供します

Amazon CloudWatchで、ポッドベースのGPUメトリクスを有効にします

この記事では、コンテナベースのGPUメトリクスの設定方法と、EKSポッドからこれらのメトリクスを収集する例について詳しく説明します

「過去のデータ、Ray、およびAmazon SageMakerを使用して装置のパフォーマンスを最適化する」

この記事では、Amazon SageMakerを使用してRayのRLlibライブラリを使って、過去のデータのみを使用して最適な制御ポリシーを見つけるためのエンドツーエンドのソリューションを構築します強化学習についてもっと学ぶには、Amazon SageMakerで強化学習を使用するを参照してください

BYOL（Bootstrap Your Own Latent）— コントラスティブな自己教示学習の代替手段

『今日の論文分析では、BYOL（Bootstrap Your Own Latent）の背後にある論文に詳しく触れますこれは、対比的な自己教師あり学習技術の代替手法を提供します...』

「カタストロフィックな忘却を防ぎつつ、タスクに微調整されたモデルのファインチューニングにqLoRAを活用する：LLaMA2(-chat)との事例研究」

大規模言語モデル（LLM）のAnthropicのClaudeやMetaのLLaMA2などは、さまざまな自然言語タスクで印象的な能力を示していますしかし、その知識とタスク固有の...

「ODSC West 2023 予備スケジュールを発表します」

「ODSC West 2023」は数か月後に迫っており、私たちは皆さんと当初のスケジュールを共有できることを非常に楽しみにしています！スケジュールは当社のウェブサイトでこちらでご確認いただけますが、以下では何を期待できるかの詳細をお読みください...

「ChatGPTを再び視覚させる：このAIアプローチは、リンクコンテキスト学習を探求してマルチモーダル学習を可能にします」

言語モデルは、連続的で文脈に即したテキストを生成する能力により、コンピュータとのコミュニケーション方法を革新しました。大規模な言語モデル（LLM）は、人間の言語のパターンや微妙なニュアンスを学習するために、膨大な量のテキストデータにトレーニングされ、この進歩の最前線に立っています。LLMの革命の先駆者であるChatGPTは、さまざまな学問分野の人々に非常に人気があります。 LLMの非常に高い能力のおかげで、様々なタスクが容易になりました。テキストの要約、メールの作成支援、コーディングタスクの自動化、ドキュメントの説明などに使用されます。これらのタスクは、1年前にはかなり時間がかかるものでしたが、今ではわずか数分で完了します。しかし、テキスト、画像、さらにはビデオなど、さまざまなモダリティをまたがってコンテンツを処理および生成する必要があるマルチモーダル理解の需要が増えてきており、マルチモーダル大規模言語モデル（MLLM）の必要性が浮上しています。MLLMは、言語モデルの力を視覚理解と組み合わせることで、機械がより包括的で文脈に即した方法でコンテンツを理解および生成することを可能にします。 ChatGPTのブームが少し収まった後、MLLMがAI界に台風のように吹き荒れ、テキストと画像をまたがるコンテンツの理解と生成を可能にしました。これらのモデルは、画像認識、ビジュアルグラウンディング、指示の理解などのタスクで驚異的なパフォーマンスを示しています。ただし、これらのモデルを効果的にトレーニングすることは依然として課題です。最大の課題は、MLLMが画像とラベルの両方が未知の完全に新しいシナリオに遭遇した場合です。さらに、MLLMは、より長いコンテキストを処理する際に「中途で迷子になる」傾向があります。これらのモデルは、始まりと中間の位置に大きく依存しているため、ショット数が増えるにつれて正確性が停滞することを説明しています。そのため、MLLMはより長い入力に苦労します。それでは、さあリンクコンテキスト学習（LCL）に会いましょう。提案されたリンクコンテキスト学習のデモダイアログ。出典:https://arxiv.org/abs/2308.07891 MLLMには2つの主要なトレーニング戦略があります。マルチモーダルプロンプトチューニング（M-PT）とマルチモーダルインストラクションチューニング（M-IT）です。M-PTは、モデルの一部のパラメータのみを微調整し、他の部分は凍結したままにするアプローチです。このアプローチにより、計算リソースを最小限に抑えながら、完全な微調整と同様の結果を達成することができます。一方、M-ITは、指示の説明を含むデータセットでMLLMを微調整することにより、ゼロショットの能力を向上させます。この戦略により、事前のトレーニングなしで新しいタスクを理解し、応答するモデルの能力が向上します。これらはうまく機能しますが、どちらも一部の側面を犠牲にしています。インコンテキスト学習とリンクコンテキスト学習の違い。出典:https://arxiv.org/abs/2308.07891 その代わりに、LCLは異なるトレーニング戦略を探求しています：ミックス戦略、2ウェイ戦略、2ウェイランダム、2ウェイウェイト。ミックス戦略はゼロショットの正確性を大幅に向上させ、6ショットで印象的な結果を達成することで注目されます。ただし、16ショットではパフォーマンスがわずかに低下します。これに対して、2ウェイ戦略は、2ショットから16ショットまでの正確性が徐々に向上しており、トレーニングされたパターンとのより密な一致を示しています。従来の文脈学習とは異なり、LCLはモデルに源と目標の間のマッピングを確立させることで、全体的なパフォーマンスを向上させます。因果関係を持つデモンストレーションを提供することで、LCLはMLLMに類推だけでなく、データ点間の潜在的な因果関係も識別できるようにし、未知の画像を認識し、新しい概念をより効果的に理解することができます。ISEKAIデータセットは、リンクコンテキスト学習の文脈でMLLMの能力を評価および向上させるための重要なリソースとして機能します。さらに、LCLはISEKAIデータセットを導入し、MLLMの能力を評価するために特別に設計された新しい包括的なデータセットです。ISEKAIデータセットには完全に生成された画像と作り出された概念が含まれています。これにより、MLLMは進行中の会話から新しい概念を吸収し、正確な質問応答のためにこの知識を保持することに挑戦されます。結論として、LCLはマルチモーダル言語モデルのトレーニング戦略に関する貴重な洞察を提供します。混合戦略と2ウェイ戦略は、MLLMのパフォーマンスを向上させるための異なるアプローチを提供し、それぞれ独自の強みと制約があります。文脈分析は、長い入力を処理する際にMLLMが直面する課題に光を当て、この領域でのさらなる研究の重要性を強調しています。

ML Model Development

Learn more about Search Results ML - Page 275

「Amazon SageMaker Pipelinesを使用した機械学習ワークフローの構築のためのベストプラクティスとデザインパターン」

Amazon CloudWatchで、ポッドベースのGPUメトリクスを有効にします

「過去のデータ、Ray、およびAmazon SageMakerを使用して装置のパフォーマンスを最適化する」

BYOL（Bootstrap Your Own Latent）— コントラスティブな自己教示学習の代替手段

「カタストロフィックな忘却を防ぎつつ、タスクに微調整されたモデルのファインチューニングにqLoRAを活用する：LLaMA2(-chat)との事例研究」

「ODSC West 2023 予備スケジュールを発表します」

「ChatGPTを再び視覚させる：このAIアプローチは、リンクコンテキスト学習を探求してマルチモーダル学習を可能にします」

「生成AIをめぐる旅」

「モデルの説明可能性、再考：SHAPとそれ以上」

「機械学習のためのソフトウェアエンジニアリングパターン」

Find the right Blockchain Investment for you