Search Results SDK

CMUとプリンストンの研究者がマンバを発表：多様なモードのディープラーニングアプリケーションにおいてトランスフォーマーの効率を超えるSSMアーキテクチャの画期的な進展

現代の機械学習において、ファウンデーションモデルは、大量のデータで事前に学習され、その後に下流のタスクに対して改変されることが成功のパラダイムとなっています。シーケンスモデルは、言語、画像、音声、オーディオ、時系列、ゲノムなど、様々なドメインからの任意のシーケンス入力に対応するもので、これらのファウンデーションモデルの基礎となっています。このアイデアは特定のモデル設計には依存していませんが、トランスフォーマーとその中心となるアテンション層は、ほとんどの現代のファウンデーションモデルの基盤となっています。セルフアテンションは、情報をコンテキストウィンドウ内で緊密にルーティングすることで、複雑な事実を表現することができるため、効果的です。しかし、この性質には2つの基本的な欠点があります。1つはウィンドウの長さに関する二次的なスケーリング、もう1つは制限されたウィンドウの外部の情報を記述することができないことです。これらの欠点を解決するために、より効果的なアテンションに関連する戦略についての研究が大量に行われていますが、それらはアテンションの成功をもたらす要素と同じ品質を犠牲にすることがしばしばあります。これらのバリエーションが異なるドメイン全体でスケールで実験的に成功したという証拠はまだありません。構造化された状態空間シーケンスモデルは、新しく興味深いシーケンスモデリングアーキテクチャの一族です。これらのモデルは、従来の状態空間モデルから影響を受けており、畳み込みおよび再帰型ニューラルネットワークのハイブリッドと見なすことができます。これらのモデルは、シーケンスの長さに対して線形またはほぼ線形なスケーリングを持ち、再帰または畳み込みによって非常に高速に計算することができます。また、ロングレンジアリーナなどのベンチマークを支配しており、特定のデータモダリティにおける長距離の相互依存関係のモデリングのためのツールとなっています。多くのSSM（構造化状態空間モデル）のバリエーションが、連続的な信号データを必要とする音声やビジョンなどの領域で効果を示していますが、テキストのような離散で情報密度の高い素材のモデリングにはまだ成功していません。カーネギーメロン大学とプリンストン大学の研究チームは、従来の研究をさまざまな側面で拡張し、シーケンスの長さとの線形関係を保ちながらトランスフォーマーのようなモデリング能力を向上させる選択された状態空間モデルの新しいカテゴリを提案しています。選択メカニズム。まず、以前のモデルの重要な欠点を指摘します。それは、入力に応じてデータを効果的に選択することができないことです。研究チームは、重要な合成タスク（セレクティブコピーと誘導ヘッドなど）から得られた理解に基づいてSSMパラメータを入力によってパラメータ化することにより、簡単な選択プロセスを提供しています。これにより、モデルは不要なデータを排除しながら関連する情報を永続的に保持することができます。ハードウェア対応コード。この簡単な修正は、モデルの計算を技術的に挑戦します。以前のSSMモデルは、計算が効率的に行われるために入力や時間の不変である必要がありました。異なるレイヤー間でのGPUメモリ階層のIOアクセスを防ぐために、ハードウェア対応アプローチを使用してモデルをスキャンに基づいて再帰的に計算します。ただし、拡張された状態は具現化されません。結果として得られる実装は、現在のハードウェア上の以前の技術よりも高速であり、理論的な設計の構築です。アーキテクチャ：特定の状態空間を組み込んだ簡単で均一なアーキテクチャ設計を提供するために、以前のSSMアーキテクチャの設計とトランスフォーマーのMLPブロックを1つのブロックに組み合わせ、以前の深いシーケンスモデルの設計を簡素化します。選択的SSMとMambaアーキテクチャの主要な特徴により、これらは完全な再帰モデルとして動作するより広範な基盤モデルの基盤となることができます：（i）高品質：遺伝学や言語などの密なモダリティにおいてセレクティビティは優れたパフォーマンスを発揮します。（ii）高速な推論とトレーニング：推論中、モデルを自己回帰的に展開するためのステップごとの時間は定数であり、過去のコンポーネントのキャッシュを必要としないため、計算とメモリのスケーリングはシーケンスの長さに比例します。（iii）長いコンテキスト：品質と効率の組み合わせにより、シーケンスの長さが100万に達するまで実際のデータでのパフォーマンス向上が得られます。研究チームは、実験的な証拠をもとに、Mambaの潜在能力を汎用性のあるシーケンスFMのバックボーンとして、さまざまなモダリティや状況における事前学習品質やドメイン特化のタスクパフォーマンスに関してサポートしています：・人工材料。Mambaは、巨大な言語モデルにとって重要とされるコピーや誘導ヘッドタスクなどの重要な合成タスクを容易に解決するだけでなく、無限に長い解を予測することもできます。・ゲノミクスとオーディオ。音声波形やDNA配列のモデリングにおいて、事前学習品質や下流のメトリクスに関して、MambaはSaShiMi、Hyena、Transformersなどの従来の最先端モデルを凌ぎます。そのパフォーマンスは、両方のコンテキストで100万文字長のシーケンスまでより多くの文脈を持つことで改善されます。 • モデリング言語。マンバは、下流で実施される評価と事前学習の複雑さの両方で本当にTransformerのようなパフォーマンスを実現する最初の線形時間シーケンスモデルを表しています。研究チームは、Mambaが、LLaMaに基づく高度なTransformerトレーニングレシピを含む多くのベースラインを上回り、1Bのパラメータまでのスケーリング則に従っています。同じサイズのTransformerと比較して、彼らのMamba言語モデルは5倍の世代スループットを持ち、Mamba-3Bの品質はその2倍のサイズのTransformerと同等です。

「ノーコードアプリビルダーのトップ10（2023年12月）」

テクノロジーの絶えず進化する風景の中で、ノーコードアプリビルダーの台頭は、アプリ開発の民主化の証ですかつてはベテランプログラマーやソフトウェア開発者の領域にのみデジタルソリューションを作成する時代が終わりましたノーコードプラットフォームは、起業家やビジネスプロフェッショナル、クリエイティブな思考を持つ人々に扉を開いています[…]

「松ぼっくりベクトルデータベースとAmazon SageMaker JumpStartのLlama-2を使用したリトリーバル増強生成によって幻覚を軽減する」

産業全体でのLLMの採用は止まることのないように見えますが、それらは新しいAIの波を支えるより広範な技術エコシステムの一部です多くの対話AIのユースケースでは、Llama 2、Flan T5、BloomのようなLLMがユーザーのクエリに応答するために必要ですこれらのモデルは質問に答えるためにパラメトリックな知識に依存していますモデルは[…]

「Protopia AIによる企業LLMアクセラレーションの基盤データの保護」

この記事では、Protopia AIのStained Glass Transformを使用してデータを保護し、データ所有権とデータプライバシーの課題を克服する方法について説明していますProtopia AIは、AWSと提携して、生成AIの安全かつ効率的なエンタープライズ導入のためのデータ保護と所有権の重要な要素を提供していますこの記事では、ソリューションの概要と、Retrieval Augmented Generation（RAG）などの人気のあるエンタープライズユースケースや、Llama 2などの最先端のLLMsでAWSを使用する方法をデモンストレーションしています

『Re Invent 2023の私のお勧め』

ここに私のお気に入りのリストがありますが、特定の順序はありません (Koko ni watashi no okiniiri no risuto ga arimasu ga, tokutei no junjo wa arimasen.)

開発者の生産性向上：DeloitteのAmazon SageMaker Canvasを用いたノーコード/ローコード機械学習の活用方法

今日のデータ駆動型の世界では、機械学習（ML）モデルを素早く構築し展開する能力がますます重要になっていますしかし、MLモデルの構築には時間と労力、特殊な専門知識が必要ですデータの収集やクリーニングから特徴エンジニアリング、モデルの構築、調整、展開まで、MLプロジェクトは開発者にとって数か月かかることがよくありますそして経験豊富なデータ[...]

「Rasaパワードチャットボット：シームレスなConfluence＆Jira統合ガイド」

イントロダクション最近、チャットボットは人工知能によって駆動される洗練された会話エージェントに進化してきました。このガイドでは、ConfluenceのページやJiraのチケットに関連するユーザークエリに対応するために特別に設計された高度なRasaパワードのチャットボットの構築について詳しく説明します。ConfluenceとJiraを統合することで、情報の検索を効率化し、統一的な作業環境を促進します。Confluenceは共同のドキュメンテーションを容易にし、Jiraは強力なプロジェクト管理ツールです。これらのプラットフォームとシームレスに統合するチャットボットを作成することで、チームがコンテンツの共同作業とプロジェクトの管理においてアクセシビリティが向上し、効率が最適化されます。学習目標この記事では、次のことを学びます： Rasaプロジェクトのセットアップ: Rasaプロジェクトを開始し、高度なチャットボットの開発のための基盤を構築する方法を学びます。 NLUインテントの定義: ConfluenceとJiraのクエリに対して特定の自然言語理解（NLU）インテントを定義し、チャットボットの理解力を高めます。カスタムアクションの開発: 拡張機能を実現するために、ConfluenceとJiraのAPIと対話するためのPythonベースのカスタムアクションを作成します。モデルのトレーニングとテスト: モデルのトレーニングプロセスを理解し、チャットボットの汎用性を確保し、継続的な改善のための反復テストを行います。この記事はData Science Blogathonの一環として公開されました。基本概念 Rasa Rasaはオープンソースの会話型AIプラットフォームであり、開発者に強力なコンテキスト認識型のチャットボットの構築を可能にします。単純なルールベースのシステムを超えて、Rasaは機械学習を利用して複雑なユーザー入力を理解し、応答します。自然言語処理の機能と対話管理ツールにより、Rasaはインテリジェントな会話エージェントを作成するための多目的なソリューションとなっています。 Jira JiraはAtlassianによって開発された有名なプロジェクト管理および課題追跡ツールです。アジャイルソフトウェア開発で広く使用されており、Jiraはタスクを整理し、問題を追跡し、チームがワークフローを効率化するための機能を提供しています。ワークフローのカスタマイズやリアルタイムのコラボレーションなど、幅広い機能があり、開発チームやプロジェクトマネージャーの間で人気があります。Jiraの豊富なRESTful APIを利用すると、外部ツールやアプリケーションとのシームレスな統合が可能で、リアルタイムデータの交換や自動化を容易にします。 Confluence Confluenceもまた、Atlassianによって開発された共同作業プラットフォームであり、組織内での効率的なドキュメンテーション、知識共有、チームワークを支援します。チームがコンテンツを作成、共有、共同作業するための中央集権的なスペースであり、プロジェクトのドキュメンテーション、会議の議事録、一般的な知識管理にとって重要なツールです。リアルタイムの共同編集により、複数のチームメンバーが同じドキュメントで同時に作業することができます。Confluenceの強力な検索機能により、関連する情報を効率的に見つけることができます。ConfluenceはJiraなどの他のAtlassian製品とシームレスに統合され、統一されたプロジェクト管理とドキュメンテーションのエコシステムを作成します。チャットボット…

Learn more about Search Results SDK - Page 2

CMUとプリンストンの研究者がマンバを発表：多様なモードのディープラーニングアプリケーションにおいてトランスフォーマーの効率を超えるSSMアーキテクチャの画期的な進展

「ノーコードアプリビルダーのトップ10（2023年12月）」

「松ぼっくりベクトルデータベースとAmazon SageMaker JumpStartのLlama-2を使用したリトリーバル増強生成によって幻覚を軽減する」

「Protopia AIによる企業LLMアクセラレーションの基盤データの保護」

『Re Invent 2023の私のお勧め』

開発者の生産性向上：DeloitteのAmazon SageMaker Canvasを用いたノーコード/ローコード機械学習の活用方法

「Rasaパワードチャットボット：シームレスなConfluence＆Jira統合ガイド」

AWSを使った生成AIを活用したクラウド上の新しい構築の時代へようこそ

大規模に基礎モデルをトレーニングするためのAmazon SageMaker HyperPodの紹介

「Amazon SageMakerを使用して、クラシカルなMLおよびLLMsを簡単にパッケージ化してデプロイする方法、パート2：SageMaker Studioでのインタラクティブなユーザーエクスペリエンス」

Find the right Blockchain Investment for you