Search Results Pi

Google AIはPixelLLMを提案します：細かい粒度のローカリゼーションとビジョン・ランゲージのアラインメントが可能なビジョン・ランゲージモデル

大規模言語モデル（LLMs）は、自然言語処理（NLP）、自然言語生成（NLG）、コンピュータビジョンなど、人工知能（AI）のサブフィールドの力を活用しています。LLMsにより、画像について複雑な推論を行い、画像に関するクエリに応答し、自然言語で画像を説明することが可能になりました。しかし、LLMsが単語の位置特定や位置の参照などの位置情報タスクを実行できるかはまだ不確かです。この課題を解決するため、Google ResearchとUC San Diegoの研究チームが、PixelLLMという賢いモデルを導入し、細かい位置情報と画像-言語の整合性を実現することが可能になりました。このアプローチは、特に赤ちゃんがジェスチャーや指さし、命名などで自然に自分の視覚環境を説明する方法に着想を得ています。チームは、LLMsが視覚入力から空間的理解と推論をどのように派生できるかを見つけることを目標としていると共有しています。 PixelLLMは、言語モデルの各単語出力をピクセルの位置に密接に対応させます。これには、単語特徴の上に小さなマルチレイヤーパーセプトロン（MLP）が追加され、各単語のピクセル位置に回帰できるようになっています。低ランクのファインチューニング（LoRA）が使用され、言語モデルの重みを更新または凍結することができます。モデルはテキストまたは場所のプロンプトも受け取ることができ、プロンプトに合わせた出力を提供できます。モデルのアーキテクチャには、画像エンコーダ、プロンプトエンコーダ、およびプロンプト特徴抽出器が含まれています。大規模言語モデルは、プロンプトに基づいた画像特性とオプションのテキストプロンプトを入力とし、単語ごとの位置特定とキャプションという形で出力します。言語または位置の様々な組み合わせを入力または出力として受け取る能力により、アーキテクチャは幅広い視覚言語活動に適応できます。チームは、密なオブジェクトキャプショニングや位置条件付きキャプショニング、位置の参照など、よく知られたビジョンタスクを使用してモデルを評価しました。89.8 [email protected]のRefCOCOを参照した位置情報、Visual Genome条件付きキャプショニングの19.9 CIDEr、密なオブジェクトキャプショニングの17.0 mAPなど、優れたパフォーマンス指標を持つPixelLLMは、さまざまな課題において最先端の結果を示しています。ピクセルごとの密な位置特定の定式化が重要であることは、RefCOCOでの収縮研究によって示されており、他の位置特定の定式化に比べて3.7ポイントの利益を上げています。したがって、PixelLLMは正確なビジョン-言語の整列と位置情報を達成することに成功しています。チームは、主な貢献を以下のようにまとめています。「PixelLLM」という新しいビジョン-言語モデルを紹介し、単語の位置特定と画像キャプションを生成する。モデルは、画像入力に加えてテキストまたはオプションの場所の手がかりをサポートします。位置特定のトレーニングには、ローカル化されたナラティブデータセットが使用されました。セグメンテーション、位置条件付きキャプショニング、参照位置、密なキャプショニングなど、さまざまなビジョン-言語タスクに適応することができます。位置条件付きキャプショニング、密なキャプショニング、参照位置とセグメンテーションで優れた成果を示しました。

「FinTech API管理におけるAIの力を解き放つ：製品マネージャーのための包括的なガイド」

この包括的なガイドでは、AIが金融技術のAPI管理に果たす変革的な役割を探求し、各セクションごとに実世界の例を提供していますAIによる洞察力や異常検知からAIによる設計、テスト、セキュリティ、そして個人化されたユーザーエクスペリエンスまで、金融技術のプロダクトマネージャーはAIの力を活用してオペレーションを最適化し、セキュリティを強化し、提供を行わなければなりません

Google Gemini APIを使用してLLMモデルを構築する

導入 ChatGPTとOpenAIのGPTモデルのリリース、およびMicrosoftとのパートナーシップにより、AIの領域にTransformerモデルをもたらしたGoogleはみんなが諦めた存在となりました。 GPTモデルがリリースされてから1年以上が経過しましたが、GoogleからはPaLM API以外に大きな動きはありませんでした。PaLM APIもあまり注目されず失敗に終わりました。そしてGoogleが突如として紹介した基盤となるモデルのグループ、Geminiが登場しました。Geminiの発売からわずか数日後、GoogleはGemini APIをリリースしました。このガイドでは、Gemini APIをテストし、最終的にはそれを使用してシンプルなチャットボットを作成します。学習目標 GoogleのGeminiシリーズの基礎知識を学ぶ。これには異なるモデル（Ultra、Pro、Nano）と、テキストと画像のサポートを中心とする多様性が含まれます。 Gemini Proのチャット・モデルを使用してチャットベースのアプリケーションを作成するスキルを開発し、チャットの履歴を維持し、ユーザーの文脈に基づいて応答を生成する方法を理解する。 Geminiが安全であるために、不安全なクエリを処理し、さまざまなカテゴリの安全性評価を提供することにより、責任あるAIの使用を保証する方法を探索する。 Gemini ProとGemini Pro Visionモデルを使用した実践的な経験を積み、画像の解釈と説明を含む、テキスト生成とビジョンに基づく機能を探索する。 Gemini APIとLangchainを統合して、相互作用のプロセスを簡素化する方法を学び、複数のクエリを効率的に処理するための入力と応答のバッチ処理について学ぶ。この記事はデータサイエンスブログサラソンの一部として公開されました。 Geminiとは何ですか？ Geminiは、Googleが構築し導入した新しい基盤モデルのシリーズです。これはこれまでのPaLMと比べて最も大きなモデルセットであり、最初から多様性に焦点を当てて構築されています。これにより、Geminiモデルはテキスト、画像、オーディオ、ビデオなどの異なる情報タイプの組み合わせに強力です。現在、APIは画像とテキストのサポートを提供しています。Geminiは、ベンチマークで最先端のパフォーマンスを達成し、多くのテストでChatGPTとGPT4-Visionモデルを上回っています。 Geminiには、サイズに基づいて3つの異なるモデルがあります。サイズの順に、Gemini Ultra、Gemini Pro、Gemini…

「Amazon SageMaker Pipelines、GitHub、およびGitHub Actionsを使用して、エンドツーエンドのMLOpsパイプラインを構築する」

機械学習（ML）モデルは孤立して動作するものではありません価値を提供するためには、既存の製造システムやインフラに統合する必要がありますそのため、設計と開発の過程でMLライフサイクル全体を考慮する必要がありますMLオペレーション（MLOps）は、MLモデルの生涯にわたって効率化、自動化、およびモニタリングを重視しています堅牢なMLOpsパイプラインを構築するには、異なる部門間の協力が求められます[…]

開発者や企業のためのジェミニAPIとさらに新しいAIツール

「ジェミニAPIおよびそれ以外にも4つのAIツール、Imagen 2、MedLM、開発者向けのDuet AI、セキュリティオペレーション向けのDuet AIを介してジェミニプロを展開します」

BERTopic（バートピック）：v0.16の特別さは何なのでしょうか？

私のBERTopicへの野望は、重要な柔軟性とモジュール性を提供することにより、トピックモデリングのための一括ショップにすることですこれは過去数年間の目標であり、リリースによって達成されました...

UCバークレーの研究者たちは、LLMCompilerを紹介しました：LLMの並列関数呼び出しパフォーマンスを最適化するLLMコンパイラ

以下は、UCバークレー、ICSI、およびLBNLの研究チームが開発したLLMCompilerというフレームワークです。このフレームワークは、LLMの効率と精度を向上させるために設計されており、マルチファンクションコーリングタスクの遅延と不正確さを解決します。LLMCompilerは、LLMプランナー、タスクフェッチングユニット、エグゼキュータのコンポーネントを通じて関数呼び出しの並列実行を可能にします。 LLMCompilerは、マルチファンクションタスクにおける効率と精度を向上させるLLMのフレームワークです。LLMプランナー、タスクフェッチングユニット、エグゼキュータから構成されるLLMCompilerは、ベンチマーキングにおいてReActやOpenAIの並列関数呼び出し機能よりも優れた性能を発揮し、一貫したレイテンシの高速化と精度の改善を示します。LLAMA-2やOpenAIのGPTモデルのようなオープンソースモデルと互換性があり、LLMの知識の限界や算術スキルなどの制約に対処し、関数呼び出しの実行に最適化されたソリューションを提供します。このフレームワークはオープンソースであり、さらなる研究と開発を容易にします。 LLMの進化により、コンテンツ生成の能力を超えて関数呼び出しの実行が可能になりました。LLMプランナー、タスクフェッチングユニット、エグゼキュータから構成されるLLMCompilerは、関数呼び出しのオーケストレーションを最適化します。ベンチマーキングの結果、ReActやOpenAIの並列関数呼び出しと比較して一貫したレイテンシ、コスト、精度の改善が示されました。 LLMCompilerは、LLMにおける関数呼び出しの並列化を可能にするフレームワークです。LLMプランナー、タスクフェッチングユニット、エグゼキュータから成り立っており、LLMプランナーは実行戦略を策定し、タスクフェッチングユニットはタスクをディスパッチして更新し、エグゼキュータはそれらを並列実行します。LLAMA-2やOpenAIのGPTなどのオープンソースモデルと互換性があり、LLMにおけるマルチファンクション呼び出しタスクを効率的にオーケストレーションするLLMCompilerは、ReActに比べてレイテンシの高速化、コスト削減、精度の改善を実現します。動的なリプランニングをサポートすることで適応的な実行が可能であり、オープンソースのフレームワークはLLMにおけるマルチファンクション呼び出しタスクの効率的なオーケストレーションを提供します。複雑な依存関係や動的なリプランニングのニーズを含むさまざまなタスクでベンチマークが行われ、LLMCompilerは一貫してReActを上回りました。レイテンシの高速化で最大3.7倍、コスト削減で最大6.7倍、精度の改善で9%の向上を実現しました。Game of 24のベンチマークでは、LLMCompilerはTree-of-Thoughtsに比べて2倍の高速化を達成し、OpenAIの並列関数呼び出し機能を最大1.35倍のレイテンシの向上で上回りました。オープンソースのコードは、さらなる探索と開発を容易にします。 LLMCompilerは、LLMにおける並列関数呼び出しの効率、コスト、精度を大幅に改善する有望なフレームワークです。既存のソリューションを上回り、LLMを使用した大規模タスクの効率的かつ正確な実行の可能性を秘めています。そのオープンソースの性質により、利点を活用したい開発者にとってもアクセス可能です。 LLMに焦点を当てたオペレーティングシステムの観点から、LLMCompilerをさらに探求することが推奨されます。計画と実行のレイテンシを考慮しながら、LLMCompilerによるスピードアップの可能性を調査することが望まれます。LLMCompilerに並列関数呼び出しを組み込むことは、LLMを使用した複雑なタスクの効率的な実行に有望です。LLMCompilerの継続的な開発と探求は、LLMベースのソフトウェアの進展に貢献することができます。

「Pixel 8 Pro」という初めてのAI搭載スマートフォンは、現在Gemini Nanoで稼働しており、さらにAIのアップデートがPixelポートフォリオにも導入されています」

ニューフィーチャードロップは、Pixelハードウェアへのアップデートをもたらしますさらに、Gemini Nanoは、Pixel 8 Proのデバイス内生成AI機能をパワーアップします

「Web Speech API：何がうまく機能していて、何が機能しないのか、そしてそれをGPT言語モデルにリンクして改善する方法」

「私は、現代の技術が現在のソフトウェアが提案している以上に、はるかにシンプルで自然な人間とコンピュータのインタラクションを可能にしていると考えています実際、私は技術が十分に成熟していると思います…」

「Protopia AIによる企業LLMアクセラレーションの基盤データの保護」

この記事では、Protopia AIのStained Glass Transformを使用してデータを保護し、データ所有権とデータプライバシーの課題を克服する方法について説明していますProtopia AIは、AWSと提携して、生成AIの安全かつ効率的なエンタープライズ導入のためのデータ保護と所有権の重要な要素を提供していますこの記事では、ソリューションの概要と、Retrieval Augmented Generation（RAG）などの人気のあるエンタープライズユースケースや、Llama 2などの最先端のLLMsでAWSを使用する方法をデモンストレーションしています

Learn more about Search Results Pi