Search Results プロトタイプ

「Chromaを使用してマルチモーダル検索アプリを作成する方法」

はじめに複雑な脳が世界をどのように処理しているのか、あなたは考えたことがありますか？脳の内部の仕組みは依然として謎ですが、私たちはそれを多目的なニューラルネットワークにたとえることができます。電気化学的な信号のおかげで、それは様々なデータ型を処理します-音、映像、匂い、味、触覚。 AIが進化するにつれて、マルチモーダルモデルが登場し、検索能力が革新されています。このイノベーションにより、検索の正確性と関連性が向上し、新たな可能性が開かれています。マルチモーダル検索の魅力的な世界を発見しましょう。学習目標「AIにおけるマルチモーダリティ」という用語を理解する。 OpenAIのイメージテキストモデルCLIPについての洞察を得る。ベクトルデータベースとベクトルインデックスの概要を理解する。 CLIPとChromaベクトルデータベースを使用して、Gradioインターフェースを使用した食品推薦システムを構築する。マルチモーダル検索の他の現実世界での使用例を探索する。この記事はData Science Blogathonの一部として公開されました。 AIにおけるマルチモーダリティとは何ですか？ Googleで検索すると、マルチモードはプロセスに複数のモードや方法を関与させることを指すと分かります。人工知能では、マルチモーダルモデルは異なるデータタイプを処理し理解することができるニューラルネットワークです。たとえば、GPT-4やバードなどです。これらは、テキストや画像を理解できるLLMです。他の例としては、ビジュアルとセンサーデータを組み合わせて周囲の状況を理解するテスラの自動運転車、またはテキストの説明から画像を生成できるMidjourneyやDalleがあります。コントラスト言語-画像事前トレーニング（CLIP） CLIPは、OpenAIが大量の画像テキストペアのデータセットでトレーニングしたオープンソースのマルチモーダルニューラルネットワークです。…

あなたのRAGベースのLLMシステムの成功を測る方法

「リサーチ・オーグメンテッド・ジェネレーション、またはRAG、は今年登場した大規模言語モデル（LLM）の最も一般的な使用例ですテキストの要約や生成はしばしば焦点となりますが...」

「ロボット義足の足首は、自然な運動と安定性を向上させる」

「研究者たちは、神経インパルス駆動型のロボット義足が切断者により自然で安定した動きを可能にすることを示しました」

LLMOps – MLOpsの次のフロンティア

最近、Iguazioのマーケティング担当副社長であるSahar Dolev-Blitental氏が、LLMOpsとMLOpsの最新情報について、私たちのためにライトニングインタビューに参加してくれました約1時間にわたるインタビューの中で、Saha氏は、この新興分野であるLLMOpsの定義からユースケースまで、さまざまな側面について議論しました

『Gradioを使ったリテンションの理解』

「最初のウェブアプリケーションを作った瞬間を覚えていますそれは約8年前で、私は比較的初心者のアナリストで、BIツールがすべての問題を解決できると確信していましたその…」

「RAGの語義における課題に取り組むドメイン固有の検索の見落とされがちな面について」

数千のドメイン固有ドキュメントが類似点を持ち、埋め込みでは関連するドキュメントを検索する際に一部不足がある場合、ハイブリッド検索、階層的ドキュメント順位付け、指導者埋め込みを利用して、コモン・レトリーバル・オーグメンテッド・ジェネレーション（RAG）セットアップに対処します

データサイエンスのプロフェッショナルにおすすめのトップ5のAIツール

イントロダクション今日のデータ主導の世界では、データサイエンスは情報の活用とイノベーションにおいて重要な分野となっています。データの量が増えるにつれて、データサイエンスのツールの重要性はますます高まっています。データサイエンスのツールは、データの収集や前処理から分析や可視化まで、職業の多くの側面で不可欠です。これらのツールにより、データの専門家は複雑な情報を解釈し、洞察力のある知識を得て、データ主導の選択に影響を与えることができます。AIとNLPの統合は、データサイエンスのツールの能力を拡大しました。AIによるツールはタスクを自動化でき、NLP技術は自然言語の理解力を高め、データサイエンティストとツールとのより高度なコミュニケーションを可能にします。本記事では、これらのツールの重要性について掘り下げ、人工知能（AI）と自然言語処理（NLP）技術との相乗効果に焦点を当てています。データサイエンスプロフェッショナルのためのトップ5のAIツール 1. ChatGPT ChatGPTはOpenAIによって開発された多目的な言語モデルであり、データサイエンスで貴重な役割を果たしています。テキスト生成と会話のために最初に設計されたChatGPTは、その優れた自然言語理解能力により、データ分析の強力なツールに進化しました。データサイエンスにおけるChatGPTの役割多目的なデータ分析ツール： ChatGPTは、自然言語理解における優れた能力により、データの解釈、計算、データ操作、モデル構築のサポートなど、データ解釈の多目的でユーザーフレンドリーなツールとして重要な役割を果たします。高度な自然言語処理： ChatGPTの高度な自然言語処理の機能により、データ関連のクエリに効果的に理解し、応答することができます。データサイエンティストはChatGPTを活用してデータセットを理解し、解釈し、洞察を得たり、計算を行ったりすることができます。これにより、さまざまなデータに関連するタスクが効率化されます。データタスクの効率化： ChatGPTは、計算を実行したり、データに変換を適用したり、データセットから有益な洞察を生成したりすることができます。これにより、繰り返しや複雑なデータ操作が簡素化されます。データのプロフェッショナルが生産性を向上させるのに便利な機能です。使いやすいインターフェース： ChatGPTの使いやすいインターフェースにより、技術的な専門知識のレベルに応じたデータサイエンティストを含む幅広いユーザーにアクセスできます。これにより、より直感的でアクセスしやすい方法でデータと対話することができます。 ChatGPTの欠点偏った応答： ChatGPTはインターネットからの広範なテキストデータでトレーニングされているため、偏ったまたは不正確な回答を生成する場合があります。トレーニングデータのバイアスにより、ChatGPTはこれらのバイアスを反映した回答を提供する可能性があります。したがって、ステレオタイプや不正確さを助長する可能性があります。高度なデータ分析には適さない： ChatGPTは強力な言語モデルですが、高度なデータ分析タスクには、専門ツールや深いドメイン知識が必要です。データサイエンスには、複雑な統計分析、機械学習アルゴリズム、詳細なドメイン知識などが関わることが多くあり、これらはChatGPTの能力を超えています。知識の制約： ChatGPTの専門知識は、トレーニングに使用されたデータに制約されます。さらに、特に2021年までのデータで最後にトレーニングされていたため、最新の情報にアクセスできませんでした。この制約は、データサイエンスにおいて、ニュースやトレンドについて現在の状況を把握することが重要な、賢明な判断や信頼性のある結論の導出に支障をきたす可能性があります。 2. Bard…

このAI研究は、ロボット学習および具現化人工知能の研究のための包括的なソフトウェアプラットフォームとエコシステムであるRoboHiveを提案しています

近年、人工知能（AI）の進歩は、言語モデリング、タンパク質折りたたみ、およびゲームプレイなどで特に顕著なものがありました。ロボット学習の発展は控えめでした。AIエージェントにとってセンサーモーターの行動は高度な認知活動よりも inherently（本質的に）困難である、と主張するモラベックの逆説の一部がこの進展の鈍さの原因とされるかもしれません。さらに、ロボット学習のためのソフトウェアフレームワークの複雑さと共通の基準の欠如という重要な問題に焦点を当てなければなりません。その結果、敷居が上がり、迅速なプロトタイプ作成が制限され、アイデアの流れが制約されます。ロボット工学の学問領域は、コンピュータビジョンや自然言語処理のような他の領域に比べて、ベンチマークやデータセットが標準化されているため、より分断されています。ワシントン大学、UCバークレー、CMU、UTオースティン、Open AI、Google AI、およびMeta-AIの研究者たちは、このギャップを埋めるために、ロボHiveという統合環境を提供しています。 RoboHiveは、ベンチマークおよび研究ツールの両方として機能するプラットフォームです。強化学習、模倣学習、転移学習などのさまざまな学習パラダイムを可能にするために、幅広いコンテキスト、具体的なタスクの説明、厳格な評価基準を提供しています。これにより、研究者は効率的な調査とプロトタイピングを行うことができます。また、RoboHiveはハードウェアの統合と遠隔操作の機能も提供し、現実世界と仮想ロボットの間でスムーズな移行が可能です。彼らは、RoboHiveを使用して、現在のロボット学習の状況と開発の潜在力とのギャップを埋めたいと考えています。 RoboHiveというロボット学習のための統一フレームワークの作成とオープンソース化が彼らの業績の主要な貢献です。 RoboHiveの特徴は以下の通りです： 1. 環境動物園：RoboHiveは、さまざまな学術分野をカバーするさまざまな設定を提供しています。これらの設定は、器用な手の操作、二足歩行ロボットや四足歩行ロボットを使用した移動、および筋骨格の腕・手モデルを使用した操作など、操作タスクに使用することができます。彼らは、物理的な現実主義に重点を置いた物理学シミュレーションを提供するMuJoCoを使用して、仮想世界を動かしています。 2. RoboHiveは、simhooksとハードウェアフックを介して仮想および実際のロボットとスムーズに連携する統一的なRobotClass抽象を提供します。この特別な機能により、一つのフラグを変更するだけで、研究者は簡単にロボットのハードウェアとやり取りし、シミュレーションから現実世界への発見の移行を行うことができます。 3. 遠隔操作とエキスパートデータセット：RoboHiveは、キーボード、3Dスペースマウス、およびバーチャルリアリティコントローラーなど、さまざまなモダリティを介した遠隔操作の機能を提供しています。彼らは、ヒトの遠隔操作によって蓄積された最大の実世界操作データセットの一つであるRoboSetを共有しており、料理の種々のタスクにわたる12の能力をカバーしています。模倣学習、オフライン学習、および関連学科で働く研究者にとって、これらの遠隔操作の機能とデータセットは特に役立ちます。 4. ビジュアルの多様性と物理的な忠実度：RoboHiveは、物理的な現実主義と広範なビジュアルの多様性を重視し、以前のベンチマークを超えて、現実世界のロボットの次の研究フロンティアを明らかにします。複雑なアセット、豊富なテクスチャ、および高度なシーン配置を含めることで、彼らはビジュオモーター制御の研究を日常生活のビジュアルの難しさと結びつけています。さらに、RoboHiveは、さまざまな状況でのシーンのレイアウトやビジュアルドメインのランダム化をネイティブにサポートし、視覚認識の適応性を高め、現実的で豊かな物理的な素材を提供します。 5. メトリクスとベースライン：RoboHiveは、さまざまな状況でアルゴリズムのパフォーマンスを評価するために、短く明確なメトリクスを使用しています。このフレームワークは、学習アルゴリズムとのシームレスな統合に向けたユーザーフレンドリーなgymのようなAPIを提供し、多くの学術研究者や実践家にアクセス可能にします。さらに、RoboHiveはTorchRLとmjRLと提携して、研究コミュニティ内で頻繁に研究されているアルゴリズムの詳細なベースライン結果を提供し、パフォーマンスの比較と研究のためのベンチマークを提供します。

AIテクノロジーを使ってあなたの牛を見守る

Amazon Web Services (AWS)では、お客様に幅広い総合技術ソリューションを提供するだけでなく、お客様のビジネスプロセスを深く理解することも重要です。私たちは第三者の視点と客観的な判断力を持ち、お客様の価値命題を整理し、課題を収集し、適切な解決策を提案し、ビジネスの目標を体系的に達成するために、最も費用対効果の高い使いやすいプロトタイプを作成することをお手伝いしています。この手法をAWSでは「逆に働く」と呼んでいます。これは、技術やソリューションを一旦置いておき、お客様の期待する結果から出発し、その価値を確認し、最終的な解決策を実施する前に、逆の順序で何をするべきかを推論することを意味しています。実装フェーズでは、最小限の製品というコンセプトに従い、数週間以内に価値を生み出すプロトタイプを迅速に形成し、それをイテレーションしていくことも行っています。今日は、AWSとニューホープダイアリーがクラウド上にスマートファームを構築したケーススタディを見てみましょう。このブログ投稿から、AWSがスマートファームの構築にどのようなサポートを提供できるか、そしてAWS専門家と一緒にクラウド上でスマートファームアプリケーションを構築する方法について、深く理解することができます。プロジェクトの背景ミルクは栄養豊富な飲み物です。中国では国民の健康を考慮して、乳製品産業の発展を積極的に推進しています。ユーロモニターインターナショナルのデータによると、2020年に中国の乳製品の販売額は6385億元に達し、2025年には8100億元に達すると予測されます。また、過去14年間の年平均成長率も10％に達し、急速な発展を示しています。一方で、2022年時点では、中国の乳製品業界の収益の大部分はまだ液体ミルクから得られています。生乳の60％は液体ミルクとヨーグルトに使用され、さらに20％は液体ミルクの派生品であるミルクパウダーです。チーズやクリームなどの高度に加工された製品にはごくわずかしか使用されていません。液体ミルクは軽度に加工された製品であり、その生産量、品質、コストは生乳と密接に関連しています。これは、乳製品業界が高度に加工された製品の生産に集中し、新しい製品を創造し、より革新的なバイオテクノロジー研究を行うためには、まず生乳の生産と品質を改善し安定させる必要があることを意味します。乳製品業界のリーダーであるニューホープダイアリーは、牧場の運営効率を改善し、生乳の生産と品質を向上させる方法について考えてきました。ニューホープダイアリーは、AWSの第三者の視点と技術的な専門知識を活用して、乳製品業界のイノベーションを促進したいと考えています。ニューホープダイアリーのVP兼CIOである胡六桐氏のサポートと推進により、AWSのカスタマーチームは乳牛農場の運営と潜在的なイノベーションポイントを組織し始めました。乳牛農場の課題 AWSはクラウドテクノロジーの分野で専門家ですが、乳製品業界でのイノベーションを実施するには、乳製品の専門家からの専門的な助言が必要です。そのため、ニューホープダイアリーの生産技術センターの副所長である宋良榮氏、牧場の管理チーム、栄養士との数回にわたるインタビューを行い、農場が直面しているいくつかの問題と課題を把握しました。まずは予備牛の棚卸し牧場の乳牛は乳牛と予備牛の2種類に分かれています。乳牛は成熟し続けてミルクを生産しますが、予備牛はまだミルクを生産する年齢に達していません。大規模でVoAGIサイズの牧場では、予備牛に対してより大きな屋外活動エリアを提供して、より快適な成長環境を作ります。しかし、乳牛と予備牛の両方は牧場の資産であり、毎月棚卸しする必要があります。乳牛は毎日搾乳され、搾乳中は比較的動きが少ないため、棚卸し追跡は容易です。しかし、予備牛は開放的な空間にいて自由に動き回るため、棚卸しは不便です。棚卸しは数人の作業員が異なるエリアから予備牛を反復して数え、最終的に数を確認するプロセスです。このプロセスには数人の作業員が1〜2日を費やし、数の整合性が問題になることや、各牛が数えられたかについての不確実性が頻繁にあります。予備牛の棚卸しを迅速かつ正確に行う方法があれば、大幅な時間を節約することができます。次に、立ち往生牛の特定です現在、ほとんどの乳製品企業はホルスタインという品種を使用してミルクを生産しています。ホルスタインは私たちがよく知っている黒と白の牛です。しかし、同じ品種を使用しているにもかかわらず、異なる企業や牧場の間でミルクの生産量や品質には差があります。これは、乳牛の健康状態が直接ミルクの生産に影響を与えるためです。しかし、牛は人間のように自分自身で不快感を表現することができないため、獣医師が数千頭の牛に定期的に身体検査をすることは実用的ではありません。そのため、牛の健康状態を迅速に判断するためには、外部の指標を使用する必要があります。 AWSを使用したスマート牧場牛の健康の外部指標には、体条件スコアと跛行度が含まれます。体条件スコアは主に牛の体脂肪率と関連があり、長期的な指標です。一方、跛行は脚の問題や足の感染などによる短期的な指標であり、牛の気分、健康状態、乳生産に影響を与えます。また、成体のホルスタイン牛は500 kgを超える重さになることがあり、不安定な場合は足に重大な害を与える可能性があります。そのため、跛行が発生した場合には、可能な限り早期に獣医師が介入する必要があります。 2014年の研究によれば、中国の重度の跛行牛の割合は31％にもなることがあります。この研究以来状況が改善されている可能性もありますが、農場での獣医師の数は非常に限られているため、牛の定期的なモニタリングは困難です。跛行が検出されると、状況はしばしば深刻であり、治療は時間がかかり困難であり、乳生産は既に影響を受けています。…

このAI論文は、言語エージェントのための自然言語とコードの調和を目指して、LemurとLemur Chatを紹介しています

広義では、知的エージェントとは、周囲から収集したデータに基づいて知覚、判断、行動の能力を備えた自律問題解決者です。この考え方を応用した最近の研究では、自然言語を使用してさまざまな文脈で複雑なタスクを実行できる言語エージェントの開発に有望な成果が出ています。特に、これらのエージェントが大規模な言語モデル（LLM）を使用して構築された場合、人間の思考と言語を模倣できます。これにより、人々はツールの使用に柔軟に対応し、新しい状況に適応し、言語的に論理的な理由づけを行い、飛び込みでマルチエージェントシステムを開発することができます。 LLMは、人間とのインタラクション、推論、計画を理解し、言語エージェントの基盤を適切に構築するために、必要な文脈における根拠を確保する必要があります。LLMの自然言語の機能により、人間の会話、思考、計画に近い動作が可能です。しかし、環境に基づいた実行は通常、汎用コードまたはドメイン固有のAPIを使用して行われます。これには、ウェブブラウザの管理、オペレーティングシステムのコマンドラインインターフェース端末との通信、ロボットアームの制御などが含まれます。このギャップを埋めるため、香港大学、XLang Lab、Salesforce Research、Sea AI Lab、ワシントン大学、MIT CSAILによる新しい研究では、事前トレーニングおよび指示の微調整手法を用いて、テキストとコードの調和を実現するために事前トレーニングおよび指示の微調整を行い、最先端のプロトタイプであるLemurとLemur-Chatを公開しています。これにより、オリジナルのLlama-2-70Bを改善しました。自然言語の能力を保持しながら、コーディング能力を向上させるために、The Stackを基にしたコード中心のコーパスを構築し、90億トークンのテキストとコードの比率が10：1のデータを含みました。これがLemurとして知られるプロトタイプです。指示に従うモデルであるLemur-Chatを作成するために、最初にテキストとコードの両方から約10万インスタンスを使用して事前トレーニングを行いました。LemurとLemur-Chatは、8つのテキストとコーディングのベンチマーク全体で幅広い評価を受けた後の最もバランスの取れたオープンソースモデルであることが証明されています。さらに、この試みは、さまざまな環境で言語エージェントのコア能力を評価するためのエージェント基準を提供することを目指しています。特に、ツールのスキルと環境と社会のフィードバックにおける定着能力に焦点を当てています。また、エージェントが情報の不完全さに基づいて操作を行い、ギャップを埋めるために追加のアクションを実行する必要がある実際の環境における部分的に可視なシナリオには固有の困難があります。実験により、Lemur-Chatは他のオープンソースモデルと比較して13のエージェントベンチマークのうち12つで優れたパフォーマンスを示すことが示されています。これは、自然言語とプログラミングの能力を組み合わせることによって、Lemur-Chatが自然言語エージェントの既存のオープンソースモデルとの性能差を埋めることができることを示しています。これらのテストの結果から、言語エージェントを構築する際には、言語と計算能力を組み合わせることの重要性が明らかになります。自然言語処理に優れ、コーディングに苦労するLlama-2-70B-Chatなどのモデルは、行動空間が制約されており、そのようなツールを使用する努力が低いため、基本的なツールを効率的に利用することができます。対照的に、ウェブブラウジングやホームナビゲーションなどの洗練された意思決定シナリオに直面した場合、アクションスペースは通常、莫大ですが、高いコーディング能力を持つモデルは複雑な実行可能なアクションシーケンスを構築するときに優位に立ちます。結論として、Lemurの優れたパフォーマンスは、自然言語処理とプログラミングの優位性に起因します。この研究は、自然言語とプログラミング言語の相乗効果の最適化を探りながら、さまざまな環境で優れた機能を持つ高度な言語エージェントを作成するための基礎を築くものです。

Learn more about Search Results プロトタイプ - Page 6