Search Results Yi

「大型言語モデル（LLM）のマスターに至る7つのステップ」

大型言語モデル（LLM）は、自然言語処理の新時代を開拓しましたでは、それについてもっと学びましょうこのガイドを使用して、大型言語モデルの基礎から始めて、7つの簡単なステップでLLMアプリを構築して展開する方法を学びましょう

language models

Amazon Web Services (AWS)では、お客様に幅広い総合技術ソリューションを提供するだけでなく、お客様のビジネスプロセスを深く理解することも重要です。私たちは第三者の視点と客観的な判断力を持ち、お客様の価値命題を整理し、課題を収集し、適切な解決策を提案し、ビジネスの目標を体系的に達成するために、最も費用対効果の高い使いやすいプロトタイプを作成することをお手伝いしています。この手法をAWSでは「逆に働く」と呼んでいます。これは、技術やソリューションを一旦置いておき、お客様の期待する結果から出発し、その価値を確認し、最終的な解決策を実施する前に、逆の順序で何をするべきかを推論することを意味しています。実装フェーズでは、最小限の製品というコンセプトに従い、数週間以内に価値を生み出すプロトタイプを迅速に形成し、それをイテレーションしていくことも行っています。今日は、AWSとニューホープダイアリーがクラウド上にスマートファームを構築したケーススタディを見てみましょう。このブログ投稿から、AWSがスマートファームの構築にどのようなサポートを提供できるか、そしてAWS専門家と一緒にクラウド上でスマートファームアプリケーションを構築する方法について、深く理解することができます。プロジェクトの背景ミルクは栄養豊富な飲み物です。中国では国民の健康を考慮して、乳製品産業の発展を積極的に推進しています。ユーロモニターインターナショナルのデータによると、2020年に中国の乳製品の販売額は6385億元に達し、2025年には8100億元に達すると予測されます。また、過去14年間の年平均成長率も10％に達し、急速な発展を示しています。一方で、2022年時点では、中国の乳製品業界の収益の大部分はまだ液体ミルクから得られています。生乳の60％は液体ミルクとヨーグルトに使用され、さらに20％は液体ミルクの派生品であるミルクパウダーです。チーズやクリームなどの高度に加工された製品にはごくわずかしか使用されていません。液体ミルクは軽度に加工された製品であり、その生産量、品質、コストは生乳と密接に関連しています。これは、乳製品業界が高度に加工された製品の生産に集中し、新しい製品を創造し、より革新的なバイオテクノロジー研究を行うためには、まず生乳の生産と品質を改善し安定させる必要があることを意味します。乳製品業界のリーダーであるニューホープダイアリーは、牧場の運営効率を改善し、生乳の生産と品質を向上させる方法について考えてきました。ニューホープダイアリーは、AWSの第三者の視点と技術的な専門知識を活用して、乳製品業界のイノベーションを促進したいと考えています。ニューホープダイアリーのVP兼CIOである胡六桐氏のサポートと推進により、AWSのカスタマーチームは乳牛農場の運営と潜在的なイノベーションポイントを組織し始めました。乳牛農場の課題 AWSはクラウドテクノロジーの分野で専門家ですが、乳製品業界でのイノベーションを実施するには、乳製品の専門家からの専門的な助言が必要です。そのため、ニューホープダイアリーの生産技術センターの副所長である宋良榮氏、牧場の管理チーム、栄養士との数回にわたるインタビューを行い、農場が直面しているいくつかの問題と課題を把握しました。まずは予備牛の棚卸し牧場の乳牛は乳牛と予備牛の2種類に分かれています。乳牛は成熟し続けてミルクを生産しますが、予備牛はまだミルクを生産する年齢に達していません。大規模でVoAGIサイズの牧場では、予備牛に対してより大きな屋外活動エリアを提供して、より快適な成長環境を作ります。しかし、乳牛と予備牛の両方は牧場の資産であり、毎月棚卸しする必要があります。乳牛は毎日搾乳され、搾乳中は比較的動きが少ないため、棚卸し追跡は容易です。しかし、予備牛は開放的な空間にいて自由に動き回るため、棚卸しは不便です。棚卸しは数人の作業員が異なるエリアから予備牛を反復して数え、最終的に数を確認するプロセスです。このプロセスには数人の作業員が1〜2日を費やし、数の整合性が問題になることや、各牛が数えられたかについての不確実性が頻繁にあります。予備牛の棚卸しを迅速かつ正確に行う方法があれば、大幅な時間を節約することができます。次に、立ち往生牛の特定です現在、ほとんどの乳製品企業はホルスタインという品種を使用してミルクを生産しています。ホルスタインは私たちがよく知っている黒と白の牛です。しかし、同じ品種を使用しているにもかかわらず、異なる企業や牧場の間でミルクの生産量や品質には差があります。これは、乳牛の健康状態が直接ミルクの生産に影響を与えるためです。しかし、牛は人間のように自分自身で不快感を表現することができないため、獣医師が数千頭の牛に定期的に身体検査をすることは実用的ではありません。そのため、牛の健康状態を迅速に判断するためには、外部の指標を使用する必要があります。 AWSを使用したスマート牧場牛の健康の外部指標には、体条件スコアと跛行度が含まれます。体条件スコアは主に牛の体脂肪率と関連があり、長期的な指標です。一方、跛行は脚の問題や足の感染などによる短期的な指標であり、牛の気分、健康状態、乳生産に影響を与えます。また、成体のホルスタイン牛は500 kgを超える重さになることがあり、不安定な場合は足に重大な害を与える可能性があります。そのため、跛行が発生した場合には、可能な限り早期に獣医師が介入する必要があります。 2014年の研究によれば、中国の重度の跛行牛の割合は31％にもなることがあります。この研究以来状況が改善されている可能性もありますが、農場での獣医師の数は非常に限られているため、牛の定期的なモニタリングは困難です。跛行が検出されると、状況はしばしば深刻であり、治療は時間がかかり困難であり、乳生産は既に影響を受けています。…

K-平均クラスタリングのためのワンストップショップ

K-Meansクラスタリングは、非監視学習アルゴリズムであり、私たちが似たようなデータポイントをクラスターにまとめるのを助けますこれらのクラスターは、

スタンフォード大学とマイクロソフトの研究者が自己向上型AIを紹介：GPT-4を活用して足場プログラムのパフォーマンスを向上させる

ほぼすべての目標は、自然言語で説明される場合には、言語モデルのクエリによって最適化されることができます。ただし、プログラムは、言語モデルへのいくつかの組織された呼び出しを行うことによって、より高い目的関数値を提供することがあります。これらを「足場付き」プログラムと呼び、それらは一般的に（人々によって）Pythonなどのコンピュータ言語を使用して作成されます。彼らの主な発見は、足場付きプログラムの設計は、最適化問題と言語モデルにわたる任意の分布において最適化の問題です。Microsoft ResearchとStanford Universityの研究者は、この論文で、自己教育最適化プログラム（STOP）と呼ばれる技術を説明し、再帰的にコードを適用することで、与えられたソリューションを改善することができるようにする方法を説明しています。彼らの方法では、言語モデルを使用して次の課題への応答を向上させるために言語モデルを使用する初期のシード「改善者」足場付きプログラムから始まります。システムが反復するにつれて、モデルはこの改善者プログラムを改善します。彼らの自己最適化アーキテクチャの有効性を測定するために、彼らは限られた選択の下流アルゴリズムタスクを適用します。その結果、モデルは自己改善の技術を使用してより多くの反復を実行するにつれて改善されることが示されます。STOPは、言語モデルがこのような方法でメタ最適化器として機能する方法を示しています。さらに、モデルが提案する自己改善の戦術の種類、および推奨される戦略が下流タスクにどれだけうまく翻訳されるか、モデルが危険な自己改善技術に対して脆弱性を持つかについて、彼らは分析しています。図1: ここにはGPT-4が提案して使用される自己改善技術の例が示されています。足場を含む任意のコードは、それぞれの足場として各技術を使用して改訂されます。この問題は、基礎となる言語モデルが変更されないため、再帰的に自己改善するコード生成として知られており、ただし、完全に再帰的自己改善（RSI）システムではありません。RSIの概念が形式化されたのは少なくとも50年前のことですが、その試みは一般的により優れたシステムを作成し、モデルが自身のコードのすべての部分を改善できるという前提に基づいていました。彼らの研究は、その方向への控えめな進歩であり、反復的に呼び出される足場の向上能力のみを考慮しています。この研究で、RSIコード生成の問題は数学的に定義されています。そして、彼らはRSIコード生成の可能な使用例を示すためにSTOPを作成して評価します。さまざまな下流タスクで改善が示されています。2021年までのデータでトレーニングされたGPT-4言語モデルを使用する場合、図1はSTOPが提供するいくつかの興味深く有用な足場を示しています。さらに、モデルがどのように頻繁にサンドボックスフラグをオフにしようとするかを追跡する追加のテストも行われています。最後に、このような技術の倫理的な開発に関する問題に取り組んでいます。この研究の主な貢献は次のとおりです：足場システムが再帰的に自己改善するメタ最適化戦略の策定このシステムが現代の言語モデル（特にGPT-4）を使用して再帰的に自己改善できることを示すことモデルが提案および実装した自己改善技術、およびモデルがサンドボックスなどの安全対策をどのように回避するかについて調査すること

Google MapsのAir Quality APIから大気汚染データを取得するためのPythonツール

2023年8月、GoogleはマッピングAPIのリストに、空気品質サービスの追加を発表しましたそれについての詳細はこちらでお読みいただけますこの情報は現在、内部からも利用できるようになったようです

RAGアプリケーションデザインにおける実用的な考慮事項

「RAG（Retrieval Augmented Generation）アーキテクチャは、LLMの入力長制限と知識切り上げの問題を効率的に克服することが証明されています現在のLLMテクニカルスタックでは、RAGが…」

(Juriya o ukeireru shoutaijou)

ジュリアはジェネラルパーパース、ダイナミック、ハイパフォーマンスで高レベルなプログラミング言語で、ジャストインタイムコンパイルされますメジャーな1.0リリースは最近されました

「Decafと出会う：顔と手のインタラクションのための革新的な人工知能単眼変形キャプチャフレームワーク」

モノクルARGBビデオからの三次元（3D）トラッキングは、コンピュータビジョンと人工知能の最先端分野です。それは、単一の二次元ビデオフィードのみを使用して、オブジェクトやシーンの三次元位置と動きを推定することに焦点を当てています。モノクルARGBビデオからの3Dトラッキングの既存の方法は、主に2つの手や人間が剛体環境と対話するなどの人工関節と剛体オブジェクトに焦点を当てています。手と顔の相互作用などの密な非剛体オブジェクト変形のモデリングの課題は、ほとんど見落とされています。しかしこれらの変形は、AR/VR、3D仮想アバターのコミュニケーション、キャラクターアニメーションなどの応用において、そのリアリズムを大幅に向上させることができます。この問題への限られた関心は、単眼ビューセットアップの固有の複雑さや、適切なトレーニングと評価データセットの取得、非一様な変形可能オブジェクトへの合理的な非一様な剛性の決定など、関連する困難に起因しています。したがって、この記事では上記の基本的な課題に取り組む革新的な手法を紹介します。これにより、単一のモノクルARGBビデオから人間の手と顔の相互作用を3Dでトラッキングすることができます。この手法では、手を関節を持つオブジェクトとしてモデル化し、アクティブな相互作用中に非剛体の顔の変形を引き起こします。この手法の概要は以下の図に示されています。このアプローチは、手と顔の動きと相互作用、リアルな顔の変形を含む新たに作成したデータセットに依存しています。このデータセットの作成にあたり、著者らは位置ベースのダイナミクスを使用して生の3D形状を処理し、頭組織の非一様な剛性を推定する手法を開発しました。これらのステップにより、表面変形、手と顔の接触領域、および頭と手の位置の信頼性のある注釈が可能となります。彼らのニューラルアプローチの中心にあるのは、手と顔の相互作用の深度情報を提供するバリアショナルオートエンコーダです。さらに、接触と変形を推定するためのモジュールが3Dトラッキングプロセスをガイドするために使用されます。この方法で生成される手と顔の最終的な3D再構成は、この文脈で適用可能ないくつかのベースライン手法と比較して、定量的および定性的な評価に基づいて、現実的でより信憑性のあるものです。顔と手を同時に再構築し、相互作用から生じる表面変形を考慮することは、非常に困難な課題です。これは、再構築におけるリアリズムを向上させるために特に重要であり、このような相互作用は日常生活で頻繁に観察され、個人について他の人々が形成する印象に大きく影響を与えます。そのため、手と顔の相互作用の再構築は、アバターコミュニケーション、バーチャル/拡張現実、キャラクターアニメーションなどの応用において重要であり、没入型体験を創造するために不可欠です。また、手話の転写や運転手の眠気の監視などの応用にも影響を与えます。顔と手の動きを再構築するためのさまざまな研究が存在するにもかかわらず、モノクルARGBビデオからの相互作用と対応する変形を捉えることはほとんど未開拓の領域であると2023年にTretschkらが指摘しています。一方、手と顔の再構築に既存のテンプレートベースの方法を使用しようとすると、衝突や相互作用と変形の省略などのアーティファクトが生じることが多いです。これは、単眼セットアップの固有の深度の曖昧さと、再構築プロセスでの変形モデリングの欠如が主な原因です。この問題にはいくつかの重要な課題があります。一つの課題（I）は、非剛体変形と相互作用を伴う顔と手のマーカーレスRGBキャプチャデータセットの欠如です。これはモデルのトレーニングと方法の評価において重要であり、非剛体変形が発生する領域での頻繁な手と頭の動きによる遮蔽のため、このようなデータセットの作成は非常に困難です。もう一つの課題（II）は、単眼RGBセットアップの固有の深度の曖昧さから生じるものであり、正確な位置情報を得ることが困難であり、相互作用中に手と頭の接触や衝突の不足などのエラーが発生します。これらの課題に対処するために、著者らは「Decaf」（頭と手の相互作用の変形キャプチャの略称）という、顔と手の相互作用と顔の変形をキャプチャするために設計されたモノクルRGBの手法を紹介しています。具体的には、複数ビューキャプチャセットアップと位置ベースのダイナミクスシミュレータを組み合わせて、遮蔽があっても相互作用する表面ジオメトリを再構築します。変形可能オブジェクトシミュレータを組み込むために、著者らは頭部メッシュの剛性値を「頭蓋皮膚距離（SSD）」という手法を使用して決定し、メッシュに非一様な剛性を割り当てます。このアプローチにより、均一な剛性値を使用する場合と比較して、再構築ジオメトリの定性的な妥当性が大幅に向上します。彼らが新たに作成したデータセットを使用して、研究者たちはニューラルネットワークを訓練し、シングルビューのRGB画像から3D表面変形、頭部および手部表面の接触領域、および相互作用の深さの優先情報を抽出します。最終的な最適化段階では、さまざまな情報源からのこの情報を利用して、非剛体表面変形を伴う現実的な3D手と顔の相互作用を取得し、シングルビューセットアップに固有の深度のあいまいさを解決します。以下に示す結果は、既存の手法と比較してより現実的な手と顔の相互作用を示しています。これがDecafの概要であり、顔の変形とともに顔と手の相互作用を捉えるために設計された新しいAIフレームワークです。興味があり、さらに詳しく知りたい場合は、以下で引用されたリンクをご覧ください。

「Pythonによる多クラスラベルのための完全に説明されたソフトマックス回帰」

「ロジスティック回帰では、バイナリクラス、つまり出力列に2つのクラスを扱いますしかし、現実世界では様々なタイプのデータが得られることがあり、時には2つ以上のクラスが存在することもあります...」

「イェール大学とGoogleの研究者が、効率的な長距離シーケンス処理のために大規模言語モデルを迅速に加速する近似Attentionメカニズム、HyperAttentionを紹介する」という文章です

大規模言語モデルの急速な進歩により、チャットボットから機械翻訳までの幅広いアプリケーションが可能になりました。ただし、これらのモデルはしばしば効率的に長いシーケンスを処理するための支援が必要です。入力シーケンスの長さが増えると、これらのモデルの注意機構はますます計算コストが高くなります。研究者たちは、この課題に対処する方法を探索し、大規模言語モデルをさまざまなアプリケーションにより実用的にすることを試みています。最近、研究チームは「ハイパーアテンション」と呼ばれる画期的な解決策を紹介しました。この革新的なアルゴリズムは、特に長いシーケンスを扱う際に大規模な言語モデルの注意機構の近似を効率的に行います。既存のアルゴリズムを単純化し、注意行列内の主要なエントリを特定するために様々な技術を活用することで、計算を加速させます。ハイパーアテンションによる大規模言語モデルの効率の問題解決アプローチには、いくつかの重要な要素があります。詳細を見てみましょう。スペクトル保証：ハイパーアテンションでは、近似の信頼性を確保するためにスペクトル保証の実現を重視しています。条件数に基づいたパラメータ化を利用することで、通常この領域で行われる特定の仮定の必要性を低減させます。主要なエントリの特定のためのSortLSH：ハイパーアテンションは、ハミングソートされたLocality-Sensitive Hashing（LSH）技術を使用して効率を向上させます。この方法により、アルゴリズムは注意行列内の最も重要なエントリを特定し、より効率的な処理のために対角線と整列させます。効率的なサンプリング技術：ハイパーアテンションは、注意行列内の対角エントリを効率的に近似し、値行列との行列積を最適化します。このステップにより、大規模な言語モデルが性能を大きく低下させることなく、長いシーケンスを処理できるようにします。柔軟性と利便性：ハイパーアテンションは、異なるユースケースの処理に柔軟性を提供するよう設計されています。論文で示されているように、事前定義されたマスクを使用する場合や、sortLSHアルゴリズムを使用してマスクを生成する場合に効果的に適用できます。ハイパーアテンションの性能は印象的です。推論とトレーニングの両方で大幅な高速化が可能であり、大規模な言語モデルにとって貴重なツールとなっています。複雑な注意計算を簡素化することで、長いシーケンス処理の問題を解決し、これらのモデルの実用性を向上させています。結論として、HyperAttentionの研究チームは大規模な言語モデルにおける効率的な長距離シーケンス処理の課題に取り組む上で、重要な進展を遂げました。彼らのアルゴリズムは、注意機構に関与する複雑な計算を簡素化し、その近似に対してスペクトル的な保証を提供します。ハミングソートされたLSHのようなテクニックを活用することで、HyperAttentionは優勢なエントリを識別し、行列の積を最適化して推論とトレーニングのスピードアップを実現します。このブレイクスルーは、大規模な言語モデルが中心的な役割を果たす自然言語処理において、有望な発展です。自己注意機構のスケーリングに新たな可能性を開き、これらのモデルをさまざまなアプリケーションにより実用的にします。効率的でスケーラブルな言語モデルへの需要がますます高まる中、HyperAttentionは正しい方向に向けた重要な一歩を象徴し、最終的にはNLPコミュニティの研究者や開発者に恩恵をもたらすものとなるでしょう。

Learn more about Search Results Yi - Page 26