Search Results L

スタンフォードの研究者たちはPLATOを発表しました：知識グラフに拡張された正則化を用いた高次元、低サンプルの機械学習の過適合に取り組むための斬新なAIアプローチ

ナレッジグラフ（KG）は、ノードとエッジとして情報を格納するグラフベースのデータベースです。一方、マルチレイヤーパーセプトロン（MLP）は、機械学習で使用されるニューラルネットワークの一種です。MLPは、複数の層に配置された相互接続されたノードで構成されています。各ノードは前の層からの入力を受け取り、次の層に出力を送信します。スタンフォード大学の研究者たちは、KGを活用して補助的なドメイン情報を提供するための新しい機械学習モデルであるPLATOを紹介しました。 PLATOは、KG内の類似したノードがMLPの最初の層の重みベクトルを持つことを保証する帰納的なバイアスを導入することで、MLPを正則化します。この方法は、多くの次元を持つ表形式のデータセットを含むタブラーデータがサンプルよりも多い場合に機械学習モデルが助けが必要な課題に対処します。 PLATOは、特徴の数よりもデータサンプルの数が遥かに多い表形式のデータセットの未開拓シナリオに対処し、NODEやタブラートランスフォーマーなどの他の深層タブラーモデル、およびPCAやLASSOなどの従来のアプローチと異なり、正則化のためのKGを導入します。グラフ正則化方法とは異なり、PLATOはKG内の特徴ノードと非特徴ノードを組み合わせています。これにより、KGを事前情報として異なる表形式のデータセットでの予測に対してMLPモデルの重みを推定します。機械学習モデルはデータ豊富な環境で優れたパフォーマンスを発揮することが多い一方で、特徴の数がサンプルの数を大幅に上回る表形式のデータセットでは支援が必要です。この差異は特に科学データセットにおいて顕著であり、モデルのパフォーマンスが制限されます。既存の表形式の深層学習手法は主に例が特徴よりも多いシナリオに焦点を当てており、特徴がサンプルよりも多いローデータ領域では従来の統計手法が主流です。これを解決するために、MLPを正則化するための補助KGを活用するPLATOは、高次元の特徴と限られたモデルを持つデータセットにおけるディープラーニングを可能にし、優れたパフォーマンスを発揮します。補助KGを活用することで、PLATOは各入力特徴をKGノードと関連付け、ノードの類似性に基づいてMLPの最初の層の重みベクトルを推定します。この手法は、メッセージパッシングの複数のラウンドを用いて特徴の埋め込みを洗練します。PLATOはKG内の浅いノード埋め込み手法（TransE、DistMult、ComplEx）において一貫したパフォーマンスを示す消失実験を行います。この革新的な手法は、データに乏しい表形式の設定におけるディープラーニングモデルの改善の可能性を提供します。高次元の特徴と限られたサンプルを持つ表形式のデータに対するPLATOは、6つのデータセット全体で13の最先端ベースラインを最大10.19％上回ります。パフォーマンスの評価は、モデルごとに500の設定でランダムサーチを行い、予測値と実際の値のピアソン相関の平均と標準偏差を報告して行われます。結果は、PLATOの効果を裏付け、データに乏しい状況での堅牢なパフォーマンスを達成するための補助KGの活用を示しています。多様なベースラインに対する比較分析は、PLATOの優位性を明確にし、表形式のデータセットの予測の向上における有効性を立証しています。まとめると、以下のポイントで研究内容を要約することができます： PLATOは表形式のデータのためのディープラーニングフレームワークです。各入力特徴は補助KG内のノードに似ています。 PLATOはMLPを制御し、高次元の特徴と限られたサンプルを持つ表形式のデータで堅牢なパフォーマンスを達成します。このフレームワークは、KGノードの類似性に基づいて重みベクトルを推定し、類似の入力特徴は類似の重みベクトルを共有するという帰納的なバイアスを捉えます。 PLATOは6つのデータセットで13のベースラインを最大10.19％上回ります。補助KGの使用は、データが乏しい状況でのパフォーマンス向上を示します。

中国のこのAI論文では、UniRepLKNetと呼ばれる画像、音声、時間系列データ解析においてクロスモーダル性能を向上させるための革新的な大規模カーネルConvNetアーキテクチャが紹介されています

CNN（畳み込みニューラルネットワーク）は、近年では画像認識のための人気のある技術となっています。物体検出、分類、セグメンテーションのタスクにおいて非常に成功しています。しかし、これらのネットワークがより複雑になるにつれて、新たな課題が浮上しています。テンセントAI Labと香港中文大学の研究者は、大規模カーネルCNNにおけるアーキテクチャの課題に対応するための4つのガイドラインを提案しました。これらのガイドラインは、大規模カーネルをビジョンのタスク以外の領域、例えば時系列予測や音声認識などに拡張して、画像認識の向上を目指しています。 UniRepLKNetは、非常に大きなカーネルを持つConvNetの有効性を探求し、空間畳み込みだけでなく、ポイントクラウドデータ、時系列予測、音声、ビデオの認識などのドメインにまで拡張します。以前の研究では、異なる大きなカーネルの種を紹介していましたが、UniRepLKNetはそのようなカーネルを持つConvNetのためのアーキテクチャ設計に焦点を当てています。UniRepLKNetは3Dパターン学習、時系列予測、音声認識の分野で専門モデルを上回るパフォーマンスを発揮します。テクニカルモデルよりもわずかに低いビデオ認識の精度を持ちながらも、UniRepLKNetはゼロから訓練された総合的なモデルであり、さまざまなドメインでの柔軟性を提供します。 UniRepLKNetは大規模カーネルを持つConvNet向けのアーキテクチャガイドラインを導入し、過剰な深さを避け、広範なカバレッジを重視しています。ガイドラインはVision Transformers（ViTs）の制限に対処し、効率的な構造に焦点を当て、畳み込み層の再パラメータ化、タスクベースのカーネルサイジング、3×3畳み込み層の組み込みを扱っています。UniRepLKNetは既存の大規模カーネルConvNetと最近のアーキテクチャを上回る、画像認識における性能と効率を示しています。時系列予測や音声認識でも普遍的な知覚能力を示し、ポイントクラウドデータの3Dパターン学習においても、専門のConvNetモデルを超える性能を持ちます。 UniRepLKNetのアーキテクチャは、ImageNetの精度が88.0％、ADE20KのmIoUが55.6％、COCOボックスAPが56.4％といった画像認識タスクにおけるトップクラスのパフォーマンスを達成しています。UniRepLKNetの普遍的な知覚能力は、グローバル気温と風速予測の課題においてMSEとMAEで競合他社を上回ることで示されています。UniRepLKNetはポイントクラウドデータの3Dパターン学習においても専門のConvNetモデルを超える性能を発揮します。このモデルは、セグメンテーションなどの下流タスクでも有望な結果を示し、多様なドメインでの優れたパフォーマンスと効率性を確認しています。まとめると、研究のまとめは以下の通りです：研究では、大規模カーネルConvNet向けの4つのアーキテクチャガイドラインを導入しています。これらのガイドラインは大規模カーネルConvNetの特徴を重視しています。これらのガイドラインに従って設計されたConvNetモデルであるUniRepLKNetは、画像認識タスクにおいて競合他社を上回る優れたパフォーマンスを発揮します。 UniRepLKNetはカスタマイズなしで時系列予測や音声認識などの領域で普遍的な知覚能力を示します。 UniRepLKNetはポイントクラウドデータの3Dパターン学習においても専門モデルを上回ります。また、研究は非膨張性の大規模カーネル畳み込み層の性能を向上させるためにDilated Reparam Blockを導入しています。この研究は貴重なアーキテクチャガイドラインを提供し、UniRepLKNetとその能力を紹介し、Dilated Reparam Blockの概念を示しています。

「Google DeepMindが大規模な言語モデルを使用して解けない数学問題を解決」

彼らは生産物のほとんどを捨てなければならなかったが、ゴミの中には金があった

「UnbodyとAppsmithを使って、10分でGoogle Meet AIアシスタントアプリを作る方法」

「ほぼコードなしで、Google Meetのビデオ録画を処理し、メモを作成し、アクションアイテムをキャプチャするAIのミーティングアシスタントアプリを開発する方法を学びましょう」

Google Gemini APIを使用してLLMモデルを構築する

導入 ChatGPTとOpenAIのGPTモデルのリリース、およびMicrosoftとのパートナーシップにより、AIの領域にTransformerモデルをもたらしたGoogleはみんなが諦めた存在となりました。 GPTモデルがリリースされてから1年以上が経過しましたが、GoogleからはPaLM API以外に大きな動きはありませんでした。PaLM APIもあまり注目されず失敗に終わりました。そしてGoogleが突如として紹介した基盤となるモデルのグループ、Geminiが登場しました。Geminiの発売からわずか数日後、GoogleはGemini APIをリリースしました。このガイドでは、Gemini APIをテストし、最終的にはそれを使用してシンプルなチャットボットを作成します。学習目標 GoogleのGeminiシリーズの基礎知識を学ぶ。これには異なるモデル（Ultra、Pro、Nano）と、テキストと画像のサポートを中心とする多様性が含まれます。 Gemini Proのチャット・モデルを使用してチャットベースのアプリケーションを作成するスキルを開発し、チャットの履歴を維持し、ユーザーの文脈に基づいて応答を生成する方法を理解する。 Geminiが安全であるために、不安全なクエリを処理し、さまざまなカテゴリの安全性評価を提供することにより、責任あるAIの使用を保証する方法を探索する。 Gemini ProとGemini Pro Visionモデルを使用した実践的な経験を積み、画像の解釈と説明を含む、テキスト生成とビジョンに基づく機能を探索する。 Gemini APIとLangchainを統合して、相互作用のプロセスを簡素化する方法を学び、複数のクエリを効率的に処理するための入力と応答のバッチ処理について学ぶ。この記事はデータサイエンスブログサラソンの一部として公開されました。 Geminiとは何ですか？ Geminiは、Googleが構築し導入した新しい基盤モデルのシリーズです。これはこれまでのPaLMと比べて最も大きなモデルセットであり、最初から多様性に焦点を当てて構築されています。これにより、Geminiモデルはテキスト、画像、オーディオ、ビデオなどの異なる情報タイプの組み合わせに強力です。現在、APIは画像とテキストのサポートを提供しています。Geminiは、ベンチマークで最先端のパフォーマンスを達成し、多くのテストでChatGPTとGPT4-Visionモデルを上回っています。 Geminiには、サイズに基づいて3つの異なるモデルがあります。サイズの順に、Gemini Ultra、Gemini Pro、Gemini…

「あなたのMLアプリケーションを際立たせるための６つの効果的なヒント」

あなたの機械学習アプリケーションで目立つ方法を考えることは、何に取り組むべきかさえわからないと恐ろしいかもしれませんそこで、このブログ投稿では、実践的な6つのヒントを共有します...

「Prolificの機械学習エンジニア兼AIコンサルタント、ノラ・ペトロヴァ – インタビューシリーズ」

『Nora Petrovaは、Prolificの機械学習エンジニア兼AIコンサルタントですProlificは2014年に設立され、既にGoogle、スタンフォード大学、オックスフォード大学、キングスカレッジロンドン、欧州委員会を含む組織を顧客に数えており、参加者のネットワークを活用して新製品のテストや、視線追跡などのAIシステムのトレーニングを行っています[…]』

「AGIに向かって：LLMと基礎モデルが人生の学びの革命で果たす役割」

過去10年間、特にディープラーニングの成功を受けて、人工汎用知能（AGI）の構築の可能性について議論が続いています最終目標は...

『ELS+ Stream Tool』

ELS+は、企業がデータから有益な洞察を抽出し、意思決定を改善し、パフォーマンスを向上させるためのAIパワードアナリティクスツールです

LLMの理論的思考力を向上させるための方法：コードの連鎖を促進する解明

「Chain of Code（コードの連鎖）」は、言語モデルとの対話を通じて推論能力を高めるアプローチであり、コードの書き込み、実行、およびコードの実行をシミュレートすることによって、言語モデルの論理、算術、および言語的なタスクの能力を拡張します特に、これらすべての組み合わせを必要とするタスクにおいて優れた結果を出します

language models

Learn more about Search Results L - Page 3