Search Results Go

「Google Brainの共同創設者は、テック企業がAIのリスクを大げさに報じている」と主張しています

アンドリュー・エン、スタンフォード大学の准教授であり、Google Brainの共同設立者は、企業がAIに関連するリスクについて過大な恐れを煽っていると主張していますアンドリューはこの主張をオーストラリアの金融レビューに語り、テック企業が「AIが私たちを...」という前提でより厳格な規制を望んでいると述べました

「5つのシンプルなステップシリーズ：Python、SQL、Scikit-learn、PyTorch、Google Cloudをマスターする」

「Python、SQL、Scikit-learn、PyTorch、Google Cloud Platformの使い方をマスターするためのVoAGI Back to Basics Getting Started in 5 Stepsシリーズに飛び込んでみてください」

Data science

グーグルサーチは、Googleサーチで文法チェック機能を備えた革新的なテキスト編集AIモデルであるEdiT5を導入しました

画期的な進歩として、Googleはその検索エンジンに革新的なEdiT5モデルによる最先端の文法修正機能を導入しました。この革新的なアプローチは、複雑な文法エラー修正（GEC）がもたらす課題に対処し、高い精度とリコールを確保しながら、素晴らしい速さで結果を提供します。従来、GECは翻訳の問題としてアプローチされ、オートリグレッシブなトランスフォーマーモデルが利用されてきました。効果はあるものの、この方法ではオートリグレッシブなデコーディングによる並列化の制限が効率性に影響を与えます。より効率的なプロセスの必要性を認識し、EdiT5の開発チームは、GECをテキスト編集の問題として再構築しました。T5トランスフォーマーエンコーダデコーダーアーキテクチャを活用することで、デコーディングステップを大幅に削減し、レイテンシを最小限に抑えました。 EdiT5モデルは、文法エラーが含まれた入力を受け取り、エンコーダを使用して保持または削除するトークンを決定します。保持されたトークンはドラフトの出力を形成し、ノンオートリグレッシブなポインタネットワークを使用して必要に応じて再順序付けすることができます。その後、デコーダは文法的に正しい出力を生成するために、ドラフトに存在しないトークンを挿入します。重要なことは、デコーダはドラフトにないトークンのみに対して操作を行い、従来の翻訳ベースのGECと比較して処理時間を大幅に削減する点です。デコード速度をさらに向上させるために、チームはデコーダを単層に絞り込み、同時にエンコーダのサイズを拡張しました。この戦略的な調整により、作業負荷が均衡化され、レイテンシが大幅に削減されます。具体的には、EdiT5モデルは驚異的な平均レイテンシ4.1ミリ秒で素晴らしい結果を達成することを意味します。公開Bea文法エラー修正ベンチマークで行われたパフォーマンス評価は、EdiT5の優位性を示しています。パラメータ数が3億9100万である大規模なEdiT5モデルは、パラメータ数が2億4800万であるT5ベースモデルよりも高いF0.5スコア（修正の正確性を測定するもの）を出し、驚異的な9倍の高速化を実現しています。これは、モデルの効率性が非常に優れていることを示しています。さらに、研究はモデルサイズが正確な文法修正の生成において重要な役割を果たすことを強調しています。大規模言語モデル（LLM）の利点とEdiT5の低レイテンシを組み合わせるために、ハード蒸留と呼ばれる技術を活用しています。教師LLMをトレーニングし、それを学生EdiT5モデルのトレーニングデータ生成に利用することで、正確さと速度の強力なシナジーを実現しています。開発プロセスでは、最適なパフォーマンスを確保するためにトレーニングデータを洗練しました。非文法的なソースと文法的なターゲット文のペアから成るトレーニングセットは、厳格なセルフトレーニングと反復的な改善が行われました。この入念なアプローチにより、不要な言い換え、アーティファクト、文法エラーが排除され、クリーナーでより一貫性のあるトレーニングデータが得られました。最終的な実装では、EdiT5ベースのモデルが2つトレーニングされました。文法エラー修正モデルと文法正当性分類器です。ユーザーが文法チェック機能を利用すると、クエリはモデルによる修正を受けた後、分類器によって検証されます。この2段階のプロセスにより、正確な修正のみがユーザーに提示され、誤ったまたは混乱を招く提案のリスクが軽減されます。 EdiT5を活用した文法チェック機能の導入により、Google検索は効率的かつ正確な文法修正の新たな基準を確立しました。ユーザーは単に検索時に「文法チェック」というフレーズを含めることで、クエリの文法的正当性を自信をもって評価することができます。自然言語処理のこのマイルストーンは、Googleのユーザーエクスペリエンスの向上と信頼性のある正確な検索結果に対する取り組みを再確認しています。

UC San Diegoの研究者がTD-MPC2を発表：多様な領域でのモデルベースの強化学習の革命化

大きな言語モデル（LLM）は、人工知能と機械学習の進歩のおかげで絶えず改善されています。 LLMは、自然言語処理、自然言語理解、自然言語生成、コンピュータビジョンなどのAIのサブフィールドで大きな進展を遂げています。これらのモデルは、大規模なインターネットスケールのデータセットでトレーニングされ、さまざまな言語とビジュアルのタスクを処理できるジェネラリストモデルを開発します。大規模なデータセットとデータとモデルのサイズに効果的にスケーリングできる綿密に考えられたアーキテクチャの存在が成長の要因とされています。最近では、LLMはロボティクスにも成功裏に応用されています。ただし、広範な未整理のデータセットから多くの制御タスクを低レベルアクションで学習するジェネラリストエンボディドエージェントはまだ実現していません。ジェネラリストエンボディドエージェントに対する現在のアプローチは2つの主要な障害に直面しています。近接専門家軌道の仮定：利用可能なデータ量の制約により、多くの既存の行動クローニングの手法では近接専門家軌道に頼っています。これは、エージェントが異なるタスクに対して柔軟性が低くなることを意味し、専門家のような高品質なデモから学習する必要があります。拡張コントロール方法のスケーラビリティの欠如：数多くのスケーラブルな連続制御方法は、大規模で整理されていないデータセットを効果的に処理できません。既存の強化学習（RL）アルゴリズムの多くは、タスク固有のハイパーパラメータに依存し、単一のタスク学習に最適化されています。これらの課題への解決策として、研究チームは最近、モデルベースのRLアルゴリズムのTD-MPC（Trajectory Distribution Model Predictive Control）ファミリーの拡張であるTD-MPC2を紹介しました。さまざまなタスクドメイン、エンボディメント、アクションスペースにわたる大規模な未整理のデータセットを使用してTD-MPC2をトレーニングし、ジェネラリストワールドモデルの構築に役立つシステムを作成しました。その主要な特徴の1つは、ハイパーパラメータの調整が必要ないことです。 TD-MPC2の主な要素は次のとおりです。潜在空間でのローカル軌道最適化：デコーダーの必要がないため、TD-MPC2はトレーニング済みの暗黙のワールドモデルの潜在空間でローカル軌道最適化を行います。アルゴリズムの頑健性：重要な設計決定を再び確認することで、アルゴリズムはより強固になります。多様なエンボディメントとアクションスペースのアーキテクチャ：事前のドメインエキスパートの要件を必要とせず、アーキテクチャは複数のエンボディメントとアクションスペースをサポートするように慎重に作成されています。研究チームは、評価の結果、TD-MPC2が現在使用されているさまざまな連続制御タスクに対してモデルベースとモデルフリーのアプローチよりも優れたパフォーマンスを実現していることを示しました。特にピックアンドプレースや移動タスクなどの難しいサブセットでは特に優れた結果を示します。エージェントの増加した能力は、モデルとデータのサイズが増えるにつれてスケーラビリティを示しています。研究チームは、TD-MPC2のいくつかの注目すべき特徴を以下にまとめています。パフォーマンスの向上：さまざまなRLタスクで使用すると、TD-MPC2はベースラインのアルゴリズムよりも改善を提供します。単一のハイパーパラメータとの一貫性：TD-MPC2の主な利点の1つは、単一のハイパーパラメータで信頼性のある印象的な結果を生み出す能力です。これにより、チューニング手順が簡素化され、さまざまなジョブに適用されやすくなります。スケーラビリティ：モデルとデータのサイズが増えるにつれてエージェントの能力が増す。このスケーラビリティは、より複雑なジョブの管理およびさまざまな状況への適応に重要です。研究チームは、317百万のパラメータを持つ単一のエージェントをトレーニングして80のタスクを達成し、TD-MPC2のスケーラビリティと効果を示しました。これらのタスクでは、複数のエンボディメント（エージェントの物理的な形態）および複数のタスクドメインにわたるアクションスペースが必要です。これは、TD-MPC2の柔軟性と強力さを示しています。

GoogleのAIにおける戦略的拡張：Anthropicへの20億ドルの賭け

テック大手のGoogleが人工知能（AI）への取り組みをさらに深化させる動きを示す中、最近Anthropicへの大規模な投資を発表しましたこの20億ドルの資金投入によって、Googleは急速に進化するAIのエリアでの地位を強化するだけでなく、業界のダイナミクスにも重大な変化をもたらすことを示していますAnthropicは、OpenAIに対する成長中のライバルであり、…

GoogleシートのAI搭載ソリューション「スマートフィル」によるデータ処理の革新

データ管理とスプレッドシートの愛好家にとって、手作業でデータ処理を行うことは常に煩雑で時間のかかる作業でした。フィードバックの分類、ニュース記事の整理、住所データの標準化、テキストフィールドから貴重な情報を抽出するなど、この反復作業の負担は多くの人々にとって共通の悩みでした。従来、Google Sheetsなどのスプレッドシートソフトウェアのユーザーは、これらの課題に取り組むために手作業のデータ入力や複雑な数式に頼る必要がありました。しかし、希望の光が現れました。情報処理の効率的な方法を熱心に求めるデータ愛好家たちは、AIが救世主になることはあるのかという疑問を抱きました。 AIによるデータ処理の解決策は利用可能ですが、これらはしばしば煩雑なセットアップとプログラミングの専門知識を要します。しかし、Google Sheetsの「スマートフィル」はこの風景を革新すると約束しています。このエキサイティングな機能は、頼れるスプレッドシートとChatGPTのスマートな能力の結合と見なすことができます。 Google Workspaceを通じて利用可能なスマートフィルは、2つの列間の関係を自動的に検出し、入力する値を予測することで、データ操作の手間を省きます。この驚くべきAI技術はデータを理解し、全体のプロセスを効率化します。これにより、ユーザーは多くの手動作業の時間を節約する可能性があります。このAI技術による最も魅力的な側面の1つは、さまざまなタスクにシームレスに対応できる能力です。テーマごとにフィードバックを分類し、トピックごとにニュース記事を整理し、一貫性のない住所データを統一された形式に変換し、テキストフィールドから電話番号を抽出することは、その数多くのアプリケーションの一部です。スマートフィルの使いやすさと多様性は、どんなデータ愛好家にも感銘を与えるでしょう。いかなる技術的な進歩の正確な評価は、そのパフォーマンス指標にあり、スマートフィルも例外ではありません。早期の採用者は、データ処理タスクを最大4倍速く完了できるという大幅な時間節約を報告しています。さらに、AIモデルによって行われる予測の正確さは驚くべきものであり、手動データ入力に関連するエラーの可能性を最小限に抑えています。結論として、「スマートフィル」をGoogle Sheetsに導入することは、データを扱うすべての人にとって画期的な進歩です。時間のかかるデータ処理の古い問題だけでなく、使いやすく非常に効果的な方法でこれを解決します。スマートフィルのデータ関係を理解し、予測する能力は、スプレッドシート技術の大きな進歩だけでなく、さまざまなユーザーにとっても重要な時間節約です。このAI技術を採用する個人や企業が増えれば、手動データ入力の苦労の日々は遠い記憶になるかもしれません。

Googleの検索責任者は、会社が「轢き殺されるのを避けるために投資している」と述べています

「独占禁止法の弁護の最初に、Googleは持続的な投資を要因として、政府の主張に対し法を破って先行するために成功を収めてきたと主張しました」

「OWLv2のご紹介：ゼロショット物体検出におけるGoogleのブレークスルー」

はじめに 2023年も終わりが近づいていますが、コンピュータビジョンコミュニティにとっての興奮するニュースは、Googleが最近OWLv2のリリースとともにゼロショットオブジェクト検出の世界で大きな進歩を遂げたことです。この最新モデルは🤗 Transformersで利用可能であり、これまでに存在する中でも最も堅牢なゼロショットオブジェクト検出システムの1つを表しています。これは昨年に導入されたOWL-ViT v1の基盤を築いています。この記事では、このモデルの動作とアーキテクチャを紹介し、推論を実行する実用的なアプローチを見ていきます。さあ、始めましょう。学習目標コンピュータビジョンにおけるゼロショットオブジェクト検出の概念を理解する。 GoogleのOWLv2モデルの背後にある技術とセルフトレーニングのアプローチについて学ぶ。 OWLv2の使用に必要な実用的なアプローチ。この記事はデータサイエンスブログマラソンの一環として公開されました。 OWLv2の技術 OWLv2の印象的な機能は、その革新的なセルフトレーニングのアプローチによるものです。このモデルは、10億以上の例から成るウェブスケールデータセットでトレーニングされました。これを達成するために、著者たちはOWL-ViT v1の強力さを活用し、そのモデルを使用して擬似ラベルを生成し、それを使ってOWLv2をトレーニングしました。さらに、モデルは検出データ上で微調整され、それによって先行モデルであるOWL-ViT v1に比べて性能が向上しました。セルフトレーニングによってオープンワールドの位置特定のウェブスケールトレーニングが可能になり、オブジェクトの分類や言語モデリングで見られるトレンドに倣っています。 OWLv2のアーキテクチャ OWLv2のアーキテクチャはOWL-ViTと似ていますが、オブジェクト検出のヘッドに注目すべき追加があります。これにより、予測ボックスがオブジェクトを含む可能性を予測するオブジェクト性の分類器が含まれるようになりました。オブジェクト性スコアは洞察を提供し、テキストクエリに関係なく予測を順位付けやフィルタリングするために使用することができます。ゼロショットオブジェクト検出ゼロショット学習は、GenAIのトレンド以来一般的になった新しい用語です。これは、主に大規模言語モデル（LLM）の微調整で見られます。これは、いくつかのデータを使用してベースモデルを微調整し、モデルが新しいカテゴリに対応するようにすることを指します。ゼロショットオブジェクト検出はコンピュータビジョンの分野で画期的なものです。これは、手動で注釈付けされたバウンディングボックスの必要がなくなり、モデルが画像内のオブジェクトを検出する能力を向上させます。これによりプロセスがスピードアップし、手動の注釈が不要になるため、人間にとっては魅力的で、退屈ではありません。 OWLv2の使い方 OWLv2はOWL-ViTと同様のアプローチを採用していますが、更新されたイメージプロセッサOwlv2ImageProcessorを特徴としています。さらに、モデルはテキストのエンコードにCLIPTokenizerを使用しています。Owlv2ProcessorはOwlv2ImageProcessorとCLIPTokenizerを組み合わせた便利なツールであり、テキストのエンコードプロセスを簡素化します。以下に、Owlv2ProcessorとOwlv2ForObjectDetectionを使用してオブジェクト検出を実行する方法の例を示します。…

イェール大学とGoogle DeepMindの研究者は、大規模な言語モデルに対する高度な微調整技術を使用して数学の問題解決の成功を解き明かしました

“`html 最も先進的な大型言語モデル（LLMs）であるGPT-4やPaLM 2でも、数学の問題を解くのは困難です。なぜなら、それには想像力、数理的推論、計算が必要だからです。問題に複数回取り組むことが許可されると、LLMsが正しい答えを見つける可能性はかなり高くなります。したがって、LLMsはすでにこの数学の問題解決の課題を改善する可能性を示しています。例えば、事前学習済みのPaLM 2-Lは、greedy decodingを使用した場合に約33.4％の正確さを達成することができます。しかし、temperature samplingを使用して64の解をサンプリングすると、少なくとも1つの正解（pass@64）が79.4％の確率で得られます（表1）。表1：教師あり解の微調整の結果。トレーニングデータの2つの異なるソースであるMATHデータセットとPRM800Kデータセットを比較しています。この大きな性能の差は、LLMsが正確な答えを生成できる一方で、正しい解と誤った解を区別することが困難であることを示しています。したがって、上記の性能差を縮小するために、彼らはタスク固有の微調整技術を調査して、LLMの解決力と評価力を向上させようとしています。彼らは3つの微調整技術を検討しています：（1）SSFT、教師あり段階的解の微調整。事前学習済みLLMsが出発点として教師あり微調整ステップを受けることで利益を得られるかどうかを調査します。 LLMsを調整して、完全な解答を提供するようにします。（2）解クラスタ再順位付け（SCR）。候補解の再順位付けのための解評価器として生成器を改善し、LLMの解評価能力を向上させます。以前の研究では解のサンプル順位付けまたは再順位付けが行われてきましたが、彼らは多数決の利点と再順位付けを組み合わせる新しい手法を提案し、ランキングのコストを削減します。より具体的には、多数決の初期段階で、数学的等価性に基づいて候補解をいくつかのグループに分類します。さらに多数決の結果をさらに向上させるために、最頻クラスタの解に解評価器を適用します。（3）シーケンシャルマルチタスク微調整。解評価タスクに加えて、LLMの解生成タスクの性能向上にも関心があり、解評価タスクのトレーニング目標がモデルの解生成に役立つかどうかを判断します。これを実現するために、解評価タスクを自然言語生成問題としてフレーム化し、そのトレーニング目標が解生成モデルに有益な監督信号を提供できるようにします。さらに具体的には、モデルを3つのステージで調整します：（1）生成器として（SSFT）、（2）解評価器として（SCR）、および（3）再び生成器として（SSFT）。彼らは、難しいMATHデータセット上でPaLM 2-S*とPaLM 2-LのようなPaLM 2の小さな形式と大きな形式を使用して包括的な研究を行い、以下の結論を示しています： • 微細な、適切なフォーマットの解答によっては、SSFTがより良いパフォーマンスを発揮するため、ステップバイステップの解の品質とスタイルは洗練されたモデルに大きな影響を与えることがあります。 • 最も一般的な解クラスタのみを再順位付けすることで、すべての解を再順位付けするよりも性能が向上し、演算効率も向上します。これが将来の作業におけるより良い標準的な方法であると考えられます。 • 解生成モデルの性能を向上させるために、解生成と評価の両方のタスクでモデルをトレーニングする利点を示し、評価タスクの学習信号が生成モデルにとって有益であるという成功した試みを示しています。教師あり解微調整のみよりも、彼らの提案するマルチタスクシーケンシャル微調整は解生成モデルのパフォーマンスをより効果的に向上させることができます。…

「GoogleのAIの驚異的な進化、GeminiとゲームチェンジャーのStubbsを紹介します」

AIの生成を基本的なツールやサービスに統合しようという動きは、急速に変化するデジタルエコシステムにおいて活発な闘いに発展しました。Googleは、革新の限界に挑戦するテックジャイアントの中でも突出しており、GeminiとStubbsという2つの画期的なAIマーベルを開発しました。IT業界への影響を含め、これらの魅力的な進展について詳しく見ていきましょう。 Googleの変化する一般的なAI戦略組織は最先端のAIソリューションを追求するためにさまざまな手法を探っています。慣れ親しんだクラウドプロバイダーを頼りにする人もいれば、クラウドソーシングの技術を使用してスタッフにより大きな権限を与える人もいます。一部の人々は暫定的な解決策を待っています。競争が激化する中、Googleは多くのAIオプションで市場シェアを獲得することに積極的です。生成AIの強力な担い手：Googleがスタートアップに与える影響 Googleは生成AIの分野に大きな影響を与えています。他のプロバイダーが市場に参入するにつれて、Googleのソリューションも徐々に注目を集めています。驚くべきことに、Google Cloudは、ベンチャーファンド支援を受けた生成AIスタートアップの半数以上をサービスしています。 CEOのサンダー・ピチャイによると、AI21 Labs、Contextual、Elemental Cognition、Rytrなどの有名企業がすべてGoogleのプラットフォームを選択しています。また読む： GoogleがニュースライターAI ‘Genesis’をリリース AIインフラストラクチャへの投資：未来に向けて準備する Googleはソフトウェアを超えてAIに専念しています。第3四半期には、人工知能に関する重いワークロードをサポートするための技術インフラへの大規模な投資により、会社の資本支出（CapEx）経費が大幅に増加しました。Googleだけでなく、AWS、Microsoft Azure、Oracleなどの他のクラウドハイパースケーラーも、生成的な人工知能への需要の増加に対応するためにインフラを近代化しています。 Geminiの紹介、GoogleのマルチモーダルAIスーパーヒーロー CEOのサンダー・ピチャイは、2023年5月のGoogle I/O開発者会議で、将来の人工知能システムであるGeminiを発表しました。GoogleのDeepMind部門が開発したGeminiは、OpenAIのChatGPTに匹敵し、またはそれを上回る人工知能システムです。ピチャイは、DeepMindのAlphaGoのパワーと強力な言語モデリングの機能を組み合わせたGeminiの特別な特性を強調しました。テキスト、画像、その他のデータタイプの統合により、このマルチモーダルモデルはより有機的な会話能力を約束しています。 Googleのチーフサイエンティストであるジェフリー・ディーンは、Geminiの将来についていくつかの考えを共有しました。ディーンは、GeminiはGoogleの新しいAIインフラストラクチャ、Pathwaysを使用してさまざまなデータセットのトレーニングを行うと明かしました。この示唆によれば、Geminiは現時点で最大の言語モデルである1750億のパラメータを持つGPT-3を超える可能性があります。 Geminiは、ツリーサーチや強化学習といったAlphaGoの技術を活用して新たな推論や問題解決のスキルを獲得し、異なる容量とサイズを持つ「一連のモデル」を提供し、柔軟で強力なAIツールになる予定です。また読む： Googleが最先端のVertex AI Searchを発表…

Learn more about Search Results Go - Page 10