Search Results Jam

「不確定性原理は時間系列解析をどのように制限するのか？」

フーリエ変換、不確定性原理、および時系列解析の関係は、同時的な時間と周波数の抽出を形作る魅力的な相互作用を明らかにします...

「AIの誤情報：なぜそれが機能するのか、そしてそれを見抜く方法」

オンライン上で何が本物かを判断することはますます困難になっていますしかし、それに対処するために取ることができる手段があります

エンジニアにとって役立つ6つのリソース

「このリソースのコレクションは、さまざまな経験レベルを持つ多くのAIのプロフェッショナルに役立つでしょうブックマークに保存して、自由な時間に学習してください」

GitHub Copilot GitHub Copilotは、市場をリードするAIパワードのコーディングアシスタントです。開発者がより効率的に優れたコードを作成するために設計されており、CopilotはOpenAIのCodex言語モデルを基盤に動作しています。このモデルは、自然言語と広範な公開コードデータベースでトレーニングされており、洞察に富んだ提案を行うことができます。コードや関数の完全な行を補完し、コメントの作成やデバッグ、セキュリティチェックの支援など、開発者にとって貴重なツールとなっています。 Amazon CodeWhisperer AmazonのCodeWhispererは、Visual StudioやAWS Cloud9などのさまざまなIDEでリアルタイムのコーディングの推奨を提供する機械学習駆動のコードジェネレータです。大規模なオープンソースのコードデータセットでトレーニングされており、スニペットから完全な関数まで提案し、繰り返しのタスクを自動化し、コードの品質を向上させます。効率とセキュリティを求める開発者にとっての利点です。 Notion AI Notionのワークスペース内で、AIアシスタントのNotionがさまざまな文書作成に関連するタスクをサポートします。創造性、修正、要約など、さまざまなタスクで執筆の速度と品質を向上させます。Notion AIは、ブログやリストからブレストセッションやクリエイティブライティングまで、幅広い執筆タスクを自動化するために使用できるAIシステムです。NotionのAI生成コンテンツは、ドラッグアンドドロップのテキストエディタを使用して簡単に再編成や変換ができます。 Stepsize AI Stepsize AIは、チームの生産性を最適化するために設計されたコラボレーションツールです。プロジェクトの履歴やタスク管理者として機能し、Slack、Jira、GitHubなどのプラットフォームと統合して、更新を効率化し、意思疎通のミスを防ぎます。主な機能には、活動の統一された要約、クエリへの即時回答、堅牢なデータプライバシーコントロールがあります。 Mintlify Mintlifyは、お気に入りのコードエディタで直接コードドキュメントを自動生成する時間を節約するツールです。Mintlify Writerをクリックするだけで、関数のためのよく構造化されたコンテキストに即した説明を作成します。開発者やチームに最適で、複雑な関数のための正確なドキュメントを生成することで、効率と正確さが評価されています。 Pieces for Developers Pieces…

「対数正規分布の簡単な説明」

正規分布は、特にデータサイエンスや機械学習の分野でよく知られていますしかし、ログ正規分布について聞いたことはありますか？これは幅広い応用があります...

「生成AIの組織化：データサイエンスチームから得た5つの教訓」

「経営陣が曖昧な約束をした後、新しいGen AIの機能が組織全体に組み込まれることを利害関係者に約束した後、あなたのタイガーチームはMVPを作成するためにスプリントしました」

人工知能の台頭に備えるために、高校生をどのようにサポートできるか

「1週間の夏のプログラムは、好奇心旺盛な若い頭脳の間で健康における機械学習のアプローチに対するより深い理解を育むことを目指しています」

「言語モデルにアルゴリズム的な推論を教える」

Posted by Hattie Zhou, MILAの大学院生、Hanie Sedghi, Googleの研究科学者 GPT-3やPaLMなどの大規模言語モデル（LLM）は、モデルとトレーニングデータのサイズを拡大することで、近年驚異的な進歩を遂げています。それにもかかわらず、LLMが象徴的に推論できるか（すなわち、論理的なルールに基づいて記号を操作できるか）という長年の議論がありました。たとえば、LLMは、数字が小さい場合には簡単な算術演算を実行できますが、数字が大きい場合は苦労します。これは、LLMがこれらの算術演算を実行するために必要な基本的なルールを学習していないことを示唆しています。ニューラルネットワークはパターンマッチング能力に優れていますが、データ中の偶発的な統計的パターンに過学習しやすいです。これは、トレーニングデータが大きく多様であり、評価が分布内である場合には良いパフォーマンスに影響しません。ただし、加算などのルールベースの推論を必要とするタスクでは、LLMは分布外の一般化に苦労し、トレーニングデータの偶発的な相関は真のルールベースの解決策よりもはるかに容易に利用されることがしばしばあります。その結果、さまざまな自然言語処理タスクでの重要な進展にもかかわらず、加算などの簡単な算術タスクのパフォーマンスは依然として課題のままです。MATHデータセットでのGPT-4のささやかな改善にもかかわらず、エラーは主に算術と計算のミスによるものです。したがって、重要な問題は、LLMがアルゴリズム的な推論が可能かどうかということです。アルゴリズム的な推論は、アルゴリズムを定義する一連の抽象的なルールを適用してタスクを解決することを含みます。「コンテキスト学習を通じたアルゴリズム的な推論の教育」では、コンテキスト学習を活用してLLMにアルゴリズム的な推論能力を可能にするアプローチについて説明しています。コンテキスト学習とは、モデルがモデルのコンテキスト内でそれに関するいくつかの例を見た後にタスクを実行できる能力を指します。タスクはプロンプトを使用してモデルに指定され、重みの更新は必要ありません。また、より困難な算術問題においてプロンプトで見られるものよりも強力な一般化を実現するための革新的なアルゴリズム的プロンプティング技術を提案しています。最後に、適切なプロンプト戦略を選択することで、モデルが分布外の例でアルゴリズムを信頼性を持って実行できることを示しています。アルゴリズム的プロンプトを提供することで、コンテキスト学習を通じてモデルに算術のルールを教えることができます。この例では、LLM（単語予測）は、簡単な加算の質問（例：267 + 197）をプロンプトとして入力すると正しい答えを出力しますが、桁数の長い類似の加算の質問に対しては失敗します。ただし、より困難な質問に加算のアルゴリズム的プロンプトを追加すると（単語予測の下に表示される青いボックスと白い+）、モデルは正しく答えることができます。さらに、モデルは一連の加算計算を合成することによって乗算アルゴリズム（ X ）をシミュレートすることができます。アルゴリズムをスキルとして教えるモデルにアルゴリズムをスキルとして教えるために、アルゴリズムプロンプトを開発します。これは、他の根拠に基づいたアプローチ（スクラッチパッドや思考の連鎖など）を基に構築されます。アルゴリズムプロンプトは、LLMからアルゴリズム的な推論能力を抽出し、他のプロンプトアプローチと比較して2つの注目すべき特徴があります。 1）アルゴリズミックな解決策に必要な手順を出力してタスクを解決し、2）LLMによる誤解釈の余地がないように、各アルゴリズミックな手順を十分な詳細で説明します。アルゴリズム的なプロンプトの直感を得るために、2つの数字の加算のタスクを考えてみましょう。スクラッチパッドスタイルのプロンプトでは、右から左に各桁を処理し、各ステップでキャリー値（現在の桁が9より大きい場合は次の桁に1を追加します）を追跡します。ただし、キャリーのルールはキャリー値の数例を見た後ではあいまいです。キャリーのルールを明示するために明示的な方程式を含めると、モデルは関連する詳細に焦点を当て、プロンプトをより正確に解釈することができることがわかります。この洞察を活用して、2つの数字の加算のためのアルゴリズム的なプロンプトを開発しました。計算の各ステップに対して明示的な方程式を提供し、曖昧さのない形式でさまざまなインデックス操作を説明します。さまざまな加算のプロンプト戦略のイラスト。答えの桁数が最大5桁までの加算のプロンプト例を3つだけ使用して、19桁までの加算のパフォーマンスを評価します。正確性は、答えの長さに均等にサンプリングされた合計2,000の例において測定されます。以下に示すように、アルゴリズムのプロンプトの使用により、プロンプトで見られる以上に長い質問に対しても高い正確性が維持されており、モデルが入力に関係ないアルゴリズムを実行することによってタスクを解決していることが示されています。異なるプロンプトのメソッドによる加算問題のテスト正確性の長さの増加。アルゴリズム的なスキルを道具として活用するモデルがより一般的な推論プロセスにおいてアルゴリズミックな推論を活用できるかどうかを評価するために、学校の数学のワードプロブレム（GSM8k）を使用してパフォーマンスを評価します。具体的には、GSM8kからの加算計算をアルゴリズミックな解決策で置き換える試みを行います。…

大規模な言語モデルを使用した自律型の視覚情報検索

Posted by Ziniu Hu, Student Researcher, and Alireza Fathi, Research Scientist, Google Research, Perception Team 大規模言語モデル（LLM）を多様な入力に適応させるための進展があり、画像キャプショニング、ビジュアルな質問応答（VQA）、オープンボキャブラリ認識などのタスクにおいても進展が見られています。しかし、現在の最先端のビジュアル言語モデル（VLM）は、InfoseekやOK-VQAなどのビジュアル情報検索データセットにおいて、外部の知識が必要な質問に対して十分な性能を発揮できません。外部の知識が必要なビジュアル情報検索のクエリの例。画像はOK-VQAデータセットから取得されています。「AVIS：大規模言語モデルによる自律型ビジュアル情報検索」という論文では、ビジュアル情報検索タスクにおいて最先端の結果を達成する新しい手法を紹介しています。この手法は、LLMと3種類のツールを統合しています：（i）画像からビジュアル情報を抽出するためのコンピュータビジョンツール、（ii）オープンワールドの知識と事実を検索するためのWeb検索ツール、および（iii）視覚的に類似した画像に関連するメタデータから関連情報を得るための画像検索ツール。AVISは、LLMパワードのプランナーを使用して各ステップでツールとクエリを選択します。また、LLMパワードの推論エンジンを使用してツールの出力を分析し、重要な情報を抽出します。ワーキングメモリコンポーネントはプロセス全体で情報を保持します。難しいビジュアル情報検索の質問に回答するためのAVISの生成されたワークフローの例。入力画像はInfoseekデータセットから取得されています。以前の研究との比較最近の研究（例：Chameleon、ViperGPT、MM-ReAct）では、LLMにツールを追加して多様な入力を扱うことを試みています。これらのシステムは2つのステージのプロセスに従います：プランニング（質問を構造化プログラムや命令に分解する）および実行（情報を収集するためにツールを使用する）。基本的なタスクでは成功していますが、このアプローチは複雑な実世界のシナリオではしばしば失敗します。また、LLMを自律エージェントとして適用することに関心が高まっています（例：WebGPT、ReAct）。これらのエージェントは環境と対話し、リアルタイムのフィードバックに基づいて適応し、目標を達成します。ただし、これらの方法では各ステージで呼び出すことができるツールに制限がなく、膨大な検索空間が生じます。その結果、現在の最先端のLLMでも無限ループに陥ったり、エラーを伝播させることがあります。AVISは、ユーザースタディからの人間の意思決定に影響を受けたガイド付きLLMの使用によってこれを解決します。ユーザースタディによるLLMの意思決定への情報提供 InfoseekやOK-VQAなどのデータセットに含まれる多くのビジュアルな質問は、人間にとっても難しい課題であり、さまざまなツールやAPIの支援が必要とされます。以下にOK-VQAデータセットの例の質問を示します。私たちは外部ツールの使用時の人間の意思決定を理解するためにユーザースタディを実施しました。…

情報とエントロピー

1948年、数学者のクロード・E・シャノンが「通信の数学的理論」という記事を発表し、機械学習における重要な概念であるエントロピーを紹介しましたエントロピーとは…

Learn more about Search Results Jam - Page 7