Search Results 定義

「PySpark UDFを使用して合成テーブルの列間にOne-To-Oneの関係を作成する方法」

最近、私はDatabricks Labs Data Generatorを使って、まったく合成的なデータセットをゼロから作成する遊びをしていますその一環として、異なる...周りの販売データを構築することを考えました

「ジェネレーティブAI 2024年とその先：未来の一瞥」

「ジェネレーティブAIファブリックの台頭から倫理が新しいNFRとなるまで、ジェネレーティブAI技術が2024年にもたらすものを探ってみましょう」

「わかっている？人間と機械の知能」

この記事では、知性の概念とコンピュータプログラムが知的であるという意味について探求してみましょう私たちは異なる専門用語や関連する概念を行き来することになります…

葉っぱが金色に変わり、12月の寒さが広がる中、人工知能の領域で目覚ましい進歩が見られた今年を振り返る時が来ました。2023年は単なる進歩の年ではありませんでした。それはトライアンフの年であり、AIが成し遂げられる限界が繰り返し押し広げられ、再定義された年でした。LLM（大規模言語モデル）の能力における画期的な進展から、前例のないほど世界とのナビゲーションや相互作用が可能な自律エージェントの登場まで、この年はこの変革的な技術の無限の可能性を示すものでした。この包括的な探求の中で、私たちは2023年のAIを定義した8つの主要なトレンドについて掘り下げ、産業を再構築し、未来を革命化する革新を明らかにしていきます。だから、AI愛好家の皆さん、私たちは技術史の記録に永遠に刻まれる一年についての旅に出発です。 RLHFとDPOの微調整 2023年は、大規模言語モデル（LLM）の能力を向上させるための重要な進展が見られました。2つの主要なアプローチが登場しました：人間のフィードバックに基づく強化学習（RLHF）：この手法は、人間のフィードバックを活用してLLMの学習プロセスをガイドし、持続的な改善と進化するユーザーのニーズや好みに対応させることができます。このインタラクティブなアプローチにより、LLMは複雑または主観的な領域において微妙な理解力と意思決定能力を開発することができます。直接的な選好最適化（DPO）：：DPOはよりシンプルな代替手法であり、明示的な強化信号を必要とせずにユーザーの選好に直接最適化します。このアプローチは効率性とスケーラビリティを重視し、より速い適応と展開を必要とするアプリケーションに最適です。そのすっきりした性格により、ユーザーフィードバックに基づいてLLMの振る舞いを迅速に調整することができ、進化する好みに合わせることができます。 RLHFとDPOはLLMの開発における重要な進展を表していますが、既存の微調整手法を置き換えるのではなく、補完するものです：事前学習：大規模なテキストとコードのデータセットを用いてLLMを訓練し、一般的な言語理解能力を学習させること。微調整：特定のタスクまたはデータセットに基づいてLLMをさらに訓練し、特定のドメインやアプリケーションに適した能力を調整すること。マルチタスク学習：LLMを複数のタスクに同時に訓練することで、共有表現を学習し、各タスクのパフォーマンスを向上させること。 LLMの効率性に対処する LLMの能力が向上するにつれて、計算上の制約とリソースの限界が重要な懸念事項となりました。その結果、2023年の研究はLLMの効率性の向上に焦点を当て、以下のような技術の開発をもたらしました： FlashAttention：この革新的なアテンションメカニズムは、LLMの計算コストを大幅に削減します。これにより、より速い推論と訓練が可能になり、LLMをリソースに制約のある環境でより実用的に利用し、実世界のアプリケーションに統合することができるようになります。 LoRA および QLoRA：LoRAやQLoRAなどの手法は、2023年にも提案された軽量かつ効率的なLLMの微調整方法を提供します。これらの手法は、既存のLLMアーキテクチャに追加された小さなモジュールであるアダプターに依存し、再トレーニングすることなくカスタマイズを可能にします。これにより、著しい効率の向上、より速い展開時間、さまざまなタスクへの適応性の向上が実現されます。これらの進展は、効率的なLLMへの需要の増大に対応し、この強力な技術への広範な導入の道を開き、結果としてこの技術へのアクセスを民主化することにつながります。検索補完生成（RAG）の浸透純LLMは巨大な可能性を秘めていますが、それらの正確性と実証的根拠に関する懸念は依然として存在しています。検索補完生成（RAG）は、既存のデータや知識ベースとLLMを組み合わせることで、これらの懸念に対処する有望な解決策として登場しました。このハイブリッドアプローチにはいくつかの利点があります：エラーの減少：外部情報から事実情報を取り込むことにより、RAGモデルはより正確で信頼性のある出力を生成することができます。拡張性の向上：RAGモデルは純LLMに必要な大規模なトレーニングリソースの必要性を排除し、大規模なデータセットに適用することができます。低コスト：既存の知識リソースを利用することにより、LLMのトレーニングおよび実行に関連する計算コストを削減することができます。これらの利点により、RAGは検索エンジン、チャットボット、コンテンツ生成など、さまざまなアプリケーションにおける貴重なツールとして位置付けられています。自律エージェント…

アジャイルなデータサイエンスプロジェクト管理を通じてAIコストを制御する

データサイエンスの世界は複雑で、予算的な制約を超える隠れたコストがありますデータサイエンティストは、どんな組織に対しても重要な投資です残念ながら、アイドル状態などの非効率さ…

「オンライン大規模な推薦のためのデュアル拡張二つのタワーモデル」

推薦システムは、ユーザーに個別にカスタマイズされた提案を提供するために設計されたアルゴリズムですこれらのシステムは、ユーザーが関連するアイテムを発見するのを助けるため、さまざまなドメインで使用されています

パーソナライズされたAIの簡単な作成方法：GPTの適応に向けたノーコードガイド

OpenAIは、カスタムChatGPTを作成するためのコード不要のアプローチで個人のAIカスタマイズを革新しています

Artificial Intelligence

「このAI研究は、姿勢オブジェクト認識を次のトークン予測として新しいアプローチを提案します」という意味です

どのようにして効果的に物体認識にアプローチできるのでしょうか？ Meta AIとメリーランド大学の研究チームは、画像埋め込みからテキストトークンを予測してラベルを形成するために言語デコーダを利用する新しい手法を開発し、物体認識の問題に取り組みました。また、パフォーマンスを損なうことなく、より効率的なデコーダの作成戦略も提案しました。深層学習時代以前から存在した物体認識は、画像注釈に貢献してきました。領域のスライシングや単語の予測などの手法を用いて、領域と単語を語彙に基づいて結びつけました。画像とテキストを共有空間に共同埋め込みすることで、画像とテキストのマッチングに取り組み、フレーズのグラウンディングを強調しました。画像注釈はトピックモデルからトランスフォーマベースのアーキテクチャへ進化しました。GPTやLLaMAなどの言語モデルは視覚認識に貢献し、検出、フューショット認識、説明、推論などに応用されました。言語モデルからの建築的な概念、例えばプレフィックスのアイデアなどは、ビジョン-言語ドメインで影響を与え、探索されてきました。この研究は、画像エンコーダが埋め込みを生成し、言語デコーダが物体のラベルを予測するフレームワークを導入することによって、コンピュータビジョンにおける物体認識に取り組んでいます。従来の固定埋め込みを持つ従来の手法とは異なり、提案手法では認識を次のトークンの予測として扱い、画像の埋め込みからタグの自己回帰的なデコーディングを可能にします。この手法により、事前に定義されたラベルの必要性がなくなり、柔軟で効率的な認識が促進されます。非因果的な注意マスクやコンパクトなデコーダなどの主要な革新は、パフォーマンスを損なうことなく効率を向上させ、コンピュータビジョンにおける物体認識への新しい解決策を提供します。研究では、次のトークン予測に基づく物体認識に関する手法を提案し、画像埋め込みからテキストトークンを予測してラベルを作成する言語デコーダを使用します。デコーダは非因果的な注意マスクを組み込んで自己回帰を行い、画像トークンをプレフィックスとして扱います。推論時には、複数のラベルから並列トークンサンプリングを行い、確率に基づいてランキングします。効率性のために、事前学習された言語モデルから中間ブロックを削除するコンパクトなデコーダ構築戦略が提案されていますが、パフォーマンスは保持されます。研究はCLIP、Open Flamingo、LLaVA、BLIP-2、InstructBLIP、CaSEDと比較し、トップ-kの予測と適合率-再現率曲線を評価しています。提案手法はトップ10の予測で競合他社を一貫して上回り、ラベル生成の優れた関連性を示しています。適合率-再現率曲線は強い線形相関を示し、kが増加するにつれて高い再現率が得られ、データセット全体で予測品質が向上していることを示唆しています。デコーダの切り詰めによる摘出解析に関する研究では、CC3Mではわずかなパフォーマンスの低下が見られましたが、COCOとOpenImagesでは変化がありませんでした。これは、物体認識のための初期のLLaMA 7Bモデルブロックの重要性を強調し、よりコンパクトなデコーダのために11番目以降のブロックを削除することを示しています。結論として、提案された次のトークン予測を活用した自己回帰的な物体認識手法は、データセット全体でトップ10の予測を生成する他の手法よりも優れた関連性を示しています。適合率-再現率曲線で観察される強い線形相関は、すべてのテストデータセットで予測品質が向上していることを示唆しています。デコーダの切り詰めに関する摘出解析の研究では、CC3Mではわずかなパフォーマンスの低下が見られましたが、COCOとOpenImagesでは変化がありませんでした。また、LLaMAモデルの中間トランスフォーマーブロックを削除することで、よりコンパクトなデコーダが得られ、パフォーマンスも保持されました。これは、物体認識においてLLMの一部の知識の重要性を強調しています。さらなる研究では、一回のサンプリングでの競合の懸念に対処するため、緩和策を探索することに焦点を当てることができます。他の可能性としては、事前に定義されたサブセットや参照ピボットなしで、特にLLMと物体認識を直接的に結びつける生成モデルの直接のアライメントを調査することがあります。また、訓練データのボリュームを大幅に増やして、未知のデータや概念を解釈または認識するための依存度を減らす効果を検証することも有益であり、時間の経過とともに新しいラベルを増やしていくオープンワールドのパラダイムと一致しています。

「Power BI ビジュアライゼーションの究極ガイド」

イントロダクション Power BIは、データサイエンスの中でも強力なツールとして浮上しており、データに基づく洞察に根ざした情報を提供することで、企業が情報に基づいた意思決定を行うことを可能にしています。Microsoftによって開発されたPower BIビジュアライゼーションは、ユーザーがデータを視覚的に表現し、洞察を組織全体に円滑に伝達することを可能にします。また、広範なデータソースとの接続を確立しながら、アプリケーションやウェブサイトにシームレスに埋め込む能力も注目されています。間違いなく、データサイエンスの分野で最も重要な要素の一つは、データの可視化の実践です。これは、視覚的要素（チャート、グラフ、マップなど）を用いて情報やデータをグラフィカルに説明することを意味します。これらの視覚ツールを活用することで、データの可視化はデータをより理解しやすくし、傾向や外れ値、パターンを判断しやすくします。要するに、Power BIは生データを視覚的に一貫性のある語りに変換する能力を持つ、典型的なツールであり、複雑なデータセットの普遍的な理解を向上させます。 Power BIビジュアライゼーションの理解 Power BIビジュアライゼーションは、Power BIを使用してデータをグラフィカルに表現するプロセスです。これにより、複雑なデータセットをより直感的で視覚的な形式で理解することができます。Power BIビジュアライゼーションは重要であり、テキストベースのデータでは明らかではない複雑な概念を理解したり、新しいパターンを識別したりすることができます。 Power BIビジュアライゼーションのメリットは多岐に渡ります。データと対話することができ、詳細な情報を得るためにチャートやグラフを掘り下げたり、他の人とレポートを作成して共有したりすることができます。また、ユーザーはユニークな360度のビジネスビューを持つパーソナライズされたダッシュボードを作成することも可能です。 Power BIビジュアライゼーションの種類 Power BIは、データを異なる方法で表現するための幅広いビジュアライゼーションを提供しています。 A. チャートチャートは、Power BIでのデータのグラフィカル表現です。これを使用して、複雑なデータセットを簡素化し、データを理解しやすく解釈できるようにします。Power BIはさまざまなチャートの種類を提供しており、それぞれ異なる種類のデータやデータの可視化タスクに適しています。 1.…

マイクロソフトの研究者が提案するTaskWeaver：LLMを活用した自律エージェントの構築のためのコード優先の機械学習フレームワーク

大規模言語モデル（LLMs）は、印象的な自然言語生成および解釈能力を示しています。これらのモデルの例には、GPT、Claude、Palm、Llamaがあります。チャットボット、バーチャルアシスタント、コンテンツ生成システムなど、様々な応用でこれらのモデルが広く使用されています。LLMsは、より直感的かつ自然な体験を提供することで、人々がテクノロジーとのインタラクションを完全に変えることができます。エージェントは、自律的なエンティティであり、タスクの計画、環境の監視、適切な対応策の実施が可能です。LLMsやその他のAI技術を使用するエージェントも、このカテゴリに該当します。 Langchain、Semantic Kernel、Transformers Agent、Agents、AutoGen、およびJARVISなど、多くのフレームワークがタスク指向の対話にLLMsを使用しようと試みています。これらのフレームワークを使用すると、ユーザーは自然言語で質問をして回答を得ることで、LLMパワードのボットと対話することができます。ただし、多くのフレームワークには、データ分析活動や特定の領域に固有の状況にうまく対応できる機能が制約されているという欠点があります。現在のほとんどのフレームワークには、洗練されたデータ構造を処理するためのネイティブサポートの不足がその主な欠点の一つです。データ分析アプリケーションや他の多くのビジネスシナリオでは、LLMパワードエージェントはネストされたリスト、辞書、またはデータフレームなどの複雑なデータ構造を処理する必要があります。ただし、現在の多くのフレームワークは、特にデータを複数のプラグインやチャットラウンド間で共有する場合に、これらの構造の管理に支援が必要です。これらの状況では、フレームワークは複雑な構造を文字列またはJSONオブジェクトとしてエンコードし、プロンプトに保持するかデータをディスクに永続化します。これらの手法は機能しますが、特に大規模なデータセットで作業する場合には困難になり、エラーレートを上げることがあります。現在の方法がドメイン知識を組み込むために設定可能ではないという別の欠点もあります。これらのフレームワークは、迅速なエンジニアリングツールとサンプルを提供する一方で、ドメイン固有の情報を計画とコード生成プロセスに組み込むための体系的な手段を提供する必要があります。特定のドメインニーズに合わせて計画とコード生成プロセスを制御することは制約のために難しいです。現在の多くのフレームワークには、ユーザーの要件の広範な範囲に対応することが困難になる可能性があるという別の問題もあります。プラグインは一般的な要件を処理できますが、臨時の要求を処理するためには支援が必要です。臨時のクエリごとに別のプラグインを作成することは現実的ではありません。ユーザーのクエリを実行するために独自のコードを開発できるエージェントの能力は、これらの場合には重要になります。この問題を解決するには、独自のコードの実行とプラグインの実行をスムーズに統合するソリューションが必要です。これらの欠点を克服するために、Microsoftの研究チームはTaskWeaverというLLMパワードの自律エージェントを作成するためのコードファーストフレームワークを提案しました。TaskWeaverの特徴的な機能は、ユーザー定義のプラグインを呼び出し可能な関数として扱うことで、各ユーザーリクエストを実行可能なコードに変換することができることです。TaskWeaverは、洗練されたデータ構造のサポート、柔軟なプラグインの使用、および動的なプラグインの選択を提供し、他のフレームワークの制約を克服するのに役立ちます。TaskWeaverはLLMsのコーディング能力を活用して複雑なロジックを実装し、例を通じてドメイン固有の知識を統合します。さらに、TaskWeaverは開発者に直感的なインターフェースを提供し、作成されたコードの安全な実行を大幅に向上させています。研究チームは、TaskWeaverのアーキテクチャと実装について説明し、さまざまなジョブをどのようにうまく処理するかを示すいくつかの事例研究を紹介しています。TaskWeaverは、課題の多いジョブを処理し、特定のドメイン条件に適合するために変更することが可能な知能を持つ会話エージェントを作成するための強力で柔軟なフレームワークを提供しています。

Learn more about Search Results 定義 - Page 13