Search Results A

クエリ駆動型データモデリングとは何ですか？

もし見逃した方がいたら、数週間前に、「データエンジニアリングの基礎」の共著者の一人が、クエリ駆動型データモデリングの概念を定義したライブショーを行いました彼は、標準的なデータモデリングの概念である「概念的」「論理的」「物理的」というものを参照していましたが、更に4番目の「クエリ駆動型モデリング」を追加しました...

「データサイエンティストが持つべきソフトスキル」

この記事は、データサイエンティストが必要とする4つの重要なソフトスキルと、それらを向上させる方法について紹介します

Career Advice

「オートジェンへの参入：マルチエージェントフレームワークの基礎を探索する」

イントロダクション「自動生成に飛び込む：マルチエージェントフレームワークの基礎を探る」というテーマでソフトウェア開発の未来へのスリリングな旅に出ましょう。OpenAIのChatGPTに続く専門領域であるLLMエージェントは、AIエージェントの開発を革新する前例のない急激な急増を経験しています。単調なタスクの自動化から、動的な意思決定の課題への取り組みまで、LLMエージェントはかつて不可能と思われていた領域の限界を押し広げています。LLMエージェントは、私たちが想像することができる未来の世界において、コンピュータが現実とシームレスに融合し、AIエージェントの重要性がますます高まる世界を思い浮かべてください。言葉やジェスチャーを使ってエージェントに指示を出し、彼らが優れた推論力と行動能力でタスクを実行する様子を想像してください。しかし、私たちはAIエージェントの革命の夜明けを迎えており、ますます複雑なタスクに取り組むエージェントを力づけるための新しいインフラストラクチャ、ツール、フレームワークが生まれる様子を目の当たりにしています。マルチエージェントチャットシステムのための最先端のフレームワークであるAutogenが、今回の探求の中心になります。本記事では、革命の初期段階にあるAIエージェントの複雑さを解きほぐし、Autogenの能力を探求しながら、これらのインテリジェントな実体をどのように活かすかを発見していきます。学習目標 LLMエージェントとは何かを理解する Autogenとは何かを理解し、Autogenを使用してエージェントを構築する基礎を探る AutogenとOpenAI APIを使用してエージェントを構築する LLMエージェントの実世界での使用例を探索するこの記事はData Science Blogathonの一環として公開されました。 LLMエージェントとは何か通常の言語モデルは、翻訳や質問応答など、多くのことに長けています。しかし、その知識と能力には限界があります。それは、家を建てるための道具を持たない職人のようなものです。しかし、LLM（俳句言語モデル）は、必要なツールさえ与えられれば、推論や行動が可能であることが観察されています。ほとんどのLLMは世界の知識が限られていますが、プロンプティングを介してカスタムソースからの情報を補完することができます。この目的を達成するには、2つの方法があります。検索付き生成（Retrieval Augmented Generation）とLLMエージェントです。RAGでは、モデルに情報をカスタムのハードコードパイプラインを通じて提供します。しかし、エージェントでは、LLMは推論に基づいて手元のツールを使います。たとえば、GPT-4にSerperツールを組み合わせれば、インターネットを検索して回答することができます。また、Yahoo Financeツールにアクセスできる場合は、株式のパフォーマンスを取得して分析することもできます。つまり、LLM、ツール、推論および行動のためのフレームワークの組み合わせがAIエージェントの特徴です。 LLMエージェントの構築には、プラットフォームやツールが急速に増えてきています。Autogenもそのようなツールの1つです。そのため、Autogenが何であり、それを使用してLLMエージェントを作成する方法を理解しましょう。 Autogenとは何か Autogenは、マイクロソフトのオープンソースツールで、堅牢なマルチエージェントアプリケーションを構築するためのツールです。複数のエージェント間のコミュニケーションを重視して、ゼロから設計されています。このツールを使用して、複数のエージェントが提供された問題の解決策を見つけるためにお互いに会話するLLMアプリケーションを作成することができます。エージェントは高度にカスタマイズ可能であり、特定のタスクを実行するために彼らをガイドすることができます。また、Langchainツールエコシステムとも非常に統合されており、既存のLangchainツールを活用してエージェントを補完することができます。タスクを達成するために、Autogenはさまざまなタイプのエージェントを提供しています。例えば、アシスタントエージェント：コーディング、レビューなどのタスクを達成する責任を持つエージェントです。ユーザープロキシエージェント：その名前の通り、これらのエージェントはユーザーの代わりに行動します。人間がエージェントループに参加し、会話をガイドするためのものです。…

UCバークレーとSJTU中国の研究者が、言語モデルのベンチマークと汚染を再考するための「再表現サンプル」の概念を紹介しました

大型言語モデルはますます複雑になり、評価が困難になっています。コミュニティは比較的短期間で多くのベンチマークを作成してきましたが、ベンチマークのスコアは常に実際のパフォーマンスに対応しているわけではありません。一部の証拠によれば、多くの人気のあるベンチマークは、ファインチューニングやプレトレーニングに使用されるデータセットに汚染がある可能性があります。重要な問題であると広く合意されているにもかかわらず、汚染の源を特定することは困難でした。Nグラムの重複と埋め込み類似検索の両方が広く使用されています。GPT-4、PaLM、Llamaなどの最先端のイノベーションでは、Nグラムの重複の汚染検出には文字列のマッチングが広範に使用されていますが、その精度はやや低いです。埋め込み類似検索は、以前にトレーニングされたモデル（BERTなど）の埋め込みを見て、関連するおそらく汚染されているケースを発見します。ただし、類似性レベルを決定する際に再現率と精度のバランスを見つけることは困難かもしれません。さらに、LLM（たとえばGPT-4）によって生成された合成データを使用するモデルトレーニングの発展的なトレンドがあり、文字列のマッチングを使用して識別することがさらに困難になる可能性があります。 UCバークレーと上海交通大学による新しい研究では、既存の汚染テストでは特定するのが難しいが、元のサンプルと同じ意味を持つ「言い換えられたサンプル」という概念を紹介しています。LLMは、テストサンプルを別の言語に翻訳して言い換えることによって言い換えられたサンプルを生成します。研究者は、そのような言い換えられた例がトレーニングに使用される場合、結果として得られるモデルは過適合に非常に弱く、テストベンチマークで非常に高い性能を達成することができることを示しています。緻密にキャリブレーションされた13B Llamaモデルは、Nグラムの重複としての汚染に気付かれることなく、MMLU、GSM-8k、HumanEvalなどの広く使用されているベンチマークでもGPT-4と同じ性能を達成できます。したがって、言い換えられたサンプルを識別する能力が重要です。研究者は、従来の汚染除去技術の欠点を説明し、新しいLLMベースのアプローチを提案しています。特定の上位kのサンプルがテストインスタンスと類似しすぎていないかを判断するために、まず埋め込み類似検索を適用してテストサンプルに最も類似しているモデルを見つけます。結果は、彼らが提案するLLMデコンタミネータが従来の技術よりも優れていることを示しています。彼らは、ファインチューニングや予備的なトレーニングに使用されるさまざまな人気のあるデータセットでデコンタミネータをテストします。また、GPT-3.5の合成データセットであるCodeAlpacaには、HumanEvalからの言い換えられたサンプルがかなり含まれていることも分かりました（正確には12.8%）。これは、LLMによって作成された偽のデータを使用したトレーニング中に汚染の可能性があることを示唆しています。研究者は、公共のベンチマークを使用してLLMを評価するためのより詳細な汚染除去手順を確立するようコミュニティに助言しています。彼らは、CodeforcesやKaggleのような新しい一度限りのテストを作成し、LLMの公正な評価におけるこれらの基本的な問題を克服することを望んでいます。

「13/11から19/11までの週のトップ重要なLLM論文」

大規模な言語モデル（LLM）は、最近の数年間で急速に進化してきました新世代のモデルが開発されるにつれて、研究者やエンジニアが最新の進歩について情報を得ることは重要です...

「セルフサービスデータ分析はニーズの階層化です」

90年代を振り返ってみると、ビジネスオブジェクトやコグノスなどのセルフサービス型ビジネスインテリジェンス（BI）ツールが最初に導入されたことを思い出しますまったくもって熱心なソフトウェアエンジニアのように、私も...

ビジネスアナリストとしてのフルポテンシャルを引き出すための強力な5ステップ因果関係フレームワークを解き放つ

「ビジネスの文脈において、リーダーシップはしばしば意思決定や出来事が関心のあるKPI（重要業績評価指標）に与える影響に興味を持っていますパフォーマンスアナリストとして、私はほとんどの時間をこのようなバリアントに回答することに費やしています...」

マストゥゴにお会いしましょう：ディフュージョンに基づいた音楽ドメイン知識に触発されたテキストから音楽へのシステムですタンゴのテキストからオーディオへのモデルを拡張します

テキストから音楽への合成の領域では、生成されるコンテンツの品質は向上してきていますが、音楽的な側面の操作性は未開拓のままです。シンガポール工科大学とクイーンメアリー大学ロンドン校の研究者チームは、この課題に対する解決策であるMustangoというものを紹介しました。このソリューションは、一般的なテキストのキャプションだけでなく、和音、ビート、テンポ、キーに関連する具体的な指示を含むより豊かなキャプションを使用して生成された音楽を制御することを目指しています。研究者たちは、マルチストアリーム散逸モデルベースの音楽ドメイン知識を活用したテキストから音楽への合成システムであるMustangoを紹介しています。彼らは、散逸モデルから直接音楽を生成する際のユニークな課題を強調し、条件付けテキストと音楽性のバランスをとる必要性を述べています。Mustangoにより、ミュージシャン、プロデューサー、サウンドデザイナーは、和音進行やテンポ、キーの選択などの特定の条件を持つ音楽クリップを作成することができます。 Mustangoの一部として、研究者たちは、音楽ドメイン知識をもとにしたUNetサブモジュールであるMuNetを提案しています。MuNetは、テキストのプロンプトから予測された音楽固有の特徴（和音、ビート、キー、テンポなど）を、散逸ノイズ除去プロセスに統合します。音楽とテキストキャプションが組み合わさったオープンデータセットの提供が限られているという制約に対応するため、研究者たちは新しいデータ拡張手法を導入しています。この手法では、音楽オーディオの調和、リズム、ダイナミックな要素を変化させ、音楽情報抽出の手法を使用して音楽特徴を抽出し、既存のテキスト説明に追加することで、MusicBenchデータセットを生成しています。 MusicBenchデータセットは、ビート、ダウンビートの位置、基礎となる和音進行、キー、テンポを持つ、元のテキスト説明を豊かにする52,000以上のインスタンスを含んでいます。研究者たちは、Mustangoが最先端の音楽の品質を達成していることを示す、幅広い実験を実施しています。また、複数のデータセットにおいて、和音、ビート、キー、テンポなどの望ましい条件を捉える能力においてMustangoのコントロール性能を重視し、プロンプトからコントロール文がないシナリオにおけるこれらの予測子の適応性を評価し、Mustangoがそのような場合においてTangoを上回る優れた性能を示すことを観察しました。つまり、コントロール予測子は性能を損なわないという結果です。実験には、TangoなどのベースラインやMustangoのバリアントとの比較を含み、提案されたデータ拡張手法がパフォーマンス向上にどれほど効果的であるかを示しています。スクラッチからトレーニングされたMustangoは、音質、リズムの存在、調和性などの面でTangoや他のバリアントを上回る最高のパフォーマンスを発揮しています。Mustangoは1.4Bのパラメータを持ち、Tangoよりもはるかに多いです。総括すると、研究者たちはテキストから音楽への合成において、Mustangoが重要な進歩であると紹介しています。既存のシステムにおけるコントロール性のギャップに対処し、広範な実験によって提案手法の効果を示しています。Mustangoは最先端の音楽品質を実現するだけでなく、向上したコントロール性を提供し、この分野における貴重な貢献となっています。研究者たちは、テキストから音楽への合成に関する将来の研究のためのリソースとして、MusicBenchデータセットを公開しています。

大型言語モデル、StructBERT ー言語構造を事前学習に組み込む

初めて登場して以降、BERTは感情分析、テキストの類似度、質問応答など、さまざまなNLPタスクで驚異的な結果を示してきましたそれ以来、研究者たちは有名になりました...

「コンダ遅すぎ？マンバを試してみて！」

いずれ、データサイエンティストや機械学習エンジニアは、パッケージマネージャーや環境に遭遇するでしょう環境にはプロジェクトコードを実行するために必要なライブラリが含まれています開発者は…

Learn more about Search Results A - Page 530