Search Results on

「PySpark UDFを使用して合成テーブルの列間にOne-To-Oneの関係を作成する方法」

最近、私はDatabricks Labs Data Generatorを使って、まったく合成的なデータセットをゼロから作成する遊びをしていますその一環として、異なる...周りの販売データを構築することを考えました

Principal Components Analysis（主成分分析）が好きですか？新しい論文が「ファントム振動」というアーティファクトを生成できることを報告しています

主成分分析（PCA）は、複雑なデータセットを簡素化するために広く使用されている統計的手法であり、「幻の振動」というパターンがデータに現れることが判明していますが、...

Amazon AlexaのAI研究者がQUADRoを発表：QAシステムの向上に向けた画期的なリソースで、440,000以上のアノテーション付きの例があります

人工知能（AI）と機械学習（ML）の能力は、あらゆる可能な産業に進出することを成功裏に可能にしました。最近では、大規模言語モデル（LLM）と質問応答システムの導入により、AIコミュニティは大きな進歩を遂げています。事前計算されたデータベースから効率的に応答を取得することは、自動質問応答（QA）システムの開発における一般的なステップです。主なQAパラダイムには、オープンブック型とクローズドブック型の2つがあります。オープンブック型、またはリトリーブアンドリード型は、適切な素材を大量の文書コーパス、頻繁にインターネットから取得する2つの手順を経て、異なるモデルや手法を適用して取得された素材から解決策を取り出す手法です。一方、クローズドブック型は最近の手法であり、外部のコーパスを利用せずにT5などのSeq2Seqモデルを基にしたモデルを訓練することで、結果を生成します。クローズドブック技術は優れた結果を示しているものの、多くの産業アプリケーションに対してリソースが過剰であり、システムのパフォーマンスに重大なリスクをもたらす可能性があります。質問応答型データベース（DBQA）は、パラメータや大規模なコーパスの情報に頼るのではなく、事前生成された質問応答のデータベースから応答を取得する方法です。これらのシステムの主要な部分は、質問と回答のデータベース、データベースのクエリに対する検索モデル、および最適な回答を選ぶランキングモデルです。DBQA技術により、迅速な推論と再学習モデルなしで新しいペアを追加できる能力が可能となり、新しい情報を導入することができます。 DBQA技術の課題の一つは、検索およびランキングモデルの開発における充分なトレーニングデータの不足です。既存のリソースはスコープと内容の面で不足しており、注釈プロセスの品質を向上させる必要があるものや、質問と質問の類似性に焦点を当て、回答を無視するものが多数存在しています。これらの課題に対処するため、研究者チームは質問応答データベースの検索に関するデータセットとモデルであるQUADRoを提案しました。これは訓練と評価のために特別に作成された新しいオープンドメインの注釈リソースです。リポジトリの15,211の入力質問には、各質問に関連する30の質問応答ペアがあります。このコレクションには合計で443,000の注釈付きサンプルが含まれています。入力クエリに対する各ペアの重要性を示すバイナリインジケータがラベル付けされています。研究チームはまた、このリソースの品質と特性をいくつかの重要なQAシステムコンポーネントに関して評価するための徹底した実験も行いました。これらの要素には、トレーニング方法、入力モデルの構成、および回答の関連性が含まれます。実験は、このデータセットで訓練されたモデルの挙動とパフォーマンスを検討することで、関連する応答を取り出すために提案された方法がどれだけうまく機能するかを示しました。まとめると、この研究は、自動品質保証システムにおけるトレーニングとテストデータの不足を解決するために、有用なリソースを導入し、リソースの属性を慎重に評価することで、包括的な理解を支援しています。トレーニング戦略と回答の関連性のような重要な要素に重点を置くことで、評価が補完されます。

エンドツーエンドの労働力管理を取得する： Amazon ForecastおよびAWS Step Functions

この記事は、Nafi Ahmet Turgut、Mehmet İkbal Özmen、Hasan Burak Yel、Fatma Nur Dumlupınar Keşir、Mutlu PolatcanおよびGetirのEmre Uzel共著によるゲスト投稿ですGetirは、超高速の食品宅配の先駆けですこのテクノロジー企業は、最後の一マイル配送を飛躍的に改革し、数分で食品を届ける提案をしましたGetirは2015年に設立され、運営しています...

「Pythonで脂肪尾を数値化する4つの方法」

「これはパワーロウとファットテールに関するシリーズの三番目の記事です前回の記事では、実証データからパワーロウを検出する方法について探求しましたこの技術は便利ですが、ファットテールはさらなる調査が必要です...」

ピーター・マッキー、Sonarの開発者担当責任者-インタビューシリーズ

ピーター・マッキーはSonarのDeveloper Relationsの責任者です Sonarは、悪いコードの1兆ドルの課題を解決するプラットフォームであり、開発者や組織にクリーンなコードの状態を体系的に達成し、すべてのコードが開発と生産に適している状態にするための装備を提供します SonarのClean as You Codeの手法を適用することにより、組織はリスクを最小限に抑え、[…]

マイクロソフトと清華大学の研究者は、「SCA（Segment and Caption Anything）を提案し、SAMモデルに地域キャプションの生成能力を効率的に装備する」と述べています

コンピュータビジョンと自然言語処理の交差点では、画像内のエンティティの領域キャプションの生成の課題に常に取り組んできました。この課題は、トレーニングデータにセマンティックラベルが存在しないことにより、特に複雑です。研究者は、このギャップに効率的に対処する方法を追求し、モデルが多様なイメージ要素を理解し、説明するための方法を見つけることを目指しています。 Segment Anything Model（SAM）は、強力なクラス非依存セグメンテーションモデルとして登場し、さまざまなエンティティをセグメント化する驚異的な能力を示しています。ただし、SAMは領域キャプションを生成する必要があり、その潜在的な応用範囲が制限されます。そのため、マイクロソフトと清華大学の研究チームは、SAMの能力を効果的に活用するためにSCA（Segment and Caption Anything）という解決策を提案しました。SCAは、SAMの重要な拡張と見なすことができます。それは効率的に領域キャプションを生成する能力をSAMに与えるように設計されています。ブロックの構築に類似して、SAMはセグメンテーションのための堅牢な基盤を提供し、SCAはこの基盤に重要なレイヤーを追加します。この追加機能は、軽量のクエリベースのフィーチャーミキサーの形で提供されます。従来のミキサーとは異なり、このコンポーネントはSAMと因果言語モデルを結びつけて、領域固有の特徴を言語モデルの埋め込み空間と整合させます。この整合は、後続のキャプション生成に重要であり、SAMの視覚的理解と言語モデルの言語的能力との相乗効果を生み出します。 SCAのアーキテクチャは、画像エンコーダ、フィーチャーミキサー、マスクまたはテキストのためのデコーダヘッドの3つの主要なコンポーネントの熟慮された組み合わせです。モデルの要となるフィーチャーミキサーは、軽量な双方向トランスフォーマーです。これはSAMと言語モデルを結びつける結合組織として機能し、領域固有の特徴を言語の埋め込みと最適化する役割を果たします。 SCAの主な強みの一つは、効率性です。数千万個のトレーニング可能なパラメータを持つ、トレーニングプロセスがより高速かつスケーラブルになります。この効率性は、SAMのトークンをそのまま保持しながら、追加のフィーチャーミキサーにのみ焦点を当てた戦略的な最適化から生じます。研究チームは、領域キャプションデータの不足を克服するために、弱い監督による事前トレーニング戦略を採用しています。このアプローチでは、モデルは物体検出とセグメンテーションタスクで事前トレーニングされ、完全な文章の説明ではなくカテゴリ名を含むデータセットを活用します。このような弱い監督による事前トレーニングは、限られた領域キャプションデータを超えて視覚的概念の一般的な知識を転送するための実用的な解決策です。 SCAの有効性を検証するためには、比較分析、さまざまなビジョンラージランゲージモデル（VLLM）の評価、およびさまざまな画像エンコーダのテストが行われています。モデルはリファリング式生成（REG）タスクで強力なゼロショットパフォーマンスを示し、その適応性と汎化能力を示しています。まとめると、SCAはSAMの堅牢なセグメンテーション能力をシームレスに拡張する有望な進歩です。軽量なフィーチャーミキサーの戦略的な追加とトレーニングの効率性とスケーラビリティにより、SCAはコンピュータビジョンと自然言語処理の持続的な課題に対する注目すべき解決策となります。

「Pythonにおけるコードゴルフ：簡潔なプログラミングの技術をマスターする」

紹介コードゴルフはプログラミングの魅力的な概念であり、開発者が与えられた問題を解決するために最も短いコードを書く競い合いです。これは、目的の結果を得るために可能な限り少ない文字数を使用することを目指すゲームに似ています。この記事では、Pythonのコードゴルフの方法、困難さ、アドバイス、およびベストプラクティスについてすべて説明します。 Pythonにおけるコードゴルフの技法 Pythonのシンプルな構文と表現力を活用することで、コードゴルフにはPythonがよく選ばれます。以下のいくつかの技法を使用することで、簡潔なコードを書くことができます：文字列操作: Pythonの文字列操作の機能を使用すると、コンパクトなコードを作成することができます。文字列のスライス、連結、フォーマットを使用することで、開発者はより少ない文字数で目的の結果を得ることができます。リスト内包表記: リスト内包表記はPythonの強力な機能であり、リストの簡潔な作成や操作を可能にします。ループや条件文を1行のコードに組み合わせることができ、全体の長さを短縮することができます。例：元のコード squares = []for x in range(10): squares.append(x**2) コードゴルフ squares = [x**2 for x in…

「MITとAdobeの研究者が、一つのステップの画像生成器に拡散モデルを変換するための人工知能手法、Distribution Matching Distillation (DMD 分布マッチング蒸留) を紹介」

一定のトレーニングプロセスを経て、拡散モデルは画像生成を革新し、従来にない多様性とリアリズムのレベルを達成しました。しかし、GANやVAEとは異なり、そのサンプリングはガウス性ノイズのサンプルのノイズを徐々に減少させ、プログレッシブなデノイジングにより複雑な画像を生成する努力の連続的なプロセスです。これにより、生成パイプラインをクリエイティブなツールとして利用する際の相互作用の量が制限され、通常は多くの高価なニューラルネットワーク評価を必要とします。以前の手法は、初めの多段階の拡散サンプリングで見つかったノイズ→画像のマッピングを単回の学習ネットワークに濃縮し、サンプリングプロセスを高速化します。こうした高次元で複雑なマッピングをフィットすることは、確かに困難な作業です。改良の余地の一つは、学習モデル全体のデノイジング経路を実行し、単一の損失を計算するための学習モデルのサンプル距離を徐々に拡大していく際に発生する高額な費用です。現在の手法は、元の多段階拡散モデルのデノイジングサイクルを繰り返さずに、学生のサンプル距離を徐々に拡張することでこれを軽減しています。ただし、元の多段階拡散モデルの方が蒸留版よりも優れています。逆に、研究チームは、ノイズと拡散生成された画像の対応を必要とせずに、学生の生成物が元の拡散モデルと同じであることを強調しています。一般的には、彼らの目標の理論的背景は、他の分布マッチング生成モデル（GMMNやGANなど）と似ています。ただし、リアルなグラフィックを生成する能力は非常に優れているにもかかわらず、一般的なテキストから画像へのモデルのスケーリングは困難であることがわかっています。研究チームは、この問題を解決するために、以前にテキストから画像に広範にトレーニングされた拡散モデルを起点にしています。研究チームは、トレーニングされた拡散モデルを特に微調整することで、データ分布とそれによって生成される架空の分布を学びます。研究チームは、デノイズされた拡散出力を画像を「よりリアル」または（拡散モデルが偽の画像でトレーニングされている場合）「よりフェイク」にするための勾配方向として解釈することができます。なぜなら、拡散モデルは拡散分布のスコア関数を近似することで知られているからです。最終的に、ジェネレータの勾配更新ルールは、この2つの差として作成され、人工の画像をよりリアリスティックに、よりフェイクから遠ざけます。また、事前学習された拡散モデルによるリアルと偽の分布のモデリングを使用して3Dオブジェクトのテスト時最適化を達成することも可能です。以前の研究では、Variational Score Distillationという手法を使用してこれを実証しています。研究チームは、同様の手法を使用して完全な生成モデルをトレーニングできることも発見しています。さらに、研究チームは、分布マッチング損失の存在下で、多段階拡散サンプリングの結果のわずかな数が事前計算され、1ステップの生成に関するシンプルな回帰損失を実装することで効果的な正則化子として機能することを見つけています。 MITとAdobe Researchの研究者は、Distribution Matching Distillation（DMD）と呼ばれるプロセスを提供しています。これは、画像の品質にほとんど影響を与えずに拡散モデルを1ステップの画像生成器に変換するプロセスです。彼らのアプローチは、VSD、GAN、およびpix2pixからのインスピレーションや洞察を受けています。この研究チームは、(1) 拡散モデルを使用してリアルな分布とフェイクの分布をモデル化し、(2) 多段階拡散出力とシンプルな回帰損失を一致させることで、高精度の1ステップ生成モデルをトレーニングすることができることを示しています。彼らのDistribution Matching Distillation（DMD）技術でトレーニングされたモデルをMS COCO 512×512のゼロショットテキストから画像の生成、CIFAR-10およびImageNet 64×64の画像生成など、さまざまなタスクで評価しています。彼らの1ステップジェネレータは、一括生成モデル、進行的ディスティレーション、修正フローなどの全てのベンチマークで、既知の少数ステップ拡散手法よりも優れたパフォーマンスを発揮します。 DMDはImageNetでのFIDが2.62であり、Consistency Modelを2.4倍上回ります。DMDはStable Diffusionと同じデノイザーアーキテクチャを使用して、MS-COCO 2014-30kで11.49の競争力のあるFIDを達成します。彼らの定量的および定性的な分析は、研究チームのモデルで生成される画像がより高度な品質であり、より高価なStable Diffusionモデルで生成されるものと比較できることを示しています。特に、このレベルの視覚品質を保ちながら、ニューラルネットワークの評価数を100倍減少させることができるという点で、その効率性によって、DMDはFP16推論を使用することで秒間20フレームの速度で512×512の画像を生成できるようになり、多くのインタラクティブなアプリケーションの可能性を開拓しています。

Googleの研究者が新たな大規模言語モデルの能力向上に向けた『Universal Self-Consistency (USC)』を披露

複数の候補者から最も一貫性のある回答を選び出し、特に数理推論やコード生成などのタスクのパフォーマンスを向上させる問題は、Googleの研究者によって彼らのUniversal Self-Consistency (USC) メソッドを介して取り組まれてきました。このメソッドはLLMを活用し、同一の回答形式や実行結果へのアクセスを必要とせずに、標準的な自己整合性と比較可能な結果を達成します。再ランキングはアウトプットのサンプリングと事後の基準の適用により、言語モデルの生成を改善します。LLMは、人間の参照なしでモデル生成テキストを評価します。提案されたUSCメソッドは、追加のラベル付きデータや外部の再ランキングモデルを必要とせずに、標準自己整合性と同等のパフォーマンスを発揮します。 LLMは数理推論やコード生成などのタスクに優れています。従来のアプローチでは、サンプリングと基準に基づいて選択することで、LLMの出力品質を向上させてきました。自己整合性はユニークな回答を持つ仕事に効果的ですが、開放的な時代には苦労します。USCは、LLMを使用して複数の候補者から最も一貫性のある回答を選びます。多様なベンチマークで実証されたように、回答の抽出を排除したUSCは、開放的な生成タスクの向上に効果的です。 USCメソッドはLLMを用いて複数の候補者から最も一貫性のある回答を選び出すことで、回答の抽出の必要性を排除します。USCは数理推論、コード生成、要約、開放的なQAなどのベンチマークを使用して自己整合性を自由形式の生成タスクに拡張します。アプローチはLLMを使用して複数のサンプルを生成し、一貫性に基づいて回答を選択します。 USCメソッドは、オリジナルの自己整合性アプローチの制限を超えた開放的生成タスクでの有効性を示しています。USCは、異なる回答形式を持つ数理推論タスクで標準の自己整合性に匹敵し、コード生成タスクではコードの実行を必要としない実行ベースの自己整合性と同等の結果を示します。USCは長い文脈の要約タスクでベースラインを常に改善し、TruthfulQAベンチマークで最高の真実性と情報性の評価を受けます。USCのパフォーマンスは異なる回答順序に対して堅牢であり、特定のタスクの微調整によりさらに向上させることができます。結論として、USCメソッドは長い文脈の要約や開放的な質問応答タスクにおいてベースラインを一貫して上回り、自由形式の生成タスクにおいて非常に効果的であることが示されています。LLMを使用して複数の候補者から最も一貫性のある回答を選び出すことで、数理推論タスクやコード生成タスクなどのさまざまな応用において、類似した回答形式や実際の実行結果を必要としません。USCは、さまざまな文脈で正確で信頼性の高い回答を生成するための貴重なツールです。

Learn more about Search Results on - Page 4