Search Results A

中国の研究者たちは、RetriKTと呼ばれる新しい圧縮パラダイムを導入しました：大規模な事前学習済み言語モデルの実世界アプリケーションへの展開を革命化するものです

自然言語処理（NLP）のアプリケーションでは、事前学習済み言語モデル（PLMs）であるBERT/RoBERTaを含む、卓越したパフォーマンスが示されています。ただし、これらのモデルは非常に複雑であり、一般的には数億のパラメータを持っているため、研究者にとっては大きな困難をもたらします。そのため、大規模な事前学習済み言語モデル（PLMs）はまだ完全なポテンシャルを発揮していません。重み共有、量子化、ネットワークの剪定、知識の蒸留など、多くのモデル圧縮戦略が提案されていますが、知識蒸留のような大きな圧縮率が必要な状況は、これらのモデル圧縮技術には直接関連していません。支援モデルを追加すると、しばしばより悪化し、不安定なパフォーマンスが生じることがあります。大規模言語モデル（LLMs）は、言語に高いスキルを持っており、さまざまな下流活動に利用することができるため、ますます人気が高まっています。そのため、この情報を小規模モデルに適用する方法を調査することは重要です。ただし、LLMsの圧縮率が非常に高いため、現在の方法ではこれらを圧縮することは適していません。以前の研究では、LLMsを小規模モデルに対して知識の転移やデータ拡張に利用することが提案され、後者は低リソースのデータセットでの性能向上を示しました。しかし、小規模モデルの制約されたパラメータサイズは、SuperGLUEベンチマークのようなより難しいタスクを引き受ける際に障害となり、LLMsが伝える情報を保持することがより容易になります。その結果、小規模モデルの性能向上はまだ改善される必要があります。北京大学、美団、メタAI、国家汎人工知能研究センター（BIGAI）、中国人民大学の研究者らは、Retrieval-based information transmission（RetriKT）と呼ばれる革新的な圧縮パラダイムを提案しています。このパラダイムは、大規模言語モデル（LLMs）の情報を効率的かつ正確に小規模モデルに伝達することを目指しています。彼らの方法は主に2つのステップで構成されています。まず、LLMから知識を抽出して知識ストアを作成し、その後、小規模モデルは知識ストアから関連する情報を取得してタスクを完了します。より正確に言うと、LLMがドメイン内のサンプルを生成するように調整するために、ソフトプロンプトチューニングの方法を使用します。また、生成品質を改善するために、Proximal Policy Optimization（PPO）強化学習技術を提供します。最後に、小規模モデルは知識ストアから関連データを取得する能力を獲得します。彼らはSuperGLUEベンチマークとGLUEベンチマークからの本当に困難で低リソースのタスクに対して包括的なテストを行っています。実験結果は、LLMsの情報を利用することで、RetriKTが小規模モデルの性能を大幅に改善し、以前の最先端の知識蒸留手法を上回ることを示しています。これは、厳しいモデル圧縮のための情報検索ベースの知識転移パラダイムが実用的で成功していることを示唆しています。以下は、彼らの貢献の要約です：・彼らが提案する新しい圧縮パラダイムであるRetrieval-based information transmissionは、LLMsから信じられないほど小規模なモデルに情報を伝達しようとするものです。・生成品質を改善するために、彼らは慎重にインセンティブ関数を構築し、強化学習アルゴリズムであるPPOを提案しています。このパラダイムは、モデルサイズの大きな違いによる極端なモデル圧縮の問題に取り組んでいます。・彼らはSuperGLUEベンチマークとGLUEベンチマークからの低リソースタスクで包括的なテストを行い、LLMsから収集された知識の正確さと多様性を向上させます。その結果、LLMsの情報を利用することで、RetriKTは小規模モデルの性能を大幅に向上させ、以前の最先端の知識蒸留手法を上回ります。

「機械学習における10種類のクラスタリングアルゴリズム」

イントロダクションあなたはデータの巨大なボリュームがどのように解析され、隠れたパターンや洞察が明らかにされるのかを考えたことがありますか？その答えは、クラスタリングにあります。クラスタリングは、機械学習やデータ分析において強力なテクニックであり、顧客セグメンテーションから画像分析までの様々なタスクで似た特徴を持つデータポイントをグループ化することができます。本記事では、機械学習における10種類の異なるクラスタリングアルゴリズムについて探求し、それらの動作や適用範囲について解説します。クラスタリングとは何ですか？顧客の購買履歴、生物の計測値、または画像のピクセルなど、さまざまなデータポイントの集合があると想像してください。クラスタリングを使用すると、それぞれのクラスタは他のクラスタよりも内部のアイテム同士がより類似しているサブセットにデータポイントを整理することができます。これらのクラスタは、共通の特徴や属性、または即座に明らかにされない関係によって定義されます。クラスタリングは、マーケットセグメンテーションや推薦システムから異常検出や画像セグメンテーションまで様々な分野で重要です。データ内の自然なグループを認識することで、企業は特定の顧客セグメントに対してターゲティングを行うことができ、研究者は種を分類することができ、コンピュータビジョンシステムは画像内のオブジェクトを分離することができます。したがって、クラスタリングで使用される多様なテクニックやアルゴリズムを理解することは、複雑なデータセットから価値ある洞察を抽出するために必要です。では、10種類の異なるクラスタリングアルゴリズムを理解しましょう。 A. セントロイドベースのクラスタリングセントロイドベースのクラスタリングは、セントロイド（代表点）の概念に基づいてデータセット内のクラスタを定義するクラスタリングアルゴリズムのカテゴリです。これらのアルゴリズムは、データポイントとそのクラスタのセントロイドとの距離を最小化することを目指します。このカテゴリには、K-meansとK-modesという2つの代表的なクラスタリングアルゴリズムがあります。 1. K-meansクラスタリング K-meansは、データをk個のクラスタに分割する広く利用されるクラスタリング手法です。kはユーザーによって事前に定義されます。この手法では、データポイントを最も近いセントロイドに割り当て、収束するまでセントロイドを再計算します。K-meansは数値属性を持つデータに効率的で効果的です。 2. K-modesクラスタリング（カテゴリカルデータのクラスタリングバリアント） K-modesは、カテゴリカルデータに適したK-meansの適応です。セントロイドではなく、各クラスタ内で最も頻度の高いカテゴリ値を表すモードを使用します。K-modesは、非数値属性を持つデータセットで価値のあるクラスタリングを効率的に行うための貴重な手段です。クラスタリングアルゴリズム主な特徴適切なデータタイプ主な使用例 K-meansクラスタリングセントロイドベース、数値属性、スケーラブル数値（数量）データ顧客セグメンテーション、画像分析…

見逃せない7つの機械学習アルゴリズム

機械学習アルゴリズムのリストは、データサイエンティストとしての旅を始めるのに最適な出発点です最も一般的なモデルを特定し、適切なアプリケーションで使用することができるはずです

Machine learning

「シミュレーション仮説を証明することは可能ですか？」

2003年、哲学者ニック・ボストロムは、私たちが先進的であり得る後の人類の子孫によって運営されるコンピューターシミュレーションの中に生きていると仮定しました[1][2]今日では、多くの科学者や大思想家、...

「LLMsにおけるエンタープライズ知識グラフの役割」

紹介大規模言語モデル（LLM）と生成AIは、人工知能と自然言語処理の革新的なブレークスルーを表します。彼らは人間の言語を理解し、生成することができ、テキスト、画像、音声、合成データなどのコンテンツを生成することができるため、さまざまなアプリケーションで非常に柔軟に使用できます。生成AIはコンテンツ作成の自動化や強化、ユーザーエクスペリエンスの個別化、ワークフローの効率化、創造性の促進など、現実世界のアプリケーションで非常に重要な役割を果たしています。この記事では、エンタープライズがオープンLLMと統合できるように、エンタープライズナレッジグラフを効果的にプロンプトに基づいて構築する方法に焦点を当てます。学習目標 LLM/Gen-AIシステムと対話しながら、グラウンディングとプロンプトの構築に関する知識を獲得する。グラウンディングのエンタープライズへの関連性と、オープンなGen-AIシステムとの統合によるビジネス価値を例を挙げながら理解する。知識グラフとベクトルストアという2つの主要なグラウンディング競争解決策を、さまざまな側面で分析し、どちらがどのような場合に適しているかを理解する。パーソナライズされたおすすめの顧客シナリオにおいて、知識グラフ、学習データモデリング、およびグラフモデリングを活用したグラウンディングとプロンプトのサンプルエンタープライズ設計を研究する。この記事はData Science Blogathonの一環として公開されました。大規模言語モデルとは何ですか？大規模言語モデルは、深層学習技術を用いて大量のテキストや非構造化データをトレーニングした高度なAIモデルです。これらのモデルは人間の言語と対話し、人間らしいテキスト、画像、音声を生成し、さまざまな自然言語処理タスクを実行することができます。一方、言語モデルの定義は、テキストコーパスの分析に基づいて単語のシーケンスに対して確率を割り当てることを指します。言語モデルは、シンプルなn-gramモデルからより洗練されたニューラルネットワークモデルまでさまざまなものがあります。ただし、”大規模言語モデル”という用語は、深層学習技術を使用し、パラメータが数百万から数十億に及ぶモデルを通常指します。これらのモデルは、言語の複雑なパターンを捉え、しばしば人間が書いた文と区別のつかないテキストを生成することができます。プロンプトとは何ですか？ LLMまたは同様のチャットボットAIシステムへのプロンプトとは、会話やAIとの対話を開始するために提供するテキストベースの入力やメッセージのことです。LLMは柔軟で、さまざまなタスクに使用されるため、プロンプトのコンテキスト、範囲、品質、明瞭さは、LLMシステムから受け取る応答に重要な影響を与えます。グラウンディング/RAGとは何ですか？自然言語LLM処理の文脈におけるグラウンディング、またはリトリーバル拡張生成（RAG）は、プロンプトをコンテキスト、追加のメタデータ、および範囲で豊かにすることを指します。これにより、AIシステムは必要な範囲とコンテキストに合わせてデータを理解し、解釈するのに役立ちます。LLMの研究によれば、応答の品質はプロンプトの品質に依存することが示されています。これはAIの基本的な概念であり、生データと人間の理解と範囲を一致する形でデータを処理および解釈する能力とのギャップを埋める役割を果たします。これにより、AIシステムの品質と信頼性が向上し、正確かつ有用な情報や応答を提供する能力が高まります。 LLMの欠点は何ですか？ GPT-3などの大規模言語モデル（LLM）はさまざまなアプリケーションで注目と利用が進んでいますが、いくつかの欠点も存在します。LLMの主な欠点には以下があります： 1. バイアスと公平性：LLMはしばしば訓練データからバイアスを引き継ぎます。これにより、バイアスを持ったまたは差別的なコンテンツの生成が生じ、有害なステレオタイプを強化し、既存のバイアスを固定化する可能性があります。 2. 幻覚:…

学界は真の洞察を犠牲にして方法論にこだわりすぎているのではないか？

方法論よりも洞察力に焦点を当てたアカデミアに関するミレニアルの意見記事

Data science

「H3とPlotlyを使用してヘキサゴンマップを構築する：包括的なチュートリアル」

通常、私たちはチョロプレス地図を使用して、領土全体の変数を可視化する場合、一般的に知られている行政地理を使用しますたとえば、失業率を見たい場合...

「2023年の最高の声クローニングソフトウェア10選」

はじめに人工知能を使って人の声をコピーすることができるなんて、すごく驚きませんか？AIを利用した音声クローニングソフトウェアによって、以前は難しいと思われていたアイデアが可能になりました。オーディオブックの制作からエンターテイメント業界のコンテンツ作成まで、声のクローニングにはさまざまな可能性があります。どのソフトウェアが人間のような音声を作成するのに役立つのか気になりますか？AIの音声と人間の音声を区別するのが難しいトップ10の音声クローニングソフトウェアのリストをご覧ください！トップ10の音声クローニングソフトウェアアイコニックな声を再現するか、パーソナライズされた声のアバターを作成する場合、以下の音声クローニングソフトウェアがお役に立ちます。 Murf Murf AIは、プロジェクトにリアルな声を作成することができる強力なAI音声生成ツールです。ジェネレーティブAIを使用した機械学習を効果的に活用しています。ほとんどのAI音声ソフトウェアとは異なり、Murfの声は人間のように聞こえます。ビジネスプロフェッショナルが時間と費用を節約するためのツールを探している場合や、リーチを拡大するためのツールを探している初心者マーケターの場合、Murf AIはプロジェクトのためのナレーションを生成するための頼もしいツールです。こちらからアクセス： Murf.ai LOVO LOVOはテキスト読み上げ（TTS）プラットフォームで、自然なAI音声を提供しています。ユーザーは書かれたテキストを声に変換することができ、音声オーバー、バーチャルアシスタント、コンテンツナレーションなどのさまざまな用途に役立ちます。LOVOの技術は魅力的で人間らしい声を作り出すことを目指しています。LOVOのリアルなAI音声は、視聴者の注意を引きつけながら時間と予算を節約することができます。こちらからアクセス： LOVO Play.ht PlayHTは、書かれたテキストを音声に変換するプラットフォームです。ユーザーは、記事やブログ投稿、その他のテキストベースのコンテンツをオーディオ形式に変換することができます。このサービスは、コンテンツクリエーターが音声形式を活用して素材をよりアクセスしやすくするために役立ちます。ユーザーは読むのではなく、聞くことで情報を理解することができます。こちらからアクセス： PlayHT Respeecher Respeecherは声を再現するソフトウェアです。エンターテイメント業界のダビングやその他のオーディオ関連の目的に使用されます。声のクローニングに重点を置いた技術プラットフォームです。ユーザーはオーディオ録音で声を再現することができます。この技術は、声優、ダビング、その他のオーディオ関連の目的に役立つさまざまな業界で利用されます。Respeecherは自然な音声を作成し、特定のニーズに合わせてカスタマイズすることができます。こちらからアクセス： Respeecher Overdub Overdubは音声クローニングツールです。既存の録音を基にリアルな声を生成することができます。OverdubはDescriptプラットフォームの一部であり、音声クローニングと生成に特化しています。Overdubを使用することで、人工知能の力を使って現実を作り出すことができます。音声録音の話し言葉を変更したり置き換えたりすることができ、ナレーション作業やさまざまな用途にカスタムボイスを生成するのに役立ちます。Overdubは既存の録音を基にしたリアルでカスタマイズ可能な声の作成を可能にします。こちらからアクセス： Overdub…

統計的推定と推論の初心者向け解説

大数の法則と中心極限定理書籍「データサイエンス-統計と機械学習の入門」からの抜粋

偽りの預言者：自家製の時系列回帰モデル

メタのプロフェットからのアイデアに基づく時系列回帰のガイド頑健で説明可能な強力な予測モデルを構築します

Learn more about Search Results A - Page 572