Search Results A

「LLM革命：言語モデルの変革」

イントロダクション言語モデルの世界は、特に大規模言語モデル（LLM）の登場により、過去数年間で劇的な進化を遂げました。これらのモデルは、数十億のパラメータと自然言語の深い理解を備えており、人工知能の分野を変革するのに重要な役割を果たしてきました。今日は、この革命を探求し、クローズドソースからオープンソースのLLMへの移行、ファインチューニングの重要性、そして最近登場した効率的なファインチューニング技術の開発に焦点を当てます。学習目標：クローズドソースとオープンソースのLLMの違いを知る。 LLMの伝統的なファインチューニングとパラメータ効率のファインチューニングを理解する。異なるパラメータ効率のファインチューニング戦略を探索する。効率的なファインチューニングのためのLudwigの使用方法を学ぶ。クローズドソース vs オープンソースのLLM：適切なアプローチの選択言語モデルの景色は、OpenAIなどの企業が提供するクローズドソースのモデルと、Meta、Googleなどの機関が提供するオープンソースのバリアントとの2分することがありました。ChatGPT、GPT 3.5、GPT 4などのクローズドソースのLLMは、管理されたインフラストラクチャと迅速なプルーフオブコンセプトの能力により、魅力的な出発点を提供します。これらのモデルは、高品質の事前学習データセットを提供し、インフラストラクチャのセットアップは不要であり、LLMの能力を探求する人々にとって簡単な入り口となります。しかし、アクセス性にもかかわらず、クローズドソースのLLMには根本的な制約があります。これらはモデルの所有権を欠き、最小限のカスタマイズ能力しか提供せず、特にデータプライバシーやモデルの制御が重要なセクターでは、長期的な投資には適していません。これに対し、オープンソースのLLMは有望な代替手段です。完全なモデルの所有権とカスタマイズが可能であり、オープンソースの領域での革新的な開発への即時アクセスを容易にします。そのトレードオフは、これらのモデルを自己ホスティングするための費用と課題です。伝統的なファインチューニング vs パラメータ効率のファインチューニングファインチューニングは、特にドメイン固有のタスクを考慮する際に、LLMの潜在能力を最大限に引き出すための重要なプロセスとして浮かび上がります。クローズドソースのモデルは、ファインチューニングに必要な柔軟性を欠いている一方、オープンソースのモデルはこのプロセスに完全な制御を提供します。ファインチューニングにより、事前学習済みのLLMを特定のタスクに適応させるためにモデルの重みを更新し、パフォーマンスを向上させることができます。これは一般的なモデルを専門的なアプリケーションに合わせてパーソナライズする手段であり、ユニークなタスクのためにパフォーマンスを最適化することを可能にします。ファインチューニングとRetrieval Augmented Generation（RAG）などのモデルの間の議論は、特定のタスクに合わせたモデルの必要性と一般的な目的を持つ知能の間の関係に焦点を当てています。LLMのオープンソースの性質は、カスタマイズと効率的なファインチューニングを可能にし、優れたタスク固有のパフォーマンスを実現するために必要です。伝統的なファインチューニングには、すべてのモデルのパラメータを更新するというリソースを多く消費し、時間がかかり、必ずしも最適なタスク固有のパフォーマンスをもたらすわけではありませんというプロセスの制約があります。しかし、パラメータ効率のファインチューニングにおける最近のイノベーションは、この制約を打破しました。事前学習済みのLLMを凍結し、非常に小さなセットのタスク固有のレイヤーのみをトレーニングすることにより、効率的なファインチューニングはリソースに優しく、より効果的な方法で行われます。パラメータ効率のファインチューニングへの移行は、LLMを特定のタスクに適応させる方法に大きな影響を与えています。タスク固有のレイヤーの最小限のセットのみに焦点を当てることにより、プロセスは費用効果が高く、時間効率が良くなります。この革新的なアプローチにより、データセットが小さくても最適なタスク固有のパフォーマンスが実現され、クローズドソースのモデルに比べてオープンソースのLLMの潜在能力が示されます。 MetaによるLIMA論文などの研究は、GPT…

「ハギングフェイスの研究者たちは、Distil-Whisperを紹介しました：高性能でリソースが限られた環境におけるギャップを埋めるコンパクトな音声認識モデル」

ハギングフェイスの研究者たちは、リソース制約のある環境での大規模な事前学習済音声認識モデルの展開の問題に取り組んできました。彼らは、擬似ラベリングを通じて大規模なオープンソースデータセットを作成することにより、この問題を解決しました。そのデータセットは、Distil-Whisperと呼ばれるWhisperモデルのより小さいバージョンの煮詰まった形式に蒸留されるために利用されました。 Whisper音声認識トランスフォーマーモデルは、ノイズの多いインターネット音声データの680,000時間の事前学習を行いました。これは、トランスフォーマーベースのエンコーダとデコーダのコンポーネントを含み、ファインチューニングなしでゼロショットシナリオで競争力のある結果を実現しています。Distil-Whisperは、擬似ラベリングを使用して行われた知識蒸留を通じて派生したコンパクトなバージョンです。Distil-Whisperは、長い形式のオーディオにおける幻聴エラーを緩和しながら、Whisperモデルの耐音響的な状況への頑健性を維持しています。この研究は、音声データのための大規模な擬似ラベリング方法を導入し、知識蒸留に対する未探索でありながら有望なアプローチです。自動音声認識（ASR）システムは人間レベルの精度に達しましたが、リソース制約のある環境での事前学習モデルのサイズの増大による課題に直面しています。Whisperは大規模な事前学習済ASRモデルで、さまざまなデータセットで優れた性能を発揮しますが、低レイテンシの展開にはより実用的になる可能性があります。知識蒸留はNLPトランスフォーマーモデルを効果的に圧縮してきましたが、音声認識での利用は未探索です。提案されたアプローチでは、知識蒸留を容易にするために、擬似ラベリングを使用して大規模なオープンソースデータセットを構築します。トレーニング品質を確保するために、最適な擬似ラベルの選択にWERヒューリスティックが使用されます。知識蒸留の目的は、Kullback-Leibler距離と擬似ラベルの項の組み合わせで、学生の隠れ層の出力を教師のものと一致させるために平均二乗誤差の成分を導入することです。この蒸留技術は、Seq2Seq ASRフレームワーク内のWhisperモデルに適用され、一貫した転写のフォーマッティングとシーケンスレベルの蒸留ガイダンスを提供します。知識蒸留によって得られたDistil-Whisperは、元のWhisperモデルと比較してスピードが向上し、パラメータが削減されています。ゼロショットシナリオでの分布外テストデータにおいて、Distil-Whisperは1%未満のWERを達成し、5.8倍の高速化と51%のパラメータ削減を実現しています。distil-medium.enモデルは、わずかに高いWERを持っていますが、6.8倍の即時推論と75%のモデル圧縮を示しています。Whisperモデルは長い形式のオーディオ転写において幻聴エラーに対して脆弱ですが、Distil-Whisperはこれらのエラーを軽減しながら競争力のあるWER性能を維持しています。結論として、Distil-Whisperは知識蒸留を通じて実現されたWhisperモデルのコンパクトなバリアントです。この革新的なアプローチは、元のWhisperモデルと比較してスピードとパラメータの削減の面で注目すべき利益をもたらします。distil-medium.enモデルはわずかに高いWERを示していますが、より即時の推論と大規模なモデル圧縮を提供しています。将来の研究では、音声認識におけるトランスフォーマーベースのモデルを圧縮するための音声ドメインの知識蒸留と擬似ラベリングの可能性が有望です。さまざまなフィルタリング方法や閾値が転写品質やダウンストリームのモデル性能に与える影響の調査は、知識蒸留の最適化に貴重な知見を提供することができます。レイヤーベースの方法や平均二乗誤差項を使用した他の圧縮技術の探索は、パフォーマンスを犠牲にすることなくさらなるモデル圧縮を実現する可能性があります。この研究で提供されたトレーニングコード、推論コード、およびモデルは、音声認識のための知識蒸留に関するさらなる研究や実験において貴重なリソースとなるでしょう。

「隠れマルコフモデルの力を解読する」

はじめにスマートフォンの音声認識や天気予報の複雑さについて考えたことはありますか？もしそうなら、Hidden Markov Models（HMMs）が果たす重要な役割に興味を持つかもしれません。これらの数学的構造は、音声認識、自然言語処理、バイオインフォマティクスなどの領域で深刻な変革をもたらし、連続データの複雑さを解明するシステムに力を与えています。本記事では、Hidden Markov Modelsについて、その応用、構成要素、デコーディング手法などについて簡単に説明します。学習目標 Hidden Markov Models（HMMs）の基本的な要素（状態、観測、遷移確率、出力確率、初期状態確率）を理解する。 HMMsの主なデコーディングアルゴリズムであるForward Algorithm、Viterbi Algorithm、Baum-Welch Algorithmの応用（音声認識、バイオインフォマティクスなど）を探求する。 HMMsの制約や課題を認識し、初期化の感度、独立性の仮定、データの量の要件などを緩和する方法を学ぶ。 Hidden Markov Models 出典: Wisdom ML Hidden Markov Models（HMMs）は、1966年にBaum…

「New DeepMindの研究で、言語モデルのための最高のプロンプトシードが公開されました」

人工知能（AI）の着実な進化を目の当たりにしながら、月々にわたってますます困難なタスクを達成するAIを考えると、私たちの労働力の未来に一般的な懸念がありますもしAIが…

はい、GitHubのCopilotは（実際の）秘密を漏洩する可能性があります

研究者たちは、CopilotとCodeWhispererから有効なハードコードされた秘密を抽出し、新たなセキュリティリスクを明らかにしました

デルタレイク – パーティショニング、Z-オーダー、リキッドクラスタリング

「ビッグデータを困難にする問題の1つは、その名前にもあるように、それがビッグであることです特にうまく実施された場合、パーティション分割は常に大量のクエリ実行時間を改善する方法でありました...」

データは「何を」教えてくれますが、私たちは常に「なぜ」を追求します

以前の記事では、「Read with Me」ブッククラブを立ち上げ、ジュディア・パールの「The Book of Why」を探求しましたクラブへの関心と参加登録をしてくださった皆様に感謝申し上げます

「データパイプラインについての考え方が変わってきています」

データパイプラインは、有向非循環グラフまたは「DAG」で組織された一連のタスクですこれらは従来、AirflowやPrefectなどのオープンソースのワークフローオーケストレーションパッケージで実行され、…と要件が必要です

ブレイブがLeoを紹介：ウェブページやビデオのリアルタイム要約を含むさまざまなタスクをサポートする人工知能アシスタント

利用者のプライバシーと正確なAIインタラクションに向けた大きな進歩として、名高いブラウザ開発者であるBraveが、デスクトップ版1.6のリリースと共に、その< a href=”https://www.voagi.com/create-chat-assistant-for-pdfs-and-articles-without-openai-key.html”>ネイティブAIアシスタント、レオを公開しました。その基盤モデルとして、Meta Llama 2の動力を使っているレオは、訪れたウェブページのコンテンツに基づいて利用者のクエリに応答し、AI生成コンテンツに関連する懸念事項を効果的に解決します。今年初めにリリースされたBrave検索AIサマライザーの拡張機能であるレオは、検索バーから直接アクセスできます。8月のテストフェーズでは、Nightlyチャンネル（バージョン1.59）を通じて、数万人の開発者と利用者がブラウザとレオをダウンロードして評価し、その結果、レオは正式にBraveバージョン1.60に統合されました。レオの特徴の一つは、利用者のプライバシーに対する取り組みです。他のチャットボットとは異なり、レオは会話を収集せず、利用者を追跡せず、無意味に反応を生成しません。代わりに、正確で関連性の高い情報を提供するために、ウェブコンテンツにのみ依存しています。レオの無料版は、高度にセキュアなLlama 2モデルをベースにしています。これは、Metaのオープンソースモデルの特殊バリエーションです。しかしながら、Braveはレオプレミアムという有料サービスも導入しており、月額$15で提供されています。レオプレミアムには、論理的な推論とコード作成を重視したAnthropicが開発したClaude Instantモデルが搭載されています。このモデルは、より構造化された応答、指示の実行能力の向上、数学、プログラミング、多言語対応、質疑応答インタラクションの改善などを提供します。 Braveは、回答の正確さをさらに向上させるために、Anthropicのテクノロジーを統合し、Braveの検索APIを活用して最新のClaude 2モデルを訓練しています。このアプローチにより、Claude製品は検索支援生成（RAG）を達成し、より正確な回答を提供し、生成AIの幻想的傾向を抑えることができます。安全性とプライバシーの面では、Braveは広範な対策を講じています。無料版では、レオの会話は匿名でプライベートに保たれ、対話の記録は行われません。データはモデルの訓練に使用されず、アカウントやログインは必要ありません。逆プロキシ技術により、すべての通話が匿名サーバーを経由するため、Braveは通話と利用者のIPアドレスとの関連を確立することはありません。レオのプレミアム版を選択した利用者には、登録時にリンクできないトークンが発行され、購読の検証プロセスが保護されます。これにより、Braveは利用活動とユーザーの購入情報をリンクすることができず、完全なプライバシーが確保されます。さらに、利用者のEメールは購読の検証にのみ使用され、追跡されることはありません。今後、Braveはプレミアム版に追加のモデルを導入する予定です。ネットワークの速度制限、対話の品質、購読者向けの独占特典なども改善されます。現在は、Brave 1.6のデスクトップ版で利用できるレオとレオプレミアムは、今後数ヶ月でAndroidとiOSプラットフォームにも展開されます。この革新的な開発は、ブラウザ技術とAI統合の重要な進歩を示し、Braveの利用者志向およびプライバシー重視のイノベーションに対する取り組みを再確認します。 The post Braveがレオを紹介：ウェブページやビデオのリアルタイム要約など、さまざまなタスクをサポートする人工知能アシスタント appeared first on MarkTechPost。

「障害を持つ子供たちもゲーマーです」

学生たちは、脳性まひを持つ子供たちがビデオゲームをプレイできるようにするためのプロトタイプの補助技術を開発しました

Learn more about Search Results A - Page 557