Search Results による

言語の壁を打破：多言語オーディオの文字起こしと意味検索のマスタリングによる革命化

「先進的な転写と意味論的検索技術で、クロス言語情報アクセシビリティの可能性を解き放て」

ミストラルAIは、MoE 8x7Bリリースによる言語モデルの画期的な進歩を発表します

パリに拠点を置くスタートアップMistral AIは、MoE 8x7Bという言語モデルを発表しました。Mistral LLMは、各々が70億のパラメータを持つ8人の専門家からなる、サイズダウンされたGPT-4としてしばしば比較されます。特筆すべきは、各トークンの推論には8人の専門家のうち2人のみが使用され、効率的で効果的な処理手法を示していることです。このモデルは、混合専門家（MoE）アーキテクチャを活用して、素晴らしいパフォーマンスと効率性を実現しています。これにより、従来のモデルと比べてより効率的で最適なパフォーマンスが得られます。研究者たちは、MoE 8x7Bが、テキスト生成、理解、コーディングやSEO最適化など高度な処理を必要とするタスクを含むさまざまな側面で、Llama2-70BやQwen-72Bなどの以前のモデルよりも優れたパフォーマンスを発揮することを強調しています。これにより、AIコミュニティの間で多くの話題を呼んでいます。著名なAIコンサルタントであり、Machine & Deep Learning Israelコミュニティの創設者である人物は、Mistralがこのような発表を行っていることを称え、これを業界内で特徴的なものと評価しています。オープンソースAIの提唱者であるジェイ・スキャンブラー氏は、このリリースの異例性について言及しました。彼は、これがMistralによる故意の戦略であり、AIコミュニティからの注目と興味を引くためのものである可能性があると述べ、重要な話題を成功裏に生み出したと指摘しています。 MistralのAI分野における旅は、欧州史上最大と報じられている1億1800万ドルのシードラウンドという記録的な一歩で始まりました。同社は、9月には最初の大規模な言語AIモデルであるMistral 7Bのローンチにより、さらなる認知度を得ました。 MoE 8x7Bモデルは、各々が70億のパラメータを持つ8人の専門家を搭載しており、GPT-4の16人の専門家と1人あたり1660億のパラメータからの削減を表しています。推定1.8兆パラメータのGPT-4に比べ、推定総モデルサイズは420億パラメータです。また、MoE 8x7Bは言語問題に対するより深い理解を持っており、機械翻訳やチャットボットのインタラクション、情報検索の向上につながっています。 MoEアーキテクチャは、より効率的なリソース配分を可能にし、処理時間を短縮し、計算コストを削減します。Mistral AIのMoE 8x7Bは、言語モデルの開発において重要な進展を示すものです。その優れたパフォーマンス、効率性、柔軟性は、さまざまな産業やアプリケーションにおいて莫大なポテンシャルを持っています。AIが進化し続ける中、MoE 8x7Bのようなモデルは、デジタル専門知識やコンテンツ戦略を向上させたい企業や開発者にとって不可欠なツールとなることが予想されています。結論として、Mistral AIのMoE 8x7Bのリリースは、技術的な洗練と非伝統的なマーケティング戦略を組み合わせた画期的な言語モデルを導入しました。研究者たちは、AIコミュニティがMistralのアーキテクチャを詳しく調査・評価していく中で、この先進的な言語モデルの効果と利用方法を楽しみにしています。MoE 8x7Bの機能は、教育、医療、科学的発見など、さまざまな分野における研究開発の新たな道を開く可能性があります。

「ウェアラブルデータによるコロナ感染予測」

消費者用ウェアラブルデバイスと医療用ウェアラブルデバイスの収斂は近いのか？

機械学習によるマルチビューオプティカルイリュージョンの作成：ダイナミックな画像変換のためのゼロショット手法の探索

アナグラムは、異なる角度から見るか、ひっくり返すことで外観が変化するイメージです。これらの魅力的な多角的視覚錯覚を生成するためには、通常、視覚知覚を理解してだます必要があります。しかし、新しいアプローチが登場し、これらの魅力的な多視点光学錯視を簡単かつ効果的に生成する方法を提供しています。視覚錯覚を作成するためのさまざまなアプローチが存在しますが、ほとんどは人間がイメージをどのように理解するかについての特定の仮定に依存しています。これらの仮定はしばしば、われわれの視覚体験の本質をときどき捉えるだけの複雑なモデルにつながります。ミシガン大学の研究者たちは、新しい解決策を提案しています。人間が物事を見る方法に基づいたモデルを構築するのではなく、テキストからイメージへの拡散モデルを使用します。このモデルは人間の知覚について何も仮定しません。データのみから学習します。この手法は、フリップや回転時に変形するイメージなど、古典的な錯視を生成するための新しい方法を提案しています。さらに、ピクセルを並び替えると外観が変化する「視覚アナグラム」と呼ばれる新しい錯視の領域にも進出しています。これには、フリップ、回転、ジグソーパズルのような複数の解を持つより複雑な変換も含まれます。この手法は、３つや４つの視点にまで拡張され、魅力的な視覚変換の範囲が広がっています。この手法が機能するための鍵は、ビューを注意深く選択することです。画像に適用される変換は、ノイズの統計的特性を維持する必要があります。なぜなら、このモデルはランダム、独立、同一分布のガウスノイズを仮定してトレーニングされるからです。この手法では、画像をさまざまな視点からデノイズするために、拡散モデルを利用して複数のノイズの推定値を生成します。これらの推定値は、逆拡散プロセスの１つのステップを容易にするために組み合わされます。この論文では、これらの視点の効果を支持する経験的根拠が示され、生成される錯視の品質と柔軟性が紹介されています。結論として、このシンプルでありながら強力な手法は、魅力的な多視点光学錯覚を作成するための新しい可能性を開拓しています。人間の知覚に対する仮定を避け、拡散モデルの機能を活用することで、視覚変換の魅力的な世界への新たなアプローチを提供しています。フリップ、回転、ポリモーフィックジグソーパズルなど、この方法は、視覚理解を魅了し挑戦する錯視を作り出すための多目的なツールを提供します。

AI研究でα-CLIPが公開されましたターゲテッドアテンションと強化された制御によるマルチモーダル画像分析の向上

さらなる焦点化と制御された画像理解および編集のために、どのようにCLIPを改善できるでしょうか？上海交通大学、復旦大学、香港中文大学、上海AI研究所、マカオ大学、およびMThreads Inc.の研究者は、点、ストローク、またはマスクで定義された指定領域を認識する能力を強化するために、コントラスティブランゲージ-イメージプリトレーニング(CLIP)の制限に対処することを目指すAlpha-CLIPを提案します。この改良により、Alpha-CLIPは、画像認識や2Dおよび3D生成タスクへの貢献を含む多様な下流タスクで、より良いパフォーマンスを発揮することができます。マスクCLIP、SAN、MaskAdaptedCLIP、およびMaskQCLIPなど、さまざまな戦略がCLIPに領域認識を持たせるために試されてきました。一部の方法は、切り抜きやマスクを用いて入力画像を変更します（ReCLIPやOvarNetなど）。他の方法は、赤い円やマスクの輪郭を使用してCLIPの注目を誘導します（Red-CircleやFGVPなど）。これらのアプローチは、CLIPのプリトレーニングデータセットのシンボルに依存することが多く、ドメインのギャップを引き起こす可能性がありますが、Alpha-CLIPは、画像コンテンツを変更せずに指定された領域に焦点を当てるための追加のアルファチャネルを導入し、一般化性能を保持しながら領域の焦点を強化します。 CLIPおよびその派生物は、下流タスクのために画像とテキストから特徴を抽出しますが、特定の領域に焦点を当てることは、より詳細な理解とコンテンツ生成において重要です。Alpha-CLIPは、コンテンツを変更せずに指定された領域に焦点を当てるためのアルファチャネルを導入し、画像認識、マルチモーダル言語モデル、および2D/3D生成などのタスクで、CLIPを強化します。Alpha-CLIPをトレーニングするには、セグメントアニシングモデルと画像キャプショニングのためのマルチモーダルな大規模モデルを使用して、領域-テキストペアのデータを生成する必要があります。 Alpha-CLIP方法は、コンテンツを変更せずに特定の領域に焦点を当てるための追加のアルファチャネルを導入したものであり、これによりコンテキスト情報が保持されます。データパイプラインは、モデルトレーニングのためにRGBA-領域テキストペアを生成します。分類データが領域-テキスト理解に与える影響を調査するために、グラウンディングデータのみで事前トレーニングされたモデルと分類およびグラウンディングデータの組み合わせを比較することによるデータ減衰の研究が行われます。ゼロショット実験では、リファリング表現の理解においてAlpha-CLIPがCLIPに代わり、競争力のある領域-テキスト理解の結果を達成します。 Alpha-CLIPは、点、ストローク、マスクを伴うタスクにおいてCLIPを改善し、焦点を当てることができる特定の領域を拡張します。ただし、グラウンディングのみのプリトレーニングを上回り、領域の知覚能力を向上させます。ImageNetなどの大規模な分類データセットは、そのパフォーマンスに大きく貢献しています。結論として、Alpha-CLIPモデルは元のCLIPを置き換え、領域焦点の機能を効果的に向上させることが実証されています。さらにアルファチャネルを組み込むことで、Alpha-CLIPはゼロショット認識の改善やリファリング表現理解タスクでベースラインモデルを上回る競争力のある結果を示しています。関連領域に焦点を当てるモデルの能力は、分類とグラウンディングのデータの組み合わせによる事前トレーニングによって向上されています。実験結果は、Alpha-CLIPが前景領域やマスクを持つシナリオで有用であり、CLIPの能力を拡張し、画像テキスト理解を改善する可能性があることを示しています。将来の課題として、この研究はAlpha-CLIPの制限を解決し、その能力と適用範囲を拡大するために解像度を向上させることを提案しています。研究は、領域-知覚能力を向上させるためにより強力なグラウンディングおよびセグメンテーションモデルを活用することを提案しています。研究者は、画像コンテンツをより良く理解するために、興味のある領域に焦点を当てることの重要性について強調しています。Alpha-CLIPは、画像コンテンツを変更せずに領域の焦点を当てることができます。研究は、Alpha-CLIPのパフォーマンスを改善し、応用範囲を広げ、領域に焦点を当てたCLIPの特徴の新しい戦略を探索するための継続的な研究を提唱しています。

新しいCMUとMetaによるAI研究、PyNeRFの導入：スケールに意識したグリッドベースのレンダリングにおけるニューラル輝度場の進化

ニューラル・ラディアンス・フィールド（NeRF）は、シーン再構成時のスケールの変動とエイリアシングのアーティファクトを減らすためにどのように改善できるのでしょうか？ CMUとMetaからの新しい研究論文では、ピラミッド状のニューラル・ラディアンス・フィールド（PyNeRF：Pyramidal Neural Radiance Fields）を提案することで、この問題に取り組んでいます。PyNeRFは、異なる空間グリッド解像度でモデルヘッドを訓練することにより、さまざまなカメラ距離でシーンを再構成する際に生じる視覚的な歪みを軽減するのに役立ちます。PyNeRFはパフォーマンスに大きな影響を与えることなく、NeRFを高速化しながら高品質のシーン再構成を維持する効果的な解決策です。 NeRFに触発されて、この研究ではボクセルグリッドやテンソル近似を使用して描画速度とメモリ効率を向上させるためのグリッドベースの手法（NSVF、Plenoxels、DVGO、TensoRF、K-Planes、Instant-NGP）を探求しています。PyNeRFは、速度の利点と品質の維持を兼ね備え、Instant-NGPやNerfactoなどの他の高速描画手法を凌駕し、描画品質とトレーニング速度で優れた結果を示します。 Nerfを含む最近のニューラルボリューメトリックレンダリングの進歩は、現実的な視点合成の進展をもたらしています。ただし、NeRFはMLP表現と仮定により遅いため、エイリアシングが発生します。Mip-NeRFなどのグリッドベースの手法はトレーニングを加速しますが、位置符号化との互換性に欠けます。PyNeRFは、分割と征服のNeRF拡張と古典的な技術からインスピレーションを受けています。PyNeRFのモデルピラミッドはレイに沿ってサンプリングされ、分割アプローチが採用されることにより、高速化されたNeRF実装の速度を維持しながら、描画品質が改善されます。効率的かつ高品質な新しい視点合成のための幅広い解決策を提供します。研究では、より大きなボリュームサンプルの描画に向けて、グリッドベースのモデルを修正し、異なる空間グリッド解像度でモデルヘッドを訓練することを提案しています。バックボーンモデルとしてSUDSを使用し、徐々により高い解像度でトレーニングします。学習した特徴をボクセルグリッドやハッシュテーブルなどの構造に保存するさまざまなグリッドベースの加速手法について議論されています。研究者は、LaplacianPyNeRFや他の補間手法と比較して、特徴グリッドの再利用と2Dピクセル領域の使用の影響を評価しています。主な貢献は、既存のグリッド描画手法において描画速度を保持しながら視覚的な忠実度を向上させる多目的の分割手法です。 PyNeRFは、合成と実世界のシーンにおいて誤差率を20〜90％低下させ、パフォーマンスへの影響を最小限に抑えることで描画品質を大幅に向上させます。Mip-NeRFと比較して、トレーニング速度が60倍速い状態で誤差を20％削減します。PyNeRFは2時間でSUDS品質に収束し、さまざまなメトリックでベースラインを凌駕しますが、SUDSには4時間かかります。さまざまな合成およびマルチスケールブレンダーデータセットでのテストと評価によって、PyNeRFの高品質な再構築はArgoverse 2 Sensorデータセットでの評価に証明されています。まとめると、PyNeRFは高速ボリューメトリックレンダラーのアンチエイリアシング機能の向上において印象的な進展を示し、さまざまなデータセットで優れた結果を示しています。この手法は、現実世界のキャプチャを共有することでニューラルボリューメトリックレンダリングの研究を更に進めることを提唱していますが、高品質なニューラル表現の効率的な構築におけるセキュリティとプライバシーのリスクにも言及しています。今後の研究は、追加の実世界のキャプチャの共有や統合ボリュームを階層レベルに割り当てるための代替マッピング関数の探求から利益を得ることができるでしょう。モデルのトレーニング中にプライバシーフィルタリングのためにセマンティック情報を使用することも有益な調査方向です。将来の興味深い展望には、高速なNeRF手法において描画速度を保持しながら視覚的な忠実度を向上させるためのアーキテクチャのさらなる探求が含まれます。潜在的な研究領域には、ピラミッドアプローチを他の高速NeRF実装に適用し、そのパフォーマンスを評価することがあります。

「DARPA資金による研究が量子コンピューティングの飛躍的進展をもたらす」

ハーバード主導のチームが、スケーラブルな量子コンピュータを実現するための新しい論理キュビットを開発しました

スターリング-7B AIフィードバックからの強化学習によるLLM

UCバークレーの研究チームが、オープンソースの大規模言語モデル（LLM）であるStarling-7Bを導入しています。このモデルは人工知能フィードバック（RLAIF）からの強化学習を使用し、最新のGPT-4ラベル付きランキングデータセットであるNectarの力を活用しています。洗練された報酬トレーニングとポリシーチューニングパイプラインを組み合わせたStarling-7B-alphaは、言語モデルの性能において新たな基準を打ち立て、MT-Benchを除くすべてのモデルをしのぐ性能を発揮しています（ただし、OpenAIのGPT-4とGPT-4 Turboには及ばない）。強化学習の可能性教師あり微調整はチャットボットシステム開発において効果を示していますが、人間のフィードバックからの強化学習（RLHF）またはAIフィードバック（RLAIF）の可能性は限定的に調査されてきました。Zephyr-7BやNeural-Chat-7Bのような既存のモデルは、主導的な微調整（SFT）モデルと比較してRLHFの潜在能力を十分に示していませんでした。この問題に対処するため、研究チームはNectarを導入しました。これは、チャットに特化した高品質なランキングデータセットであり、183,000のプロンプトと3,800,000のペアワイズ比較からなります。このデータセットはRLHFの研究をより詳細に行うことを目的とし、さまざまなモデルから収集されたさまざまなプロンプトを提供しています。報酬モデルであるStarling-RM-7B-alphaおよびファインチューンされたLLMであるStarling-LM-7B-alphaのHuggingFaceでのリリースは、オープンソースAI研究の重要な進展を示しています。このモデルのMT-Benchスコアは、7.81から印象的な8.09に向上し、チャットボットの助けになる度合いを測るAlpacaEvalの向上も88.51％から91.99％に大幅に改善されました。他にも読む: 強化学習とは何か、そしてそれはどのように機能するのか（2023年）モデルの評価 Starling-7Bの評価には独自の課題があります。このLLMは、RLHF後の助けや安全性の機能が向上していることを示すMT-BenchおよびAlpacaEvalスコアの改善が証明されています。ただし、知識ベースの質問応答や数学、コーディングに関連する基本的な機能は一貫しているか、わずかな回帰を経験しています。直接チャットや匿名の比較のためにLMSYSチャットボットアリーナに組み込まれることで、人間の選好をテストするプラットフォームが提供されます。評価はまた、チャットモデルのベンチマークとしてのOpenLLMリーダーボードの使用における制限を強調し、Alpaca EvalとMT-Benchによるニュアンスのある評価の重要性を強調しています。合成優先データのGoodhartの法則考慮すべき重要な点は、合成された優先データのGoodhartの法則です。より高いMT-Benchスコアは、GPT-4による改善されたモデルの性能を示していますが、それが必ずしも人間の選好と相関するわけではありません。RLHFは主に応答スタイルを向上させることに寄与しており、特に助けや安全性の側面でスケーリングオンラインRL方法のポテンシャルを示しています。制限事項 Starling-7Bは優れた性能を持っていますが、推論や数学に関わるタスクには苦労しています。また、ジェイルブレイキングのプロンプトへの感受性や出力の冗長さなどの制限も認識されています。研究チームは改善のためにコミュニティとの協力を求めており、RLHFを使用したオープンデータセット、報酬モデル、言語モデルの向上に取り組んでいます。私たちの意見 RLAIFアプローチと綿密なデータセット作成を備えたStarling-7Bは、言語モデルにおける強化学習のポテンシャルを示すものです。課題や制約はまだ残っていますが、改善への取り組みと大規模なコミュニティとの協力により、Starling-7BはAI研究の進展する風景において輝く存在となっています。RLHFメカニズムの洗練とAI安全性研究の最前線への貢献について、さらなるアップデートをお楽しみに。

「Protopia AIによる企業LLMアクセラレーションの基盤データの保護」

この記事では、Protopia AIのStained Glass Transformを使用してデータを保護し、データ所有権とデータプライバシーの課題を克服する方法について説明していますProtopia AIは、AWSと提携して、生成AIの安全かつ効率的なエンタープライズ導入のためのデータ保護と所有権の重要な要素を提供していますこの記事では、ソリューションの概要と、Retrieval Augmented Generation（RAG）などの人気のあるエンタープライズユースケースや、Llama 2などの最先端のLLMsでAWSを使用する方法をデモンストレーションしています

「アナコンダのCEO兼共同創業者、ピーターウォングによるインタビューシリーズ」

ピーター・ワンはAnacondaのCEO兼共同創設者ですAnaconda（以前はContinuum Analyticsとして知られる）を設立する前は、ピーターは15年間にわたり、3Dグラフィックス、地球物理学、大規模データシミュレーションと可視化、金融リスクモデリング、医療画像など、さまざまな分野でソフトウェアの設計と開発に取り組んできましたPyDataコミュニティとカンファレンスの創設者として、 […]

Learn more about Search Results による - Page 2