Search Results A

GPT – 直感的かつ徹底的な解説

この記事では、OpenAIのGPTモデルの進化について探求しますトランスフォーマーについて簡単に説明し、最初のGPTモデルにつながるトランスフォーマーのバリエーションを説明しますそして、...

予測モデルの構築：Pythonにおけるロジスティック回帰

著者によるイメージ　機械学習を始めるとき、ロジスティック回帰は最初にツールボックスに追加するアルゴリズムの一つですこれはシンプルで頑健なアルゴリズムであり、主に2値分類の課題に使用されます0と1の2つのクラスを持つ二値分類問題を考えますロジスティック回帰はロジスティックまたは...

Machine learning

フリーMITコース：TinyMLと効率的なディープラーニングコンピューティング

日常のデバイスを最適化するAIに興味がありますか？MITのTinyMLとEfficient Deep Learning Computingコースの完全な概要に潜り込んでみてください小さなデバイスでより賢いAIを実現するための戦略を探求してください詳細な記事を読んで、徹底的に理解してください！

Machine learning

データの行方を理解する：ソースから宛先まで

昨日、「Anthera」というレストランに行きました美味しかったペッパーチキンの4つ目か5つ目を食べていた時、私は消化や味わう能力に驚きを覚えました…

「DRESS」とは、自然言語フィードバックを通じて人々と調和し、対話する大規模なビジョン言語モデル（LVLM）です

ビッグビジョン言語モデル、またはLVLMは、ビジュアルな手がかりを解釈し、ユーザーが簡単に対話するための簡単な返答を提供することができます。これは、大規模な言語モデル（LLM）を大規模なビジュアル指示の微調整と巧みに融合させることによって実現されています。しかし、LVLMは教師付き微調整（SFT）によって手作りまたはLLM生成のデータセットのみが必要です。これにより、キャプションジェネレータから指示に従うモデルに変更できるようになりますが、LVLMは依然として傷つける、悪意を持った、または役に立たない返答を生成することがあります。これは、LVLMが人間の好みとより一致する必要があることを示しています。さらに、以前の研究では、ビジュアル指示調整サンプルをマルチターン形式で組織することが推奨されていますが、異なるターン間の弱い関連性と相互依存性により、LVLMの相互作用能力が制限されています。ここで、相互作用能力は、LVLMがマルチターンインタラクションにおいて前の文脈を使用して返答を調整できるかどうかを評価します。これらの2つの欠点は、LVLMが視覚のヘルパーとしての実用性を制限します。国際SRI研究所とイリノイ大学アーバナ・シャンペーン校の研究チームが、本研究でLLMによって生成される自然言語フィードバック（NLF）を使用してユニークに教授されるLVLM「DRESS」を提案しています（図1を参照）。研究チームは、LLMに対し、具体的なルールと詳細な写真注釈を提供することで、LVLMの返答について詳細なフィードバックを提供するよう指示します。人間と一致するLLMの作成プロセスに則って、このフィードバック注釈では3つのH基準（有用性、正直さ、無害性）を考慮しています。フィードバックは、3つのH基準に沿った返答の総合的な品質を評価し、数値スコアとNLFを提供します。研究チームの手法では、NLFを批評と改善に分けています。改善NLFは、返答がゴールド基準リファレンスに合うように改善するための正確な推奨事項をLVLMに提供しますが、批評NLFは、返答の強みと欠点を評価します。この分類は、LVLMをより人間に受け入れられるものにし、相互作用能力を高めるための2種類のNLFの自然な適用を提供します。図1: 研究者はDRESSに自然言語入力を使用するよう指示し、これを批評と改善の2つのカテゴリに分けて、人間の好みと相互作用能力の両方を高めます。研究チームは、NLFの微分不可能な性質に合わせて条件付き強化学習技術を一般化し、そのようなフィードバックでLVLMをトレーニングします。具体的には、研究チームは返答に対する言語モデリング（LM）損失を使用して、DRESSをトレーニングし、2つのNLFに基づいて条件付けられた同等の返答を生成するようにします。研究チームは、数値結果の分析と解釈を通じてDRESSを改善し、ユーザーの好みとより一致するようにします。推論中のマルチターンインタラクションを通じて、研究チームは改善NLFを利用したオリジナルの返答の調整メタスキルを学習するようにDRESSをトレーニングします。研究チームは、マルチターンインタラクションでのDRESSの評価、無害性評価のための敵対的なプロンプティング、正直性評価のための画像キャプショニング、助けになるかどうかの評価のためのオープンエンドの視覚的な質問への応答を行います。実験の結果、以前のLVLMと比較して、DRESSは人間の価値と一致する返答を提供でき、フィードバックから学習し、必要に応じて返答を修正するための優れた相互作用能力を持っています。研究チームの知る限り、この取り組みはLVLMの相互作用能力と3つの3H基準を取り扱う最初の試みです。研究チームの貢献は以下の通りです: • 研究チームは、自然言語フィードバック（NLF）を使用してLVLMの相互作用能力と人間の好みに一致する能力を高めるために、批評と改善NLFに分けることを提案します。 • モデルをトレーニングして、非微分性NLFに依存したマッチング応答を提供するようにすることによって、研究チームは条件付き強化学習手法を一般化し、成功裏に非微分性NLFに対応します。従来のSOTAに比べて、研究チームの提案モデルであるDRESSは、利用価値、誠実さ、無害性の一貫性を系統的に評価した結果、9.76％、11.52％、および21.03％の相対的な改善を示しています。 • 研究グループは、63Kの注釈付き言語NLFの例を公開し、3Hの特徴を含めて一般の利用に提供しています。さらに、研究チームは無害性の一貫性とLVLM評価のための4.7Kのサンプルを含む、公開可能なデータセットを作成しました。

ディープシークLLM：中国の最新の言語モデル

最近の動向において、DeepSeek LLMは言語モデルの世界で力強い存在として現れ、驚異的な670億のパラメータを誇っています。英語と中国語の両方の2兆トークンからなる広範なデータセットを使って、DeepSeek LLMはその7B/67B Baseと7B/67B Chatバージョンをオープンソース化することで研究の連携に新たな基準を設けました。この記事では、モデルの優れた能力について詳しく探求し、複雑な評価におけるパフォーマンスを評価します。優れた総合能力 DeepSeek LLM 67B Baseは、推論、コーディング、数学、中国語理解などの重要な領域でLlama2 70B Baseを上回る実績を示しています。このモデルの力は、言語モデルの進化において大きな飛躍を示しています。コーディングと数学の熟練度 DeepSeek LLM 67B Chatの優れた特徴は、コーディングでの驚異的なパフォーマンスです。ヒューマン評価のPass@1スコアは73.78です。また、同様に優れた数学的能力も示しており、GSM8K zero-shotスコアは84.1、Math 0-shotスコアは32.6です。特に、難解なハンガリー国立高校試験での65点という優れたスコアは、モデルの汎用性を証明しています。中国語の習熟度 GPT-3.5との対比において、DeepSeek LLM 67B Chatは中国語の習熟度において最前線に立っています。評価結果はモデルの優位性を示しており、自然言語処理の大きな進歩を表しています。…

「粒子群最適化：探索手順、ビジュアライズ」

高次元の問題に対して効率的に最適解を探索します数学をコードに変換し、各イテレーションでの解の視覚化を行います

スキレンチュートリアル：モジュール 3

この記事は私のscikit-learnチュートリアルシリーズの3つ目の投稿ですもし読み逃してしまった方がいれば、私の最初の2つの投稿を強くおすすめしますそれに従って進める方がずっと簡単ですモデルのセットアップを行ってきたのですが、…

研究者は、解釈可能で効率的な量子風機械学習のためのテンソルネットワークを研究しています

<img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/11/Screenshot-2023-11-30-at-11.23.30-PM.png”/><img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/11/Screenshot-2023-11-30-at-11.23.30-PM-150×150.png”/>コンピュータビジョン、NLP、およびその他のドメインでは、深層機械学習（ML）アプローチが深層ニューラルネットワーク（NN）に基づいて顕著な成功を収めています。しかし、解釈性vs効率の長年の問題はいくつかの厄介な障害を提起しています。深層MLアプローチの疑問、理解、および信頼性は、解釈性に依存し、多くの場合、結論の根源をつかむことができるかどうかの程度として説明されます。ベイジアンネットワーク、ボルツマンマシン、およびその他の確率的MLモデルは、「白箱」と見なされます。なぜなら、それらは本質的に解釈可能であるからです。これらのモデルが解釈する方法の1つは、隠れた因果関係を明らかにするために確率的な推論を使用することです。これは統計的に人間の心が働く方法と一致します。遺憾ながら、最新の深層NNはこれらの確率的モデルをかなり上回っています。現在のMLモデルは、高い効率と解釈性を同時に達成することはできないようです。量子および従来のコンピューティングの指数関数的な成長のおかげで、効率性vs解釈性のジレンマを解決する新しいツールが登場しました：テンソルネットワーク（TN）。複数のテンソルの総和はTNと呼ばれます。テンソルの緊縮方法は、ネットワーク構造で定義されます。中国首都师范大学と中国科学院大学の新たな論文は、効率的かつ解釈可能な量子に触発されたML向けのTNにおけるエンカレッジングな展開を調査しました。”TN ML butterfly”は、MLのTNによる利点を列挙しています。量子理論の解釈可能性と量子手続きの効率性の2つの主要な領域で、量子に触発されたTNを使用したMLの利点は要約されます。量子理論（量子もつれ理論や統計）とTNを使用することで、クラシカル情報や統計的アプローチの説明を超えた解釈可能性の確率的なフレームワークを構築することができます。逆に、量子に触発されたTN MLアプローチは、堅牢な量子力学的TNアルゴリズムと大幅に改良された量子コンピューティング技術のおかげで、クラシカルおよび量子コンピューティングプラットフォームの両方で効率的に動作することができます。特に、最近は生成予め学習されたトランスフォーマが注目されており、前例のない計算能力とモデルの複雑さの急増をもたらしています。これはTN MLにとってポテンシャルと課題を提供します。新たな人工知能（AI）である生成予め学習されたトランスフォーマに直面した場合、結果を解釈する能力は以前以上に重要になり、より効果的な調査、より安全な制御、およびより良い利用が可能になります。研究者たちは、真の量子コンピューティング時代と現在のNISQ時代に入ると共に、TNが、理論、モデル、アルゴリズム、ソフトウェア、ハードウェア、およびアプリケーションを含む様々な観点から量子AIを研究するための主要な数学的ツールに急速になりつつあると考えています。記事は最初に<a href=”https://www.voagi.com/ai-paper-introduces-codebook-features-for-neural-networks.html”>「解釈可能で効率的な量子に触発された機械学習のためのテンソルネットワークを研究する」</a>という記事で発表されました。参考元：<a href=”/?s=MarkTechPost”>MarkTechPost</a>。

「DeepSeek：中国最新の言語モデルの支配」

In a recent development, the DeepSeek LLM has emerged as a formidable force in the realm of language models, boasting an impressive 67 billion…

Learn more about Search Results A - Page 511