Search Results による

「スタンフォード大学の研究者が言語モデルの事実性において革新を成し遂げました：自動的な優先順位付けとNLPの進歩によるエラー削減」

スタンフォード大学とUNCチャペルヒルの研究者は、LLMsが生成する事実に反する主張である幻覚として知られる問題に取り組んでいます。人間のラベリングなしで、研究者はLLMsを微調整してオープンエンドの生成環境で事実の正確性を向上させました。NLPの最近のイノベーションを活用して、外部知識ベースとの整合性を通じて事実性を評価し、直接の好み最適化アルゴリズムを用いて微調整を行っています。このアプローチにより、Llama-2で事実性が大幅に向上し、7Bの尺度での伝記や医学的質問応答の事実エラーレートが大幅に低下しました。プロンプト、内部表現の摂動、および検索ベースの手法など、言語モデル内の事実エラーを緩和するためのさまざまな戦略が存在します。特にモデルのサイズが増大するにつれて、対立解決と事実性の維持に課題があります。FactScoreの変種は、推論時間の複雑さに対処するためにトレーニング中に検索を採用しています。好みに基づく学習を通じて微調整を行うことで、正しくない事実を効果的に減らすことができます。この研究では、言語モデルの不確実性を利用して真実性を推定するためのリファレンスフリーメソッドを導入しています。自動構築された好みペアからの事実性の学習は、人間の介入なしに潜在的な改善の可能性を示す、費用対効果の高いアプローチとして注目されています。オープンエンドの生成環境に焦点を当て、人間のラベリングなしで言語モデルの事実性を向上させるための微調整を提案しています。外部知識ベースとの整合性を通じて事実性を判断し、直接の好み最適化アルゴリズムを利用するなど、NLPの最近のイノベーションを活用しています。このアプローチでは、自動生成された事実性の好み順位から学習を行い、ベンチマークデータセット上の他の戦略と比較して、伝記の生成や医学的質問への回答の事実エラーレートが大幅に低下します。現在の研究では、外部知識ベースやモデルの信頼スコアとの整合性を通じて事実性を判断しています。直接の好み最適化アルゴリズムを用いて微調整を行い、教師付き模倣を超えた目標に焦点を当てています。既存の検索システムまたは新しい検索フリーのアプローチを通じて自動生成された事実性の好み順位から学習を行うことを提案しています。FactScoreなどの自動評価指標、人間の評価者、および推論時間の介入や層ごとのデコーディングとの比較を含めた評価が行われます。このアプローチは、自動生成された事実性の好み順位からの学習が言語モデルの事実性の向上において効果的であることを示しています。微調整されたLlama-2モデルは、伝記の事実エラーレートを58％、医学的な質問に対する事実エラーレートを40％削減しました。人間の評価者は、FactTune-FSモデルをSFTモデルよりもかなり高く評価しています。GPT-4の評価とFactScoreの評価は高い相関関係を示し、FactTune-FSが事実エラーを減らすことに成功していることを示しています。提案された研究では、長文生成を重視しながら言語モデルの事実性を向上させるための効果的な戦略が示されています。外部知識を使用したリファレンスベースの真実性の推定と、モデルの不確実性を利用したリファレンスフリーの推定の2つのアプローチが探究されています。いずれの方法でも、言語モデルの微調整により正しくない事実を一貫して減らすことができます。リファレンスコーパスのゴールドが必要ではない事実性の改善のためのスケーラブルな自己監督戦略を提供するリファレンスフリーのアプローチにより、実験結果は将来の研究の有望な方向を示しており、複数の事実性チューニング方法の組み合わせや大規模なモデルへのアプローチのスケーリングの探求が提案されています。将来の研究では、事実性のチューニングと既存の手法の組み合わせ、例えば事実性チューニングDOLA実験の組み合わせを探求することを推奨しています。事実性の向上のために事実性をブーストするデコーディング技術と事実性チューニング手順を組み合わせることの効果を評価することが提案されています。事実性のチューニングと推論時間の介入などの異なるアプローチを組み合わせることの効果を評価することで、補完的なメカニズムについての示唆が得られるでしょう。原子的な事実を抽出するためのよりシンプルなアプローチや、GPT-4などの大規模なモデルへの事実性チューニングのアプローチを拡大することに向けた調査が提案され、さらなる探求が求められています。

「MATLABとAmazon SageMakerによる機械学習」

この投稿はMathWorksのBrad Duncan、Rachel Johnson、Richard Alcockとの共同執筆ですMATLABはデータ処理、並列コンピューティング、自動化、シミュレーション、機械学習、人工知能など、さまざまなアプリケーションにおいて人気のあるプログラミングツールです自動車、航空宇宙、通信、製造業など多くの産業で頻繁に使用されています

ユレカ：大規模な言語モデルをコーディングすることによる人間レベルの報酬設計

近年、大型言語モデルの進化によって、これらのLLMフレームワークが連続的な高レベルの意思決定タスクのための意味的なプランナーとして優れている理由が驚くほど明らかになっていますしかし、開発者は依然として複雑な低レベルの操作タスクの学習にLLMフレームワークの全ての潜在能力を活用することに苦戦していると感じています現在の大型言語モデルには、効率性がありますが、[…]が必要です

AI-パワード自然言語クエリによる知識発見

この記事では、私が取り組んできたUE5_documentalistという概念証明プロジェクトを共有したいと思いますこれは、自然言語処理（NLP）を使用して、大量のドキュメンテーションをより効果的に利用できる可能性があるというエキサイティングなプロジェクトですこのプロジェクトではUnreal Engine 5のドキュメンテーションに取り組んだのですが、それは...

新技術による道路と橋の建設および修復のためのツール：人工知能

「ペンシルベニア州とその他の地域で、AIが国の老朽化したインフラに適用されていますそれは賢明な判断でしょうか？」

「AIによる気候変動対策の加速」

「ボストン・コンサルティング・グループとの新しいレポートによると、AIは世界の温室効果ガス排出量の5〜10％を軽減する可能性があります」

このMITのAI論文では、ロボット操作に革新的な方法を紹介しています：エンコードされた特徴フィールドとビジョン言語モデルによる2Dから3Dのギャップの橋渡し

MITとAIおよび基礎相互作用研究所（IAIFI）の研究チームは、ロボットの操作に革新的なフレームワークを紹介し、予測不可能な複雑な環境で物体を理解し操作する能力の向上に取り組んでいます。課題は、ロボットが3Dジオメトリの詳細な理解を持つ必要があることであり、これは2Dイメージの特徴からは不十分な場合がよくあります。現在、多くのロボットのタスクでは、空間的な理解と意味的な理解の両方が必要です。たとえば、倉庫のロボットは、製品マニフェストのテキストの記述に基づいて整理されたストレージ容器からアイテムを取り出す必要があります。これには、幾何学的な特性と意味的な属性の両方に基づいて、安定したアイテムの把持能力が必要です。 2Dイメージの特徴と3Dジオメトリのギャップを埋めるため、研究者はFeature Fields for Robotic Manipulation（F3RM）と呼ばれるフレームワークを開発しました。このアプローチは、精緻化された特徴フィールドを活用して、正確な3Dジオメトリと2D基礎モデルの豊かな意味論を組み合わせます。重要な考え方は、事前にトレーニングされたビジョンモデルとビジョン言語モデルを使用して特徴を抽出し、それらを3D特徴フィールドに蒸留することです。 F3RMフレームワークには、特徴フィールドの蒸留、特徴フィールドを使用した6自由度（6-DOF）のポーズ表現、および開放テキスト言語ガイダンスの3つの主要なコンポーネントが含まれます。蒸留された特徴フィールド（DFFs）は、Neural Radiance Fields（NeRF）の概念を拡張し、ビジョンモデルから密な2D特徴を復元するための追加の出力を含めています。これにより、モデルは3D位置を特徴ベクトルにマッピングすることができ、空間的な情報と意味的な情報を統合します。ポーズ表現には、ギリパーの座標フレーム内の一連のクエリポイントを使用し、これらは3Dガウス分布からサンプリングされます。これらのポイントはワールドフレームに変換され、特徴はローカルジオメトリに基づいて重み付けされます。生成された特徴ベクトルはポーズの表現に結合されます。フレームワークには、オブジェクト操作のための開放テキスト言語コマンドの組み込み機能も含まれます。ロボットはテストの際に、オブジェクトの操作を指定する自然言語のクエリを受け取ります。それから関連するデモンストレーションを取得し、粗い把持を初期化し、提供された言語ガイダンスに基づいて把持姿勢を最適化します。結果として、研究者は把持と配置のタスク、および言語ガイドの操作についての実験を行いました。密度、色、およびアイテム間の距離を理解できました。カップ、マグ、ドライバーハンドル、およびキャタピラの耳の実験では成功しました。ロボットは形状、外観、材料、およびポーズが大きく異なるオブジェクトにも一般化することができました。また、デモンストレーション中に見たことのない新しいカテゴリのオブジェクトに対しても、自由テキストの自然言語コマンドに正しく応答しました。結論として、F3RMフレームワークは、ロボット操作システムのオープンセット汎化の課題に対する有望な解決策を提供します。2D視覚の事前知識と3Dジオメトリを組み合わせ、自然言語のガイダンスを組み込むことにより、ロボットが多様で複雑な環境で複雑なタスクを処理する道を開きます。シーンごとにモデル化にかかる時間など、まだ制限はありますが、このフレームワークはロボティクスと自動化の分野を進歩させるための重要なポテンシャルを秘めています。

朝鮮大学研究者が、ブリーチされたサンゴの正確な位置情報を特定するための機械学習フレームワークを紹介します特徴ベースのハイブリッドビジュアル分類によるものです

地球上で最も多様な海洋環境は、サンゴ礁に存在すると言われています。サンゴ礁では、約4,000種類の魚が見つかることがあり、全ての海洋生物の約25%が生息しています。サンゴの中では、水中寄生藻類またはゾウキサンテラエと呼ばれるものが、サンゴ礁として知られる鮮やかな炭酸カルシウムの構造物を生成します。水温が上昇し、藻類がサンゴの組織から逃げ出すと、サンゴ礁は退色します。サンゴ礁の退色は、いくつかの環境的および経済的問題と関連しています。極めて高い夏季の海面温度（SST）により、地球温暖化が退色の主な原因です。2016年にオーストラリアのグレート·バリア·リーフでは、退色によりサンゴの29～50%が死滅しました。また、退色は世界の海洋の二酸化炭素（CO2）レベルを日々高め、環境をより酸性化させ、他のサンゴや海洋生物が骨格を形成することを困難にします。サンゴ礁はさまざまな海洋生物の生息地であり、世界で最も深刻な病気の多くを治療することができる多くの薬物を含んでいます。気候変動の影響を軽減するために、海洋生態学の監視と調査が必要です。しかし、水中画像のアーティファクトと周囲のノイズにより、コンピュータビジョンシステムは前景の対象物と背景を区別するのが困難です。そのため、水中画像を改善するための技術が開発されています。写真をHSIモデルに変換し、画像の彩度と明度の要素を拡張することで、統合カラーモデル（ICM）と非教示色補正手法（UCM）はコントラストを改善します。人工知能（AI）を研究する研究者は、退色したサンゴ礁を信頼性のあるかつ計算効率の良い方法で特定できるようにしたいと考えています。しかし、照明、サイズ、方向、視点、遮蔽、および背景の乱雑さの違いが、特定モデルの性能を低下させます。カメラの深度、取り付け位置、および監視エリアの変動する光源により、対象物のスケール、視点、および照明が変化します。このプロジェクトの韓国朝鮮大学の研究者は、海洋環境の写真の幾何学的および視覚的な変動に耐えることができる深層学習と手作りの特徴抽出方法を作成することを目指しています。外観ベースの特徴は物体のテクスチャと色の詳細によるものであり、幾何学的な特徴は主に物体の形状を形成する曲線とエッジの局所的な分布に依存します。照明、サイズ、方向、視点、遮蔽、および背景の乱雑さは外観特徴と幾何学に影響を与えます。ほとんどの分類作業では、手作りの特徴抽出器は深層ニューラルネットワーク（DNN）モデルに置き換えられます。ドメインの独立性と広範なデータセットのトレーニングにより、ResNet、DenseNet、VGGNet、Inceptionsモデルなど、深層ニューラルネットワーク（DNN）はさまざまなアプリケーションで類例のないパフォーマンスを実現しています。しかし、現在のデータセットには退色した例が少ないため、DNNは過学習し、特徴の堅牢性と一意性が損なわれます。ただし、手作りの特徴の堅牢性と一意性はトレーニングデータの力に依存しません。手作りの特徴の不変性は、ノイズの堅牢性を持っていても、深度、水中光、水の濁りの変化によって影響を受けます。このプロジェクトの目標は、コーラルの写真のジオメトリとフォトメトリの変化に耐える変わらない特徴抽出モデルを作成することです。提案されたフレームワークは、ハイブリッドな手作りとDNNの手法を使用して生の特徴を抽出し、BoFを用いて次元削減と不変性を増加させ、分類精度を向上させます。提案されたモデルは、ストレージの必要性と複雑さを減らすために、グローバルな特徴ではなく写真からのローカルな特徴を使用してフォトメトリックな不変性を向上させます。試行錯誤の末、最適なパッチ、クラスタサイズ、カーネルの組み合わせ、および分類器が決定されました。

LLMs (Language Models)による電子メール効率化の次なるフロンティア

紹介人工知能（AI）は、特に大規模な言語モデル（LLM）の台頭のおかげで、過去数年間で大きく成長しました。豊富な人間の言語を含む広範なデータセットでトレーニングされたこれらの洗練されたAIシステムは、多くの技術的進展をもたらしています。GPT-3（Generative Pre-trained Transformer 3）などのLLMの莫大なスケールと複雑さにより、彼らは自然言語の理解と生成の最前線に位置しています。この記事では、LLMの重要な役割がメールのレスポンス生成とソートの革新においてどのように重要な役割を果たしているかを強調しています。デジタルコミュニケーションの環境が進化する中で、効率的で文脈に即した個別化されたメールへの返信の必要性がますます重要になってきています。LLMは、コミュニケーションの生産性を向上させ、繰り返しのタスクを自動化し、人間の創造性を増強するソリューションを提供する可能性を持っています。LLM 学習目標言語モデルの進化をたどり、基礎システムからGPT-3.5のような高度なモデルまでの開発の重要なマイルストーンを把握する。大規模な言語モデルのトレーニングの複雑さについて理解します。データ準備、モデルアーキテクチャ、および必要な計算リソースについて積極的に理解し、ファインチューニングや転移学習における課題と革新的な解決策を探ります。大規模な言語モデルがメールコミュニケーションをどのように変革するかを調査します。言語モデルがメールのソートプロセスを最適化する方法について学びます。この記事はData Science Blogathonの一環として公開されました。大規模言語モデルの理解大規模な言語モデルであるLLMは、特に人間の言語の理解において、人工知能の大きな進歩を表しています。彼らは人間のようなテキストを理解し作成することが得意です。人々は、彼らがさまざまな言語のタスクに優れているため興奮しています。LLMの概念を把握するには、それらが何であるかと、それらがどのように機能するかという2つの重要な側面に深入りすることが不可欠です。大規模言語モデルとは何ですか？大規模言語モデルの中核には、広範なネットワーク接続を持つ優れたコンピュータープログラムのような存在があります。彼らを特徴付けるのはその巨大なスケールです。彼らは本や記事からウェブサイトやソーシャルメディアの投稿まで、様々なテキストデータセットに事前にトレーニングされています。この事前トレーニングフェーズにより、彼らは人間の言語の複雑さに触れ、文法、構文、意味論、そして一部の常識的な推論を学ぶことができます。重要なことは、LLMが学習したテキストを単に吐き出すだけでなく、状況に適した文脈のある応答を生成することができることです。最も注目すべきLLMの一つは、Generative Pre-trained Transformer 3の略であるGPT-3です。GPT-3は、正確に言うと1,750億のプロセスを持つ驚異的な数のパラメータを誇っており、最も重要な言語モデルの一つです。これらのパラメータは、モデル内の重みや接続を表し、文脈に基づいて文の次の単語を予測するために必要なものを調節するために微調整されます。この予測能力は、メールの応答生成からコンテンツ作成や翻訳サービスまで、さまざまなアプリケーションで活用されます。要するに、GPT-3などのLLMは、最先端のAI技術と人間の言語の複雑さの交差点に位置しています。彼らはテキストを流暢に理解し生成することができるため、さまざまな産業やアプリケーションに広範な影響を及ぼす多目的なツールとなっています。 GPT-3の訓練プロセスとモデル大規模言語モデルの訓練プロセスは複雑でリソースを消費する作業です。まず、インターネットから巨大なテキストデータセットを取得します。これらのデータセットはモデルの基礎です。訓練プロセスでは、モデルは前のコンテキストから単語または単語の系列の出現確率を予測するために学習します。このプロセスは、モデルのニューラルネットワークを最適化することによって行われ、パラメータの重みを調整して予測エラーを最小化します。…

「KNIMEによるデータの可視化」

データ可視化のためのKNIMEを発見しましょう：データサイエンス愛好家のための使いやすいガイド視覚化の作成、レポートの設計、インタラクティブダッシュボードの作成方法を簡単に学びましょう

Learn more about Search Results による - Page 5