Search Results 14

部屋温超伝導体の主張を支持する研究

研究者たちは、今年早期に行われた研究で他の科学者から疑問視されていた重要な測定を検証しました

ロボットのライバルを撃退した後、オスのハエは交尾においてより優れたパフォーマンスを発揮する

科学者たちは、実験室で飼育されたオスのハエが、ライバルのオスのロボットのレプリカと交流した後、交尾により熟練していくようだと発見しました

(Note Since HTML is a markup language, it doesn’t have a direct translation. The provided text is a translation of the content.)

140以上のブランドが低品質なコンテンツファームサイトに広告を出しており、この問題は急速に拡大しています

テーブル内の重複した値を見つけるための最高のSQLトリック2つ

まず、重複行の基準を定義してくださいテーブルから重複レコードを見つける方法の一つは、GROUP BYとHAVINGですもう一つの方法はROW_NUMBER()です詳細はこちらをご覧ください

Pythonを使用して北極の氷の傾向を分析する

Pythonは、データサイエンスのための卓越したプログラミング言語として、計測データを収集・クリーニング・解釈することが容易になりますPythonを使って、予測をバックテストし、モデルを検証することができますそして...

DataFrameを効率的に操作するためのloc Pandasメソッドの使い方

データに含まれるカラムや、生データの種類、データの記述統計量を把握することは、今後のデータ処理において正しく取り組むために非常に重要です

PyTorchを使用した効率的な画像セグメンテーション：パート3

この4部シリーズでは、PyTorchを使用して深層学習技術を使い、画像セグメンテーションをスクラッチからステップバイステップで実装しますこのパートでは、CNNベースラインモデルを最適化することに焦点を当てます

スタンフォード大学の研究者がSequenceMatchを紹介：模倣学習損失を用いたLLMsのトレーニング

自己回帰モデルは、変数の現在の値が過去の値に大きく依存するという直感に基づいた統計モデルの一種です。つまり、モデルは、過去の値に回帰させることによって、変数の将来の値を予測します。自己回帰モデルの最もよく知られた例の1つは、特に前の単語が与えられた場合に、シーケンス内の次の単語を予測するという基盤に大きく依存するGPTモデルのクラスであり、特にGPT-3およびそのバリアントです。大規模なテキストコーパスでこの自己回帰的な方法でGPTをトレーニングすることにより、言語の統計的パターン、依存関係、および意味的関係を捕捉することを学び、それによって入力プロンプトに基づいて文脈に即したテキストを生成することができます。しかし、以前の研究実験では、より小さなモデルや、ランダム性や変動性が少なく調整されたモデル（すなわち、より低い生成温度）は、繰り返しや誤った出力を生成する傾向があることが示されています。さらに、これらのモデルは、自分自身の出力を入力として使用する場合があり、しばしば意図した分布からモデルをすぐに離れるような複合エラーを引き起こします。これらの課題に対処するために、スタンフォード大学の研究者チームは初期研究を行い、MLEでトレーニングされた自己回帰モデルが評価中に整合的なシーケンスを生成することを妨げる2つの主な障害を特定しました。最初の問題は、モデルとデータ分布の間の不一致を評価するために使用される発散測度にあります。MLEでは、分布外（OOD）のシーケンスを考慮しないため、そのようなシーケンスにおけるモデルの動作を制御することはできません。これを解決するために、研究者たちは、実際のデータと自己回帰的に生成されたシーケンスの組み合わせ間のχ2発散度を最小化するというアイデアを考案しました。これはMLEに比べて優れた性能を発揮しています。2番目の課題は、モデルがOODトークンを生成して、データ分布に整合する適切な継続がない場合に発生します。これに対処するために、研究者たちは、生成プロセスで<backspace>アクションを導入し、モデルが前のトークンを消去して、誤りを修正できるようにしました。これらの初期研究から学びを得て、スタンフォード大学の研究者たちは、SequenceMatchと呼ばれる新しい手法を提案しました。これにより、自己回帰モデルを異なる発散技術に対してトレーニングすることができ、<backspace>アクションを追加することができます。研究者たちは、シーケンス生成の問題を強化学習問題として再定式化しました。単純に言えば、与えられた状態（つまり、部分シーケンス）に対して、すべての可能なシーケンスの中から次の行動（この場合、次のトークンの生成）を選択することを要約します。したがって、強化学習のフレームワークの1つである非対抗的な模倣学習の最新の開発を活用することにより、トレーニングされたモデルの占有測定と実際のデータの分布の間の発散を減らすことができました。さらに、シーケンス生成における複合エラーをさらに最小限に抑えるために、MLEではなく<backspace>アクションを使用して、自己回帰モデルをトレーニングしました。この言語モデリングの完全教師あり損失技術であるSequenceMatchは、事前にトレーニングされたモデルを微調整する追加ステップとして使用できます。研究者たちは、MAUVEスコアをメトリックとして使用して、SequenceMatchで微調整されたGPT-2ベースのモデルのパフォーマンスとMLEでトレーニングされたモデルのパフォーマンスを比較するためにいくつかの実験評価を実施しました。その結果、SequenceMatchで微調整されたモデルはデータセットに近いテキストを生成し、MLEでトレーニングされたモデルと比較して、より流暢でエラーの少ないテキストを生成することが判明しました。チームは、モデルが長いテキストを生成するためにより多くの計算リソースと時間が必要であるという制限を強調しました。今後の課題に関しては、研究者たちは、異なる発散方法が生成されたシーケンスの品質にどのように影響するかを研究することに注力しています。

AWS CDKを介してAmazon SageMakerロールマネージャーを使用して、カスタム権限を数分で定義します

機械学習（ML）の管理者は、MLワークロードのセキュリティと完全性を維持する上で重要な役割を果たしています彼らの主な焦点は、ユーザーが最高のセキュリティで操作し、最小特権の原則に従うことを確認することですただし、異なるユーザーペルソナの多様なニーズに対応し、適切な許可ポリシーを作成することは、時にアジリティを妨げることがあります[…]

Learn more about Search Results 14 - Page 141

Twitterの後