Learn more about Search Results A - Page 823

Pythonを使用したデータのスケーリング

モデル構築に適したデータをスケーリングする方法

トップの投稿 6月26日から7月2日：GPT-4に無料でアクセスする3つの方法

無料でGPT-4にアクセスするための3つの方法 • データランドスケープの進化 • データサイエンティストのためのAI Chrome拡張機能チートシート • ChatGPTがあなたのコーディングをより良く、より速くする7つの方法 • PythonとRでの機械学習アルゴリズムの比較

ONNXモデル | オープンニューラルネットワークエクスチェンジ

はじめに ONNX（Open Neural Network Exchange）は、深層学習モデルの表現を容易にする標準化されたフォーマットとして広く認識されるようになりました。PyTorch、TensorFlow、Cafe2などのさまざまなフレームワーク間でのシームレスなデータ交換とコラボレーションを促進する能力により、その使用は大きな注目を集めています。 ONNXの主な利点の1つは、フレームワーク間の一貫性を確保する能力にあります。さらに、Python、C++、C#、Javaなどの複数のプログラミング言語を使用してモデルをエクスポートおよびインポートする柔軟性を提供しています。この柔軟性により、開発者は好みのプログラミング言語に関係なく、広いコミュニティ内でモデルを簡単に共有し活用することができます。 学習目標 このセクションでは、ONNXについて詳しく説明し、モデルをONNX形式に変換する包括的なチュートリアルを提供します。内容は個別のサブヘッダーに整理されます。 さらに、ONNX形式へのモデル変換に使用できるさまざまなツールについても探求します。 その後、PyTorchモデルをONNX形式に変換する手順に重点を置きます。 最後に、ONNXの機能に関する主な結果と洞察を強調した包括的なまとめを発表します。 この記事はデータサイエンスブログマラソンの一環として公開されました。 詳細な概要 ONNX（Open Neural Network Exchange）は、深層学習モデルに特化した自由に利用できるフォーマットです。その主な目的は、TensorFlowやCaffe2などと共にPyTorchを使用した際に異なる深層学習フレームワーク間でモデルのシームレスな交換と共有を促進することです。 ONNXの注目すべき利点の1つは、最小限の準備とモデルの書き直しの必要性なく、さまざまなフレームワーク間でモデルを転送できる能力です。この機能により、異なるハードウェアプラットフォーム（GPUやTPUなど）上でのモデルの最適化と高速化が大幅に簡素化されます。さらに、研究者はモデルを標準化された形式で共有することができ、コラボレーションと再現性を促進します。 効率的にONNXモデルを操作するために、ONNXがいくつかの便利なツールを提供しています。たとえば、ONNX Runtimeはモデルの実行に使用される高性能エンジンとして機能します。さらに、ONNXコンバータはさまざまなフレームワーク間でのモデル変換をシームレスにサポートします。 ONNXは、MicrosoftやFacebookなどの主要なAIコミュニティの貢献によって共同開発されている活発に開発されているプロジェクトです。さらに、NvidiaやIntelなどのハードウェアパートナー、AWS、Microsoft Azure、Google Cloudなどの主要なクラウドプロバイダもONNXをサポートしています。 ONNXとは何ですか？…

マイクロソフトの研究者たちは、ラベル付きトレーニングデータを使用せずにパレート最適な自己監督を用いたLLMキャリブレーションの新しいフレームワークを提案しています

最近の進展により、大規模言語モデル（LLM）の能力が著しく向上しており、生成事前トランスフォーマー（GPT）モデルは大きな可能性を示しています。GPT-3からGPT-4への移行や、PaLMやLLaMAといった他のLLMの登場により、問題解決能力や自然言語理解能力が著しく向上しました。また、生成モデルはさまざまな分野でデータを生成するために頻繁に使用されます。生物学や医療などの高い精度と信頼性が必要なアプリケーションでLLMが使用される場合、幻覚の問題は依然として大きな障壁となっています。 残念ながら、幻覚を正確に検出したり出力の信頼性を測定するための体系的な手法は存在しません。特に、人間の入力を用いた強化学習の後、生成LLMからの固有の信頼スコアは利用できないことがあります。また、ヒューリスティックな手法は計算コストが高く、LLM自体のバイアスによる偏りがあります。LLMのアンサンブルをサンプリングするなど、2つの基本的な方法があります。LLMの回答の信頼度を評価するための。最初の方法では、LLMにさまざまな方法で刺激を与えて多くの回答を作成し、その回答の信頼性を推測するために使用します。 自己整合性や思考の連鎖プロンプトがその例です。これらの手法は定量的ではなく、モデルによって生じるバイアスに対しても影響を受けやすいです。これを測定するための標準化された方法はありませんが、プロンプト技術は結果の品質に重要な影響を与える可能性があります。2つ目の方法は、回答を確認するために人間のレビュアーを雇ったり、大量のラベル付きデータを使用して評価モデルを作成したりするなど、外部のデータソースに頼るものです。現在の教師ありモデルトレーニングの主な障害の1つは、これらの手法に必要な大量の手動注釈作業です。この点で、自己教育はデータパターンと新たな知識を柔軟に使用できるため、有望な選択肢となります。 この研究のMicrosoftの研究者は、パレート最適学習を使用して、LLMの応答データと監督データの両方を組み合わせる柔軟なフレームワークを提供しています。彼らは、以前のプログラム的監督の取り組みやパレート最適化の研究の豊富さに触発されました。彼らの戦略は次の直感に基づいています。LLM自体が自分自身を判断することからバイアスを防ぐために、LLMとは独立した外部の監督のソースが必要です。2つ目に、LLMのエラーをゴールドラベル上のノイズの摂動として考えます。LLMノイズと独立した外部ノイズの両方を備えたモデルを適合させると、実際には暗黙のラベルスムージングが行われ、キャリブレーション能力が向上します。 この点で、パレート最適自己教育は両方の品質を統合するための有用なフレームワークを提供します。特に、提案された方法は非ラベルデータのみを必要とするため、注釈が費用のかかる分野に適しています。パレート最適学習評価リスク（POLAR）スコアを使用してLLMのミスの可能性を計算することを提案し、4つの異なるNLPタスクに関する実験結果を示し、提案されたPOLARスコアがゴールドラベルで評価されたLLMのエラー率と大きく関連していることを示しました。彼らは、POLARスコアを使用して高リスク状況のための改善されたLLMパフォーマンスを示し、動的なプロンプト戦略を利用してGPT-4のベースラインパフォーマンスを最先端の教師ありモデルを超えるように改善する方法を示しています。

2023年の最高のサイバーセキュリティニュースレター

サイバーセキュリティのニュースレターは、幅広いトピックをカバーし、さまざまな読者のニーズに対応していますこの分野で先を見越したいと思っている人にとって、非常に役立ちます

インデータベース分析：SQLの解析関数の活用

次のレベルにデータ分析スキルを活用するために、RANK()、NTILE()、CUME_DIST()などのさまざまなSQL分析関数について学びましょう

MongoDBで結合操作を実行するためのシンプルなテクニック

はじめに データベースの人々はJOINSに非常に精通しています。複数のテーブルからデータを取得する場合、主キーと外部キーに基づいてテーブルを結合することがよくあります。この記事では、MongoDBで結合操作を行うためのシンプルなテクニックを学びましょう。 画像の出典：Pixabay 上記の図は、組織のリレーショナルデータベーススキーマの図解です。これらのブロックは、特定の種類のデータ（学生/教授/従業員）を格納するテーブルであり、線と矢印は共通のキーを使用してテーブル間の関係を表します。テーブル間の関係に基づいて結合を行うことができます。 例えば、組織では、従業員、部門、プロジェクトなどのデータを格納するための別々のテーブルがあります。従業員の詳細と彼らがどの部門とプロジェクトで働いているかを取得するには、テーブル間で結合を行い必要なデータを取得する必要があります。 同様に、大学では、学生と教授のデータを格納するための別々のテーブルがあるかもしれません。特定の学生を教えている教授を見つけるには、テーブル間で結合を行う必要があります。 学習目標 このチュートリアルでは、MongoDBでさまざまな結合操作（内部結合、外部結合、右結合、左結合）をどのように実行できるかを見ていきます。 この記事は、Data Science Blogathonの一環として公開されました。 異なるタイプの共通結合操作の理解 A. SQLと異なる種類の結合 私たちの大部分はSQLデータベースの知識を持っています。そこでは、以下で説明する4つの主要な結合操作をよく行います。 1. 内部結合：両方のテーブルで共通のキーを持つ行のみが結果のテーブルに存在します。 学校データセットの2つのテーブル – Marks & Rank 内部結合 内部結合を実行した結果、Roll…

深層学習を用いた強力なレコメンデーションシステムの構築

顧客に適切なタイミングで適切な商品を提案することは、あらゆる業界において共通の課題です例えば、銀行業界では銀行員は常に顧客に高度に関連性のあるサービスを提案することを求めています...

マーケティング予算の最適化方法

マーケティングミックスモデルは、異なるマーケティングチャネルが売上に与える影響を理解するための強力なツールですマーケターはマーケティングミックスモデルを構築することにより、各要素の貢献度を定量化することができます

ML プレゼンテーションに PowerPoint を使うのをやめて、代わりにこれを試してみてください

悪いパワーポイントは、注意散漫な聴衆を生み出します（彼らはカメラをオフにし、複数のタスクを同時に行います）また、そのようなパワーポイントは、プレゼンターが過剰な専門用語を使用するなどの悪い習慣に甘んじることを容易にします

Find the right Blockchain Investment for you

Web 3.0 is coming, whether buy Coins, NFTs or just Coding, everyone can participate.

Advertising with us