Search Results ML

データサイエンティストの役割の典型

最近の「Towards Data Science」への投稿が好評だったので、データに関する役割の実際のカテゴリについて少し書いてみようと思いました

パーシステントシステムは、Amazon CodeWhispererと共にソフトウェアエンジニアリングの未来を形作っています

グローバルなデジタルエンジニアリングプロバイダーであるPersistent Systemsは、Amazon CodeWhispererとのいくつかのパイロット実験と形式的な研究を実施しましたそれにより、ソフトウェアエンジニアリング、生成AI主導の近代化、責任あるイノベーションなどにおける変化が示唆されましたこの記事では、PersistentのAmazon CodeWhispererの実験から浮かび上がった4つのテーマについて紹介しますそれは私たちが知っているソフトウェアエンジニアリングを変える可能性があります

なぜ私たちはHugging Face Inference Endpointsに切り替えるのか、そしてあなたも切り替えるべきかもしれません

Hugging Faceは最近、Inference Endpointsをリリースしました。これは、彼らが言うように「トランスフォーマーを本番環境で解決する」というものです。Inference Endpointsは、次のことができるマネージドサービスです： Hugging Face Hub上で（ほぼ）任意のモデルをデプロイする任意のクラウド（AWS、Azure、GCPも近日中に）にデプロイする GPUを含むさまざまなインスタンスタイプで実行する私たちは、CPU上で推論を行ういくつかの機械学習（ML）モデルを、この新しいサービスに切り替えています。このブログでは、なぜ切り替えるのか、また切り替えを検討する理由について説明します。これまでの取り組み私たちがInference Endpointsに切り替えたモデルは、以前は内部で管理され、AWS Elastic Container Service（ECS）上で実行されていました。これにより、コンテナベースのタスクを実行できるサーバーレスクラスターが提供されます。私たちのプロセスは次のようなものでした： GPUインスタンスでモデルをトレーニングする（transformersでトレーニングされたCMLで供給） Hugging Face Hubにアップロードするモデルを提供するためのAPIを構築する（FastAPI） APIをコンテナにラップする（Docker）コンテナをAWS Elastic…

Databricks ❤️ Hugging Face 大規模言語モデルのトレーニングとチューニングが最大40%高速化されました

生成AIは世界中で大きな注目を集めています。データとAIの会社として、私たちはオープンソースの大規模言語モデルDollyのリリース、およびそれを微調整するために使用した研究および商用利用のための内部クラウドソーシングデータセットであるdatabricks-dolly-15kのリリースと共にこの旅に参加してきました。モデルとデータセットはHugging Faceで利用可能です。このプロセスを通じて多くのことを学びましたが、今日はApache Spark™のデータフレームから簡単にHugging Faceデータセットを作成できるようにするHugging Faceコードベースへの初めての公式コミットの1つを発表することを喜んでお知らせします。「Databricksがモデルとデータセットをコミュニティにリリースしてくれたのを見るのは素晴らしいことでしたが、それをHugging Faceへの直接のオープンソースコミットメントにまで拡張しているのを見るのはさらに素晴らしいことです。Sparkは、大規模なデータでの作業に最も効率的なエンジンの1つであり、その技術を使用してHugging Faceのモデルをより効果的に微調整できるようになったユーザーを見るのは素晴らしいことです。」 — Clem Delange、Hugging Face CEO Hugging Faceが一流のSparkサポートを受ける過去数週間、ユーザーから、SparkのデータフレームをHugging Faceデータセットに簡単にロードする方法を求める多くのリクエストを受け取りました。今日のリリースよりも前は、SparkのデータフレームからHugging Faceデータセットにデータを取得するために、データをParquetファイルに書き込み、それからHugging Faceデータセットをこれらのファイルに指定して再ロードする必要がありました。たとえば: from datasets import load_dataset train_df…

あなたのGen AIプロジェクトで活用するための10のヒントとトリック

現在、実際に利用されている生成型AIアプリケーションはあまり多くはありませんここで言っているのは、それらがエンドユーザーによって展開され、活発に使用されていることを意味します（デモ、POC、および抽出型AIは含まれません）生成型AIは…

「ODSC West 2023 の最初の50セッションが発表されました」

ODSC Westは数ヶ月後に迫っており、最初の50セッションを発表できることを大変嬉しく思っています！このブログでは全てについて話すスペースがありませんが、以下にいくつかを紹介します最初の50セッションの完全なリストはこちらでご覧いただけます...

West 2023

「Amazon SageMakerを使用したフェデレーテッドラーニングによる分散トレーニングデータを用いた機械学習」

この投稿では、分散トレーニングデータを使用してAmazon SageMakerでフェデレーテッドラーニングを実装する方法について説明します

このAIニュースレターは、あなたが必要とするすべてです＃61

「最近の数ヶ月間、私たちは大規模な言語モデル（LLM）の進歩と新しい技術の徐々の導入を続けてきましたが、まだGPT-4を直接的に置き換えることを目指した競争は見られていません…」

この秋登場予定：NVIDIA DLSS 3.5 が Chaos Vantage、D5 Render、Omniverse、そして人気のあるゲームタイトルに対応します

エディターの注：この投稿は、弊社の週刊「NVIDIA Studio」シリーズの一部であり、注目のアーティストを称え、クリエイティブなヒントやトリックを提供し、NVIDIA Studioテクノロジーがクリエイティブなワークフローを向上させる方法を示しています。また、新しいGeForce RTX 40シリーズGPUの機能、技術、リソースについて詳しく掘り下げ、コンテンツ作成を劇的に加速する方法も説明しています。年間最大のゲームイベントであるGamescomが明日ドイツのケルンで開催されますが、ゲーマーやコンテンツクリエイターは、今週NVIDIA Studioで最新のイノベーション、ツール、AIパワードテクノロジーを見つけることができます。公式オープンの前夜に、NVIDIAは、リアルタイムの3Dクリエイティブアプリやゲームにおいて、従来のレンダリング方法よりも美しくリアルなレイトレーシングビジュアルを作成する新しいニューラルレンダリングAIモデルである「NVIDIA DLSS 3.5 featurning Ray Reconstruction」を発表しました。 NVIDIA Omniverse上に構築された無料のモディングプラットフォームである「NVIDIA RTX Remix」は、古典的なゲームのための#RTXONモッズを作成して共有するためのツールを提供します。また、私たちはValveのハイレーティングゲームである「Half-Life 2」のコミュニティリマスタープロジェクトである「Half-Life 2 RTX: An RTX Remix Project」も発表しました。…

「リアルタイム1080pの新しい視点合成の革命：3Dガウスと可視性認識レンダリングによる突破」

メッシュとポイントは、明示的であり、高速なGPU/CUDAベースのラスタリゼーションに適しているため、最も一般的な3Dシーン表現です。一方、最近のニューラル輝度場（NeRF）の手法は、連続的なシーン表現をベースにしており、通常はキャプチャされたシーンの新たな視点合成のためにボリューメトリックなレイマーチングを使用してマルチレイヤパーセプトロン（MLP）を最適化します。同様に、最も効率的な輝度場の解決策も、ボクセル、ハッシュグリッド、またはポイントに格納された値を補完することで、連続的な表現を基に構築されます。これらの手法の定数的な性質は最適化を支援しますが、レンダリングに必要な確率的なサンプリングはコストがかかり、ノイズを引き起こす可能性があります。 Université Côte d’AzurとMax-Planck-Institut für Informatikの研究者は、両方の利点を組み合わせた新しいアプローチを紹介しています。彼らの3Dガウス表現は、最新の視覚品質と競争力のあるトレーニング時間で最適化を可能にします。同時に、彼らのタイルベースのスプラッティングソリューションは、以前に公開された複数のデータセットに対して1080p解像度でSOTA品質のリアルタイムレンダリングを実現します（図1を参照）。彼らの目標は、複数の写真でキャプチャされたシーンのためにリアルタイムレンダリングを可能にし、従来の実際のシーンの最も効率的な以前の手法と同様に最速の最適化時間で表現を作成することです。最近の手法では、高速なトレーニングを達成できますが、現在のSOTA NeRF手法で得られる視覚品質を達成するのは難しいです。つまり、Mip-NeRF360では最大48時間のトレーニングが必要です。図1: このアプローチは、従来の方法と比較して最速の最適化時間と同等の品質で輝度場をリアルタイムにレンダリングします。ユニークな3Dガウスシーン表現とリアルタイム微分可能なレンダラーは、この性能を実現するために不可欠です。InstantNGPが同等のトレーニング時間で生成できる最高品質ですが、彼らは51分以内で最新のSOTA品質を得ることができます。これは、Mip-NeRF360よりもわずかに優れています。高速であるが品質の低い輝度場の手法は、シーンによってはインタラクティブなレンダリング時間を達成できます（1秒あたり10〜15フレーム）。しかし、高解像度のリアルタイムレンダリングには達していません。彼らの解決策は、3つの主要な要素に基づいて構築されています。まず、柔軟で表現力豊かな3Dガウスをシーン表現として導入します。彼らは、以前のNeRFのような手法と同じ入力（Structure-from-Motion（SfM）でキャリブレーションされたカメラ）から始め、SfMプロセスの一部として無料で生成されるスパースなポイントクラウドで3Dガウスのセットを初期化します。MVS（Multi-View Stereo）データが必要なほとんどのポイントベースの解決策とは異なり、彼らはSfMポイントのみで高品質の結果を得ることができます。NeRFシンセティックデータセットの場合、彼らの手法はランダムな初期化でも高品質を実現します。彼らは、3Dガウスが微分可能なボリューメトリック表現として優れた選択肢であることを示しています。それにもかかわらず、2Dに投影して標準的な𝛼ブレンディングを適用することで非常に効率的にラスタライズすることができます。これは、NeRFと同等の画像形成モデルを使用します。彼らの手法の2番目の要素は、3Dガウスのプロパティ（3D位置、不透明度𝛼、異方性共分散、球面調和（SH）係数）の最適化です。最適化手順では、適応的な密度制御ステップとともに、最適化中に3Dガウスを追加および削除します。最適化手順により、シーンの比較的コンパクトで非構造化で正確な表現（テストされたすべてのシーンについて1〜5百万のガウス）が生成されます。彼らの手法の第三および最後の要素は、最近の研究に基づいた高速なGPUソーティングアルゴリズムを使用したリアルタイムレンダリングソリューションです。しかし、3Dガウス表現のおかげで、彼らは可視性の順序を尊重した異方性スプラッティングを行うことができます – ソートと𝛼-ブレンディングによるもの – そして必要なだけ多くのソートされたスプラットのトラバーサルを追跡することで、高速かつ正確な逆伝播を実現します。要約すると、彼らの貢献は以下のとおりです： • ラジアンスフィールドの高品質な非構造化表現としての異方性3Dガウスの導入。 • 適応的密度制御と交互に行われる3Dガウスのプロパティの最適化手法により、キャプチャされたシーンの高品質な表現を作成します。 • GPUに対して可視性を考慮した高速な微分可能なレンダリング手法により、異方性スプラッティングと高品質な新しい視点合成を実現します。彼らが以前に公開されたデータセットでの結果は、彼らが多視点キャプチャから3Dガウスを最適化し、以前の暗黙のラジアンスフィールド手法の中で最良の品質と同等またはそれ以上の品質を実現できることを示しています。また、彼らは最速の方法と同様のトレーニング速度と品質を実現し、重要なことに、高品質の新しい視点合成のためのリアルタイムレンダリングを提供します。

Learn more about Search Results ML - Page 293