Search Results ( link

黄さんの法則に留意する：エンジニアたちがどのように速度向上を進めているかを示すビデオ

話の中で、NVIDIAのチーフサイエンティストであるビル・ダリー氏が、モーアの法則時代後のコンピュータパフォーマンスの提供方法における大きな変革を説明しました。オンラインでご覧いただけます。彼は、新しいプロセッサは、新鮮な要素の発明と検証に工夫と努力が必要であり、チップとシステムエンジニアの毎年の集まりであるHot Chipsでの最近の基調講演で述べています。それは、エンジニアが本質的にはますます小型かつ高速なチップの物理に頼る一世代前とは根本的に異なります。 NVIDIA Researchのリーダーであるダリー氏が率いる300人以上のチームは、過去10年間に単一のGPUパフォーマンスでAI推論を1000倍向上させるのに貢献しました（以下のグラフを参照）。その驚異的な増加は、NVIDIAの創設者兼CEOであるジェンセン・ファン氏にちなんでIEEE Spectrumが最初に「ファンの法則」と名付け、後にウォールストリートジャーナルのコラムによって一般化されました。この進歩は、年々桁違いに成長している大規模な言語モデル（生成AIに使用される）の驚異的な上昇に対応したものです。「それは私たちにとってハードウェア業界でのペースメーカーとなっているものです」とダリー氏は述べました。彼の話の中で、ダリー氏は1000倍の利益をもたらした要素について詳細に説明しました。その中で最も大きなものである16倍の利益は、コンピュータが計算を行う際に使用する数値をよりシンプルに表現する方法を見つけることから生まれました。新しい数学最新のNVIDIA Hopperアーキテクチャーは、Transformer Engineを使用し、8ビットおよび16ビットの浮動小数点および整数演算の動的な組み合わせを行います。これは、今日の生成AIモデルのニーズに合わせてカスタマイズされています。ダリー氏は、新しい数学がもたらすパフォーマンスの向上とエネルギーの節約について詳細を示しました。別途、彼のチームは、GPUが自身の作業をどのように組織するかを伝える高度な命令を作成することによって12.5倍の飛躍を達成しました。これらの複雑なコマンドは、より少ないエネルギーでより多くの作業を実行するのに役立ちます。結果として、コンピュータは「専用アクセラレータと同じ効率性を持ちながら、GPUのすべてのプログラム可能性を保持することができる」と彼は述べました。さらに、NVIDIA Ampereアーキテクチャーには、AIモデルの重みを単純化する革新的な方法である構造的疎結合性が追加されました。この技術により、さらに2倍のパフォーマンス向上がもたらされ、将来的な進歩も約束されています。ダリー氏は、システム内のGPU間のNVLink相互接続とシステム間のNVIDIAネットワーキングが、単一のGPUパフォーマンスの1000倍の利益をもたらすことを説明しました。タダ飯はないただし、ダリー氏は、10年間にわたってNVIDIAが28nmから5nmの半導体ノードにGPUを移行したとしても、その技術は総利益のうち2.5倍しか占めていないと指摘しています。これは、コンピュータデザインがモーアの法則の下で一世代前に行われたときの大きな変化です。モーアの法則は、チップがますます小型かつ高速になるにつれ、パフォーマンスが2年ごとに倍増するという観察結果でした。…

プールに飛び込む：CNNプーリングレイヤーの魔法を解き明かす

「畳み込みニューラルネットワークにおけるMax、Average、およびGlobal Poolingの初心者ガイド」

Machine learning

シナプスCoR：革命的なアレンジでのChatGPT

新しいシステムプロンプトについて学び、カスタムの指示と併用して使用することで、ChatGPTをAutoGPTに変える方法を学びましょう

Artificial Intelligence

「2023年のトップ10オープンソースデータサイエンスツールの比較概要」

データサイエンスの旅に役立つオープンソースツールをお探しですか？もうこれ以上探す必要はありませんこれらのゲームチェンジャーを発見して、データに基づいた意思決定を向上させましょう

Data science

「5つの手順でGoogle Cloud Platformを始める」

「アカウントのセットアップからモデルの展開まで、データサイエンスと機械学習のためのGoogle Cloud Platformの必須要素を、実践的なプロジェクトの例を交えて探索してください」

Data Engineering

「5つのステップでPyTorchを始めましょう」

このチュートリアルは、PyTorchとその高レベルのラッパー、PyTorch Lightningを使用した機械学習の詳細な紹介を提供しますこの記事では、インストールから高度なトピックまでの重要なステップをカバーし、実践的なアプローチでニューラルネットワークの構築とトレーニングを行う方法を強調して、Lightningを使用する利点を重視します