Search Results 11

「Amazon SageMaker Pipelines、GitHub、およびGitHub Actionsを使用して、エンドツーエンドのMLOpsパイプラインを構築する」

機械学習（ML）モデルは孤立して動作するものではありません価値を提供するためには、既存の製造システムやインフラに統合する必要がありますそのため、設計と開発の過程でMLライフサイクル全体を考慮する必要がありますMLオペレーション（MLOps）は、MLモデルの生涯にわたって効率化、自動化、およびモニタリングを重視しています堅牢なMLOpsパイプラインを構築するには、異なる部門間の協力が求められます[…]

最高のAWSコース（2024年）

クラウドコンピューティングのスキルを向上させるための最高のAWSコースを見つけましょうアーキテクチャ、DevOps、およびキャリア構築のコースで基礎を学び、認定試験の準備をし、実践的な経験を積みましょう

Courses

空からのパイ：ドローンスタートアップがピザ、薬物、そして興奮をお届けします

ジップラインは、ただの空飛ぶドローンのスタートアップではありません。このサンフランシスコを拠点とする企業は、2011年の開始以来、7つの国で80万回以上の配送を完了しました。最近では、シアトルのパリャッチピザ、ビタミン・サプリメントの巨大企業であるGNC、およびIntermountain Health、OhioHealth、Michigan Medicineなどの大規模な医療システム向けにもサービスを追加しました。ジップラインは、NVIDIA JetsonエッジAIおよびロボティクスプラットフォームを使用して、自律的なナビゲーションと精密な着陸ができるドローンを開発しました。これらのドローンは現在までで5500万マイル以上を飛行しています。この急成長を遂げている企業は最近、43億ドル以上の評価額で3億3000万ドルの資金調達に成功しました。ジップラインは、技術的なサポートとAIプラットフォームのガイダンスを提供するプログラムであるNVIDIA Inceptionのメンバーです。ジェットソンパワードフリートでの配送同社のP1ドローン（プラットフォーム1）は、7年間の稼働を経て実稼働に移行しており、現在はJetson Xavier NXシステムオンモジュールを使用してセンサー入力を処理しています。GPS、航空交通管制の通信、慣性計測ユニットセンサー、および搭載された検出および回避システムによって誘導され、安全性のためにガイダンスの冗長性も持っています。ジップラインの固定翼ドローンは、55マイル以上を時速70マイルで飛行し、いくつかのジップラインの配送センターから配送を行い、その後戻ることができます。最大4ポンドの貨物を運ぶことができ、自律的に配送場所を飛び越え、パラシュートで目的地に向かってパッケージを降ろすことができます。 P2ドローン（プラットフォーム2）は、固定翼飛行で高速に飛行できるハイブリッドドローンであり、またホバリングも可能です。10マイルの距離で8ポンドの貨物を運び、細かな配置を完了するために、テザーで下げるドロイドを搭載しています。これは、密集した都市環境での使用を想定しています。 P2には2つのJetson Orin NXモジュールが使用されています。1つはドローンの環境を理解するためのセンサーフュージョンシステム用です。もう1つはテザーによって降下するドロイド内にあり、追加の安全性のための冗長性を提供します。ジップラインのP2ドロイドでは、最小かつ最も素早く、最も安全で最も静かなドローンを使って精密なデリバリーを実現することを目指しています。ジップラインは世界中で毎秒70回のデリバリーを行っています。多数の顧客に向けて飛び立つジップラインのサービスには顧客が惹かれる利点があります。同社によれば、そのドローンは車両の配送に比べて7倍速い配達時間を実現しています。「当社の航空機は時速70マイルで飛行しますので、交通渋滞や信号待ちの心配はありません。配送時間は数分です」とマーダールは語ります。「配達には一桁の分数の時間がかかりますので、確かに他の方法よりも速いです。」ピザ、ビタミン、薬の配送だけでなく、ジップラインはWalmart、レストランチェーンのSweetgreen、Michigan…

「現実の応用における一般線形モデルの自己相関問題の解決方法」

線形回帰分析における最大の問題の1つは自己相関のある残差ですこの文脈で、この記事では線形回帰分析を再考し、Cochrane-Orcutt手続きを解決策として詳しく取り上げます

『ジェネラティブAIの電力消費の定量化』

更新日：2023年12月11日—アナウンスメントにおいてAMDが予想する売上高の倍増を反映するため、アナウンスメントの付録に改訂された分析Generative AIにはグラフィックス処理ユニット（GPU）が必要であり、それらはたくさん必要とされます計算が…

「2024年を定義する7つのデータサイエンス＆AIのトレンド」

約1年前のこの時期に、私は2023年にAIで大きなトレンドになると思われることについての意見記事を投稿しましたその7つのアイデアのうち、私はすべて正しかったと思います生成的AIが流行りましたし、採用と解雇も乱れました...

2024

2023年に再訪するトップの生成AI GitHubリポジトリ

はじめに 2023年も終わりに近づき、人工知能の領域は忍び足で進化を続けています。最新の進歩について追いかけることは、動く標的を追うようなものです。幸いにも、GitHubの活気あるエコシステムの中には、貴重な情報源が数多く存在しています。ここでは、2024年を含む将来のAI学習のためのスプリングボードとなる、トップのAI GitHubリポジトリを紹介します。この厳選されたリストは完全ではありませんが、関連性、インパクト、および好奇心を刺激する潜在能力により、それぞれのリポジトリが評価されています。 Hugging Face / Transformers 117k スター | 23.3k フォークこのリポジトリは、自然言語処理（NLP）に興味のある人々にとって宝庫です。BERT、RoBERTa、T5などのさまざまな事前学習済みのTransformerベースのモデル、詳細なドキュメント、チュートリアル、そして活気あるコミュニティがホスティングされています。主な特徴幅広い事前学習済みモデル、包括的なドキュメント、活発なコミュニティサポート、多様なアプリケーションの可能性、他のライブラリとの簡単な統合。このGenerative AI GitHubリポジトリを探索するには、ここをクリックしてください。 Significant Gravitas / AutoGPT 155k スター…

「エッセンシャルAI、シリーズAラウンドで5650万ドル調達」

スタートアップ企業のEssential AIは、56.5百万ドルのシリーズAを調達し、エンタープライズブレインの構築を目指していますGoogleのベテランであるAshish VaswaniとNiki Parmarによって設立されたこのスタートアップは、人間と機械の間に架け橋を築くことを約束するAI製品のフルスタックに取り組んでいますYahoo!によると...

ギガGPTに会ってください：CerebrasのnanoGPTの実装、Andrei Karpathyの効率的なコードでGPT-3のサイズのAIモデルを訓練するためにわずか565行のコード

大規模なトランスフォーマーモデルのトレーニングには、特に数十億または数兆のパラメータを持つモデルを目指す場合、重要な課題があります。主な難関は、複数のGPUに効率的にワークロードを分散させながらメモリ制限を緩和することにあります。現在の状況では、Megatron、DeepSpeed、NeoX、Fairscale、Mosaic Foundryなど、複雑な大規模言語モデル（LLM）スケーリングフレームワークに依存しています。ただし、これらのフレームワークは、モデルのサイズが大きくなるにつれてかなりの複雑さを導入します。今回の研究では、CerebrasのgigaGPTを、この課題に対する画期的な解決策として紹介します。これにより、複雑な並列化技術の必要性を排除した代替手法を提供します。大規模なトランスフォーマーモデルのトレーニングには、MegatronやDeepSpeedなどのフレームワークのように、複数のGPU上での分散コンピューティングに依存している方法が主流です。ただし、数十億のパラメータを超えるモデルの場合、これらの方法ではメモリ制約に遭遇し、複雑な解決策が必要です。これに対して、CerebrasのgigaGPTはパラダイムシフトをもたらします。565行という非常にコンパクトなコードベースを備えたnanoGPTを実装しています。この実装は、追加のコードやサードパーティのフレームワークに依存することなく、1000億を超えるパラメータを持つモデルをトレーニングできます。gigaGPTはCerebrasのハードウェアの広範なメモリと計算能力を活用します。他のフレームワークとは異なり、余分な複雑さを導入せずにシームレスに動作し、簡潔で独自のコードベースとGPT-3のサイズのモデルのトレーニング能力を提供します。 gigaGPTは、基本的なGPT-2のアーキテクチャを実装しており、nanoGPTの原則に密接に沿っています。学習された位置の埋め込み、標準のアテンション、モデル全体にわたるバイアス、およびnanoGPTの構造に対する選択肢を採用しています。特筆すべきは、この実装が特定のモデルサイズに限定されないことです。gigaGPTは111M、13B、70B、および175Bパラメータを持つモデルのトレーニングでその柔軟性を検証しています。 OpenWebTextデータセットとnanoGPTのGPT-2トークナイザーと前処理コードを使用してテストを行います。gigaGPTのパフォーマンスは、専用の並列化技術を必要とせずに数百億のパラメータから数千億のパラメータまでスケーリングする能力によって強調されています。565行のコードがリポジトリ全体をカバーしており、その簡単な構造と効率性を示しています。実装の成功は、特定のモデル構成でもさらに示されます。たとえば、111M構成はCerebras-GPTと一致し、モデルの次元、学習率、バッチサイズ、トレーニングスケジュールが同じです。同様に、13B構成もサイズにおいて対応するCerebras-GPT構成に近く、70B構成はLlama-2 70Bからインスピレーションを受けています。70Bモデルは安定性とパフォーマンスを維持し、スケーラビリティを示しています。70Bモデルを検証した後、研究者たちはGPT-3の論文に基づいて175Bモデルを構成することで境界を em emました。初期の結果は、メモリの問題なく拡大スケールを処理できるモデルの能力を示しており、gigaGPTは1兆を超えるパラメータを持つモデルにもスケーリングできる可能性を示唆しています。結論として、gigaGPTは大規模なトランスフォーマーモデルのトレーニングの課題に対する画期的な解決策として浮かび上がっています。研究チームの実装は、簡潔で使いやすいコードベースを提供するだけでなく、GPT-3のサイズのモデルのトレーニングも可能にします。Cerebrasのハードウェアを利用した、広範なメモリと計算能力による利点は、大規模なAIモデルのトレーニングをよりアクセス可能、スケーラブル、効率的にする大きな進歩です。この革新的なアプローチは、巨大な言語モデルのトレーニングの複雑さに取り組もうとする機械学習の研究者や実践者にとって有望な道を開くものと言えます。 Introducing gigaGPT: our implementation of @karpathy’s nanoGPT that trains GPT-3 sized models in just…

アリゾナ州立大学のこのAI研究は、テキストから画像への非拡散先行法を改善するための画期的な対照的学習戦略「ECLIPSE」を明らかにした

拡散モデルは、テキストの提案を受け取ると、高品質な写真を生成するのに非常に成功しています。このテキストから画像へのパラダイム（T2I）の生成は、深度駆動の画像生成や主題/セグメンテーション識別など、さまざまな下流アプリケーションで成功裏に使用されています。2つの人気のあるテキスト条件付き拡散モデル、CLIPモデルと潜在的な拡散モデル（LDM）のような、しばしば安定拡散と呼ばれるモデルは、これらの進展に不可欠です。LDMは、オープンソースソフトウェアとして自由に利用可能なことで研究界で知られています。一方、unCLIPモデルにはあまり注目が集まっていません。両モデルの基本的な目標は、テキストの手がかりに応じて拡散モデルをトレーニングすることです。テキストから画像への優位性と拡散画像デコーダを持つunCLIPモデルとは異なり、LDMには単一のテキストから画像への拡散モデルがあります。両モデルファミリーは、画像のベクトル量子化潜在空間内で動作します。unCLIPモデルは、T2I-CompBenchやHRS-Benchmarkなどのいくつかの構成ベンチマークで他のSOTAモデルを上回ることが多いため、この記事ではそれに集中します。これらのT2Iモデルは通常多くのパラメータを持つため、トレーニングには優れた画像とテキストのペアリングが必要です。LDMと比較すると、DALL-E-2、Karlo、KandinskyなどのunCLIPモデルは、約10億のパラメータを持つ前のモジュールがあるため、合計モデルサイズが大幅に大きくなります（≥ 2B）。そのため、これらのunCLIPモデルのトレーニングデータは250M、115M、177Mの画像テキストのペアリングです。したがって、2つの重要な質問が残ります：1）テキスト構成のSOTAパフォーマンスは、テキストから画像への先行モデルを使用することで改善されるのでしょうか？2）それともモデルのサイズを増やすことが重要な要素なのでしょうか？パラメータとデータの効率性を向上させることで、研究チームはT2I先行モデルについての知識を向上させ、現在の形式に比べて重要な改善を提供することを目指しています。T2I先行モデルは、拡散プロセスの各タイムステップでノイズのない画像埋め込みを直接推定するための拡散モデルでもあり、これは以前の研究が示唆しているようです。研究チームは、この前期の普及プロセスを調査しました。図1は、SOTAテキストから画像へのモデル間の３つの構成タスク（色、形、テクスチャ）の平均パフォーマンスとパラメータの総数を比較しています。ECLIPSEは少量のトレーニングデータしか必要とせず、少ないパラメータでより優れた結果を出します。提示されたECLIPSEは、Kandinskyデコーダを使用して、わずか5百万の画像テキストペアリングのみを利用して約3300万のパラメータでT2I先行モデルをトレーニングします。研究チームは、拡散プロセスがわずかにパフォーマンスを低下させ、正しい画像の生成には影響を与えないことを発見しました。さらに、拡散モデルは収束が遅いため、トレーニングには大量のGPU時間または日数が必要です。そのため、非拡散モデルはこの研究では代替手段として機能します。分類子のガイダンスがないため、この手法は構成の可能性を制限するかもしれませんが、パラメータの効率性を大幅に向上させ、データの依存性を軽減します。本研究では、Arizona State Universityの研究チームは、上記の制約を克服し、T2Iの非拡散先行モデルを強化するためのユニークな対照的学習技術であるECLIPSEを紹介しています。研究チームは、提供されたテキスト埋め込みから画像埋め込みを生成する従来のアプローチを最適化することにより、Evidence Lower Bound（ELBO）を最大化しました。研究チームは、事前学習されたビジョン言語モデルの意味的整合性（テキストと画像の間）機能を使用して、以前のトレーニングを監視しました。研究チームは、ECLIPSEを使用して、画像テキストのペアリングのわずかな断片（0.34%〜8.69%）を使用して、コンパクトな（97%小さい）非拡散先行モデル（3300万のパラメータを持つ）をトレーニングしました。研究チームは、ECLIPSEトレーニングされた先行モデルをunCLIP拡散画像デコーダバリエーション（KarloとKandinsky）に導入しました。ECLIPSEトレーニングされた先行モデルは、10億のパラメータを持つバージョンを上回り、ベースラインの先行学習アルゴリズムを上回ります。研究結果は、パラメータやデータを必要とせずに構成を改善するT2I生成モデルへの可能な道を示唆しています。図1に示すように、彼らの総合パラメータとデータの必要性は大幅に減少し、T2Iの増加により類似のパラメータモデルに対してSOTAのパフォーマンスを達成します。貢献。1）unCLIPフレームワークでは、研究チームがテキストから画像への事前の対照的な学習に初めてECLIPSEを提供しています。 2）研究チームは包括的な実験を通じて、資源制約のある文脈でのECLIPSEの基準事前に対する優位性を証明しました。 3）注目すべきは、ECLIPSE事前のパフォーマンスを大きなモデルと同等にするために、トレーニングデータのわずか2.8％とモデルパラメータのわずか3.3％しか必要としないことです。 4）また、研究チームは現在のT2I拡散事前の欠点を検討し、経験的な観察結果を提供しています。

Learn more about Search Results 11 - Page 10