Search Results Adam

Deep Learningモデルのトレーニングをスーパーチャージ

90%に到達すると精度が初めのほうでは簡単に向上しますが、それ以上の改善を得るためには非常に力を入れなければならないという状況に遭遇したことがありますか？あなたの...

「LeNetのマスタリング：アーキテクチャの洞察と実践的な実装」

はじめに LeNet-5は、1990年代にYann LeCunと彼のチームによって開発された画期的な畳み込みニューラルネットワーク（CNN）であり、コンピュータビジョンとディープラーニングにおいて画期的な存在となりました。この画期的なアーキテクチャは、手書きおよび機械印刷の文字認識を革新するために明示的に作成されました。従来の手法とは異なり、LeNet-5は手動の特徴量エンジニアリングの必要性を排除し、畳み込み層、サンプリング、完全接続層を介してピクセル画像を直接処理する革新的なアプローチを導入しました。その成功は文字認識を超え、現代のディープラーニングモデルの基盤として機能し、コンピュータビジョン、物体認識、画像分類の後続のアーキテクチャに影響を与えました。 Yann LeCunがバックプロパゲーションアルゴリズムを実用的な問題に適用したことがLeNet-5の基礎を築き、米国郵便公社が提供する郵便番号の識別において優れた成果を上げました。その後のバージョンや応用では、1日に何百万枚もの小切手を読み取る能力などが開発され、研究者の間での関心が高まり、ニューラルネットワークの風景を形作り、ディープラーニングの進化を刺激しました。 LeNet-5の成功とその後の応用、例えば1日に何百万枚もの小切手を読み取れるシステムなどは、研究者たちの間でニューラルネットワークへの普及に火をつけました。現在のトップパフォーマンスのニューラルネットワークアーキテクチャはLeNet-5を超えて進化していますが、その画期的な設計と成果は数多くの後続モデルの基盤となり、ディープラーニングの形成と進化の象徴となっています。LeNet-5はイノベーションの証しであり、機械学習と画像認識の進化の持続的なシンボルとなっています。学習目標 LeNet-5の深層学習とコンピュータビジョンの進化における歴史的な意義と影響を探求する。現代のニューラルネットワークアーキテクチャとLeNet-5を比較し、現在の深層学習モデルへの基本的な影響を調査する。畳み込み層、サンプリング、完全接続層を含むLeNet-5のアーキテクチャを理解する。 LeNet-5の画像認識タスクにおける効果を示す実践的な応用と事例を分析する。この記事はData Science Blogathonの一環として公開されました。 LeNetの理解 LeNet、またはLeNet-5は、1990年代にYann LeCunと彼のチームによって開発された画期的な畳み込みニューラルネットワーク（CNN）アーキテクチャであり、手書きおよび機械印刷の文字認識タスクに特化して設計されました。LeNet-5の重要性は、階層的な特徴学習の成功したデモンストレーションと文字認識における効果にあります。その影響は元の目的を超えており、現代のディープラーニングモデルの開発に影響を与え、コンピュータビジョン、画像認識、さまざまな機械学習アプリケーションの後続の進歩に基盤として機能しています。 LeNetのアーキテクチャ LeNet-5は、文字認識タスクにおいて使用される特定のアーキテクチャを持つ畳み込みニューラルネットワーク（CNN）です。入力層を除いた複数の層から構成され、学習可能なパラメータを持っています。特に32×32ピクセルの画像を処理し、そのデータベースの文字よりも大きな領域に重点を置いた、特徴的な特徴の抽出に焦点を当てています。入力ピクセル値は、学習効率を向上させるために正規化されます。 LeNetのアーキテクチャは、畳み込み層、サンプリング層、完全接続層を特定の接続パターンで組み合わせたものです。入力ピクセルの正規化とデータから特徴的な特徴を抽出するための一連の層を使用します。さらに、活性化関数の飽和を防ぐためのユニークな戦略を実装し、効率的なトレーニングのための特定の損失関数を使用します。飽和を防ぐユニークな戦略入力層: LeNetは32×32ピクセルの画像を処理し、データベースの文字よりも大きく、画像の中心に潜在的な特徴を捉えることを目指しています。畳み込みおよびサブサンプリング層:…

大型言語モデル、StructBERT ー言語構造を事前学習に組み込む

初めて登場して以降、BERTは感情分析、テキストの類似度、質問応答など、さまざまなNLPタスクで驚異的な結果を示してきましたそれ以来、研究者たちは有名になりました...

アルトマンが帰ってきた：OpenAIのCEOがボードルームの騒動に打ち勝つ

驚くべき展開となって、OpenAIの元CEOであるSam Altmanが、会社を揺るがす乱闘が起きた直後に、その地位を取り戻そうとしている。混乱は金曜日にAltmanが追放されたが、物語に予想外の展開が起きた。取締役会の混乱におけるAltmanの復活 OpenAIの混乱は、元CEOであるSam Altmanが交渉を成功させ、復帰を確保したことで劇的な展開を見せた。内部の不和に苦しむ同社は、Altmanのカムバックのための「原則合意」を明らかにした。新しい取締役会の構成がガバナンスのリセットを示す初期合意の一環として、Bret Taylor、Larry Summers、Adam D’Angeloから成る新しい取締役会が提案された。この臨時の取締役会の主な任務は、最大9人のメンバーからなる形式的な取締役会を審査し任命することである。これにより、OpenAIのガバナンス構造をリセットすることを目指している。リシェイプされたOpenAIにおけるマイクロソフトの役割マイクロソフトが拡大した取締役会に席を確保する可能性から、Altmanの復帰は2つの組織の戦略的パートナーシップを示唆している。AltmanとマイクロソフトのCEOであるSatya Nadellaを含むリシェイプされたリーダーシップは、OpenAIにとって重要な瞬間を強調している。公式発表にもかかわらず、「原則合意」に関する詳細は不明のままである。OpenAIは、その契約条件についての追加コメントを提供しなかったため、Altmanの復帰の複雑さに関する推測の余地が残されている。従業員の反乱と取締役会の脆弱性 Altmanの追放中の前例のない従業員の反乱は、内部の不安を示した。Altmanの解任の明確な説明の不足は、取締役会のメンバーを脆弱にし、重要なメンバーであるIlya SutskeverがAltmanに同調する結果となった。我々の見解この驚くべき企業のサガが終息するにつれて、OpenAIはその旅路において重要な節目に立たされている。Altmanの復帰は期待と不確実性をもたらし、この予想外の展開につながった会社の将来の方向性やダイナミクスについての疑問を呼び起こしている。

「Amazon SageMakerを使用してビジョントランスフォーマーモデルのトレーニング時間を短縮するKTの取り組み」

KTコーポレーションは、韓国で最大の通信事業者の一つであり、固定電話、携帯通信、インターネット、AIサービスなど幅広いサービスを提供していますKTのAI Food Tagは、コンピュータビジョンモデルを使用して、写真に写った食品の種類と栄養成分を特定するAIベースの食事管理ソリューションです

「リアルタイムの高度な物体認識を備えたLego Technicソーターの構築」

「Nullspace Roboticsでのインターンシップ中、私は会社の能力を高めるプロジェクトに取り組む機会を得ました物体検出と機械学習画像を統合しました…」

MITの研究者たちは「MechGPT」を導入しました：メカニクスと材料モデリングにおいてスケール、学問領域、およびモダリティをつなぐ言語ベースのパイオニア

研究者たちは、物質科学の広範な領域において密度の濃い科学的な文書から重要な洞察を効率的に抽出するという困難な課題に直面しています。この複雑な作業には、複雑なコンテンツをナビゲートし、物質の核心を網羅した意味のある質問・回答ペアを生成することが含まれます。その複雑さは、科学的な文書の密なフabricから重要な情報を抽出するという大きな課題にあります。このため、研究者は物質の本質を捉えた意味のある質問・回答ペアを作り出す必要があります。この領域内の現在の手法では、情報抽出に汎用言語モデルを活用することが一般的です。しかし、これらの手法はテキストの洗練化や方程式を正確に組み込む際に支援が必要です。これに対応するため、MITの研究者チームは、事前学習済み言語モデルに基づく画期的なモデルであるMechGPTを紹介しました。この革新的な手法では、一般的な言語モデルを利用して鋭い質問・回答ペアを形成するための2段階のプロセスを採用しています。MechGPTは単なる抽出以上に、鍵となる事実の明確さを向上させます。 MechGPTの旅は、Hugging Faceエコシステム内のPyTorchで実施される慎重なトレーニングプロセスで始まります。Llama 2 transformerアーキテクチャに基づき、このモデルは40のトランスフォーマーレイヤーを誇り、ロータリー位置埋め込みを活用して拡張されたコンテキストの長さを容易にします。32ビットのページ化されたAdamWオプティマイザーを用いて、トレーニングプロセスは約0.05の優れた損失を達成します。研究者たちは、モデルの能力を向上させるために微調整中にLow-Rank Adaptation (LoRA) を導入しています。これにより、追加のトレーニング可能なレイヤーを統合しながら、元の事前学習済みモデルを凍結させることで、モデルが初期の知識ベースを消去するのを防ぎます。その結果、メモリの効率化とトレーニングのスループットの加速が実現します。 MechGPTの基本モデルに加えて、研究者はより大規模な2つのモデル、MechGPT-70bとMechGPT-70b-XLのトレーニングにも取り組んでいます。前者はMeta/Llama 2 70 chatモデルの微調整バージョンであり、後者は10,000トークンを超える大きなコンテキストのために動的にスケーリングされたRoPEを組み込んでいます。 MechGPT内のサンプリングは、因果関係マスキングを実装した自己回帰原則に従って行われます。これにより、モデルは次の要素を考慮せずに各要素を予測するため、将来の単語を考慮しないように制約されます。この実装では、モデルの焦点を調整するために温度スケーリングが導入され、不確実性の温度の概念が導入されます。まとめると、MechGPTは物質科学の科学的な文書から知識を抽出するという困難な領域での希望の光として浮かび上がっています。LoRAや4ビットの量子化などの革新的な技術によって豊かになったモデルのトレーニングプロセスは、従来の言語モデルを超えた応用の可能性を示しています。Google Scholarへのアクセスを提供するチャットインタフェースにおけるMechGPTの具体的な具現化は、将来の拡張に向けた橋渡しとなります。この研究は、材料科学における貴重な財産としてMechGPTを紹介し、専門領域内の言語モデルの限界を押し広げる先駆者と位置付けています。研究チームがさらに前進する中、MechGPTは言語モデルのダイナミックな進化の証として、知識抽出の新たなフロンティアを開拓しています。

サム・アルトマン氏がOpenAIから解任され、ミラ・ムラティ氏が暫定CEOに任命されました

OpenAI Inc.において重要な舵取りの変化があり、Sam AltmanがCEOを辞任すると発表されました取締役会は、同社の最高技術責任者であるMira Muratiがただちに代行CEOとして引き継ぐことを確認しましたこの変更は、OpenAIにとって転機となる瞬間であり、同社は業界のリーディングカンパニーとしての地位を確立しています

OpenAI

広州からロサンゼルスまで、自動車メーカーはAI技術を搭載した車両で驚きと感動を与えています

車好きには朗報です：現在から来週まで開催される2つの著名な自動車ショーが、AIによってパワードされた次世代の自動車デザインの展示で参加者を喜ばせています。世界中の何十万人もの自動車愛好家が、花の都として知られる中国の広州を訪れることが予想されます。その自動車ショーは、11月26日（日曜日）まで開催されます。このイベントでは、電気自動車（EV）や自動運転の新しい発展が紹介され、1100台の車両が展示されます。そして世界中で、天使の都であるロサンゼルスでは、今回のショーが史上最多の参加者数に達することが予想されています。11月26日まで開催されるこの展示会では、私設のコレクションからのクラシックでエキゾチックな車両のほか、最新のEVに試乗できる一般公開テストトラックも備えています。オートグアンジョウ Human Horizons、NEO、ZEEKR 最も期待されているのは、9月に発売された新しいフルエレクトリック車のEmeya Hyper-GTを披露するLotusです。この見事な高級車はスポーツカーの機動性を備え、デュアルのNVIDIA DRIVE Orinプロセッサによってパワードされた印象的な一連のインテリジェントな機能を実現しています。高性能な処理能力により、ドライバーは安全で確実な運転能力を楽しむことができ、オーバーザエア（OTA）のアップデートを通じて将来の機能もサポートします。安全性を重視して、Emeyaには最新の34個の周囲センサーが搭載され、多様かつ冗長なセンサーデータ処理をリアルタイムで行います。これにより、運転者はハンドルを握る際により一層の自信を持つことができます。Emeyaはバック側にDRIVE Orinが埋め込まれており、高度な運転支援システム（ADAS）の機能を提供し、自律走行の未来をサポートするヘッドルームも提供します。 Emeya Hyper-GTは、Lotusの革新的なElectric Premium Architecture上に構築されており、同じくNVIDIA DRIVE OrinによってパワードされるEletre Hyper-SUVもサポートしています。さらに、Lotusはエヴィヤハイパーカー、Eletre Hyper-SUV、最近発売された電動自転車であるタイプ136など、Lotusの電動車全体のラインアップも披露しています。また、エミラというLotusの最後の内燃機関車両も展示されています。 NVIDIA DRIVEエコシステムの他のメンバーも、オートグアンジョウで次世代のEVを特集しています： DENZAは、BYDとメルセデス・ベンツの合弁企業である、N7モデルラインアップのインテリジェントドライビング機能を強調しています。すべてのN7モデルにはNVIDIA…

NLP、NN、時系列：Google Trendsのデータを使用して石油価格を予測することは可能ですか？

最初にWord2Vecを使用し、次にGoogleトレンドからGoogle検索の頻度をスクレイピングし、その後、時系列（フーリエ分解を経て）とKerasを使用したニューラルネットワークで予測を試みます...

Learn more about Search Results Adam - Page 3