Search Results A

「OpenAI API Dev Dayアップグレードは驚くべきものです：DALL-E 3、GPT-4 Vision、およびGPT-4 Turboのアクションをご覧ください」

OpenAIはAIの可能性を追求し続けています彼らは私たちが知っている最も能力のある大規模言語モデル、GPT-4を所有していますそして、それを使いこなしています！初めてのOpenAIデベロッパーデイの間に、彼らは...

「Googleの ‘隠された’ 生成型AI画像作成ツールにアクセスする方法」

GoogleのジェネレーティブAI画像作成機能を検索で利用する方法無料で実験バージョンにアクセスするには、ChatGPT DALLEを使います

「グーグルディープマインドが発表したこのAI論文は、事前学習データの構成と予め訓練された変形器のコンテキスト学習との間のギャップを研究しています」

Google DeepMindの研究者は、大規模な言語モデルであるtransformerのin-context learning (ICL)の能力を探求しました。ただし、彼らの研究はドメイン外のタスクに取り組む必要があり、事前学習の分布を超えた機能の一般化に制約が存在することを明らかにしました。その結果、高容量のシーケンスモデルの印象的なICLの能力は、基本的な一般化に対する組み込みの帰納バイアスよりも事前学習データのカバレッジにより依存していることが示唆されています。この研究は、transformerモデルがICLを使用してfew-shot learningを行う能力を調査しています。事前学習データがモデルのパフォーマンスに及ぼす影響を強調しています。本研究では、transformerが事前学習データに適切にタスクファミリーをカバーしている場合、非監視モデル選択で優れたパフォーマンスを発揮することが示されています。ただし、ドメイン外のタスクに取り組む際には制約や一般化の低下が見られます。結果として、関数クラスの混合で訓練されたモデルは、単一のクラスで訓練されたモデルとほぼ同等のパフォーマンスを示すことが明らかになりました。本研究には、各種の事前学習データ構成におけるモデルのパフォーマンスを示すICL学習曲線も含まれています。この研究は、transformerモデルのICLの能力について掘り下げ、事前学習分布内外のタスクの学習能力に優れていることを強調しています。Transformerは高次元かつ非線形な関数の扱いにおいて優れたfew-shot learningを示します。本研究では、事前学習データがこれらの能力に与える影響を制御された設定で理解することを目的としています。それにより、データソースの構築の影響を把握し、事前学習およびドメイン外の一般化を調査します。パフォーマンス評価には、訓練時には見られなかったタスクや訓練済み関数の極端なバリエーションなども含まれます。制御された研究では、自然言語ではなく(x, f(x))のペアで訓練されたtransformerモデルを使用し、事前学習データがfew-shot learningに与える影響を詳しく調べています。異なる事前学習データの構成を持つモデルを比較することで、研究はさまざまな評価関数に対するモデルのパフォーマンスを評価しています。関数クラスファミリー間のモデル選択とドメイン外の一般化を探求することで、ICL曲線を取り入れ、さまざまな事前学習データ構成での平均二乗誤差を示しています。事前学習分布内外のタスクについての評価では、失敗モードや一般化の低下の経験的証拠が明らかになります。 Transformerモデルは、事前学習データのバリエーションのあるタスクファミリーからほぼ最適な非監視モデル選択を示します。ただし、事前学習データの範囲外のタスクに直面すると、さまざまな失敗モードや一般化の低下が現れます。異なる事前学習データ構成に基づいてモデルを比較すると、関数クラスにのみ事前学習されたモデルとほぼ同等のパフォーマンスを発揮することが明らかになります。この研究では、スパースモデルと密なモデルの間の違いによって正規化された平均二乗誤差の平方差メトリックを導入し、基本的な一般化能力における事前学習データのカバレッジの重要性を強調しています。結論として、事前学習データの構成は、特に自然言語の設定において、transformerモデルの正確なモデル選択において重要な役割を果たします。これらのモデルは明示的なトレーニングなしで新しいタスクを学習できますが、事前学習データを超える充電の扱いには助けが必要となる場合があり、異なる失敗モードや一般化の低下が生じます。したがって、ICLの理解と実現により、これらのモデルの総合的な効果を向上させることが重要です。

MITの研究者たちは、SmartEMというAI技術を開発しましたこの技術は、リアルタイムの機械学習を画像処理にシームレスに統合することで、電子顕微鏡を次のレベルに進化させます

動物の脳の複雑なネットワークを理解することは、特にアルツハイマーのような疾患を研究する際に、科学者にとって大きな課題となっています。従来の方法ではもっと早く、安価に行うことができるかもしれません。 SmartEMの前に、科学者は通常の顕微鏡を使用していましたが、脳の詳細を捉えるのに時間がかかりました。MITとハーバードの研究者が開発したSmartEMは、強力な電子顕微鏡と人工知能（AI）を組み合わせています。SmartEMは撮影しながら脳に関する知識を学びます。シナプスやニューロンなどの脳の微細部分を素早く調べ、理解するのに助けるアシスタントのような役割を果たします。 SmartEMは単なるカメラではありません。物事を見るときと同様に、私たちの目が重要なものに焦点を当てるように、賢明に操作されます。研究者たちは、顕微鏡に特別なコンピュータチップ（GPU）を追加しました。これにより、AIがどこに注目するかを決定することができます。これにより、顕微鏡は困難な領域により多くの時間を費やすことができます。顔を見たり本を読んだりするときに、私たちの目が重要な詳細に焦点を当てるのと同様です。 SmartEMの機能を示すために、SmartEMはタコの脳のスライスで作業しました。これらの薄いスライスの画像を撮影し、詳細な3Dマップに再構築しました。このマップは、さまざまな脳の部分がどのようにつながっているかを科学者に理解させます。大勢の友人のつながりを理解するのと同様です。SmartEMを使用すれば、通常の方法では2週間かかるタスクは、わずか1.5日で行うことができます。 SmartEMを開発したチームは、脳の研究をより迅速かつ費用対効果の高いものにすることを目指しています。彼らは、将来的には異なる場所からのより多くの科学者が巨大な予算を必要とせずに脳研究に参加できることを望んでいます。また、SmartEMを使用して患者の脳の詳細を調べることで、疾患の研究にも活用したいと考えています。その目標は、より効率的な病理学研究のために脳の中で何が起こっているかを迅速に理解することです。まとめると、SmartEMは電子顕微鏡と人工知能を組み合わせた強力なツールであり、より効率的に私たちの脳の謎を探求する科学者を支援します。SmartEMの協力を得て、研究者たちは脳の働きの秘密を解き明かし、それらに影響を及ぼす疾患に対処する方法を見つけることを望んでいます。

このAI論文は、’リラックス：エンドツーエンドの動的機械学習ワークロードの最適化のためのコンパイラの抽象化’を紹介しています

動的な形状を持つ機械学習モデルの最適化は、より優れたパフォーマンスと柔軟性を実現するために重要です。動的な形状とは、モデルがランタイム中に異なる寸法の入力データを処理できる能力を指します。TensorFlowのイーガー実行やPyTorchなど、動的計算グラフをサポートするフレームワークを利用するユーザーは、ランタイム中に可変の入力サイズに適応できるモデルを構築することができます。動的な形状を持つ機械学習モデルを最適化する際には、多くの課題があります。多くの従来の最適化は静的な形状解析に依存しており、動的次元から欠落した情報は、演算子や関数間で実行できる最適化に大きな影響を与える可能性があります。動的な形状を持つモデルでは、異なるバッチサイズを処理する必要があります。異なるバッチサイズに最適化することは、特に本番環境では固定バッチサイズに最適化するよりも難しい場合があります。現在の機械学習（ML）コンパイラは通常、従来のシングルショットの下方向流にプログラムを低レベルの表現に変換し、一つの最適化を適用した後に他の最適化を適用します。このアプローチでは、抽象化レイヤ間で形状と追加情報を失い、境界を越えた増分最適化を行うことが困難になります。研究者たちは、「Relax」を提案しています。これは、エンドツーエンドの動的な機械学習ワークロードを最適化するためのコンパイラ抽象化です。グローバルにプログラム全体で動的な形状計算を追跡するための一級の記号的な形状アノテーションを持ちます。さらに、計算グラフ、ループレベルのテンソルプログラム、およびライブラリ呼び出しを一つの表現にカプセル化するクロスレベルの抽象化を持ちます。これは、動的な形状のモデルを最適化するためのエンドツーエンドのコンパイルフレームワークです。研究者たちは、入力コンポーネントに基づいて式のアノテーションを推論する順方向の推論手法を採用しています。順方向の推論はシンプルでローカルであり、コンパイラのパスにおいて一時変数のアノテーションを取得することができます。また、形状を自動的に推論できない場合、順方向の推論はユーザーが挿入したマッチキャストの結果を使用して後続のアノテーションの推論を続けることができます。研究者たちは、Relaxで行われるすべての最適化は、組み合わせ可能な動的な形状に敏感な変換として行われます。これにより、さまざまなアプローチを使用して計算の一部を増分的に最適化または部分的に低下させることができます。それは他のレベルの解析を考慮し、動的な形状関係を仮定したさらなる最適化を組み込みます。実験結果は、Relaxが多様なハードウェアバックエンドに新たなLLM（生ライブラリモデル）をコンパイルして最適化し、重要な最適化済みのプラットフォーム固有のソリューションに競争力のあるパフォーマンスを提供していることを示しています。さらに、Relaxはモバイル電話、組み込みデバイス、Webブラウザを介してWebAssemblyやWebGPUを使用した幅広いデバイスと環境でLLMをサポートしています。

コーネル大学がChatGPTの中核に巨大な脅威を発見

「埋め込みは、我々が今日知っているあらゆる最先端のモデルの中核に位置していますVec2Textは、埋め込みを単語に戻すことで、AIに関する大きなプライバシーの懸念を引き起こしています」

ODSC West 2023の基調講演：責任ある生成AIの構築と利用：マイクロソフトの旅

過去2年間は、ジェネラティブAIが多くの産業を革新し、複雑な問題を解決する可能性を明確に示しています潜在的な恩恵が大きい一方で、この技術の開発と使用が責任を持って行われることが重要ですODSC Westでの基調講演で、Sarah Bird氏は、グローバルリード...

「エンタープライズAIの堀はRAG +ファインチューニングです- これが理由です」

LLM（リライト・マニュピュレイション・リモデル）に対する話題は前例のないものですが、それには理由がありますAIによるバレンシアガで身を包んだポープのイメージや、鼓動のないカスタマーサポートエージェントなど、生成AIには…

Google AIは、『AltUp（Alternating Updates）』というアートフィシャルインテリジェンスの手法を導入しましたこれは、トランスフォーマーネットワークのスケールの拡大を利用するための手法であり、計算コストを増やさずに行われます

ディープラーニングにおいて、トランスフォーマーニューラルネットワークは、自然言語処理やコンピュータビジョン、ロボティクス、自動運転などの新興アプリケーションを含め、さまざまなドメインでの有効性に対して注目を集めています。ただし、パフォーマンスの向上に伴い、これらのモデルの規模がますます拡大することで、計算コストと推論遅延が大幅に増加します。大規模なモデルの利点を享受する際に、実用上の計算負荷をもたらさないような困難が存在します。特にトランスフォーマーモデルを含むディープラーニングモデルの現在の状況は、さまざまな領域で著しい進歩を示しています。ただし、増加した計算要件により、これらのモデルのスケーラビリティを向上させる必要がある場合があります。従来の取り組みは、Switch Transformer、Expert Choice、V-MoEなど、スパース混合専門家モデルによって示されるように、ネットワークパラメータの効率的なスケーリングや入力あたりの計算の増加を軽減することに主に焦点を当ててきました。ただし、トークン表現の次元自体のスケーリングに関する研究上の課題が存在します。ここで、この課題を解決するために導入された新しい方法であるAltUpが登場します。 AltUpは、計算のオーバーヘッドを増やさずにトークン表現を拡張する方法を提供することで際立っています。この方法では、拡張された表現ベクトルを等しいサイズのブロックに分割し、各層で1つのブロックのみを処理します。AltUpの有効性の核心は、処理されていないブロックの推論を可能にする予測-訂正メカニズムにあります。直接的な拡張に伴う計算量の二次的な増加を回避することで、モデルの次元を維持しながら、AltUpは、より大きなTransformerネットワークによってもたらされる計算上の課題に対する有望な解決策として浮上しています。 AltUpのメカニズムは、トークン埋め込みの複雑さに深く入り込み、計算の複雑さを増やさずにトークン表現を拡張する方法を検討しています。この方法は以下の手順で行われます: ブロックの1x幅トランスフォーマーレイヤーを呼び出します。「アクティブ」ブロックと呼ばれます。同時に軽量な予測子を使用します。この予測子は、すべての入力ブロックの重み付き組み合わせを計算し、予測値と活性化されたブロックの計算値は、軽量な修正子を介して修正されます。この修正メカニズムにより、非活性なブロックは活性化されたブロックに基づいて更新されます。重要なのは、予測と修正のステップの両方が、通常のトランスフォーマーレイヤーよりもはるかに高速なベクトルの加算と乗算を必要としないということです。 T5モデルに対するAltUpの評価は、同じ精度で密なモデルを上回る一貫した能力を示しています。特に、AltUpで拡張されたT5ラージモデルは、GLUE、SuperGLUE、SQuAD、Trivia-QAの各ベンチマークで、それぞれ27%、39%、87%、29%の著しいスピードアップを実現しています。AltUpの相対的な性能向上は、モデルのサイズが大きくなるにつれてより顕著になり、スケーラビリティと向上した効果を強調しています。 AltUpは、Transformerニューラルネットワークの効率的なスケーリングアップの長年の課題に対する注目すべき解決策として浮上しています。計算コストの比例的な増加を伴わずにトークン表現を拡張する能力は、さまざまなアプリケーションにおいて重要な約束を持っています。AltUpの革新的なアプローチは、分割と予測-訂正メカニズムを特徴とし、大きなモデルの利点を活用するための現実的な方法を提供します。計算要求に適しています。研究者たちによるAltUpの拡張であるRecycled-AltUpは、提案された手法の適応性をさらに示しています。初期トークンの埋め込みを広げる代わりに、再現埋め込みによってRecycled-AltUpは、認識可能な遅延を引き起こすことなく、事前学習パフォーマンスの厳格な改善を示しています。AltUpとMoEのような他のテクニックとのシームレスな統合を伴うこの二重アプローチは、その多様性を具現化し、トレーニングとモデルのパフォーマンスのダイナミクスを探求するための将来的な研究の可能性を開いています。 AltUpは、Transformerネットワークの効率的なスケーリングの追求における画期的なものであり、モデルのサイズと計算効率のトレードオフに対する魅力的な解決策を提供しています。この論文で述べられているように、研究チームの貢献は、大規模なTransformerモデルをさまざまな応用によりアクセス可能で実用的なものにするための重要な一歩です。

このAI研究では、LSS Transformerを発表しましたこれは、Transformerにおける効率的な長いシーケンスの学習を革新的なAIアプローチで実現します

新しいAI研究では、Long Short-Sequence Transformer (LSS Transformer)という効率的な分散学習手法が紹介されました。この手法は、長いシーケンスをGPU間でセグメント化し、各GPUが部分的なセルフアテンション計算を処理します。 LSS Transformerは統合通信とユニークなダブル勾配平均技術を採用し、伝送オーバーヘッドを最小限に抑え、驚異的な高速化とメモリ削減を実現し、他のシーケンス並列手法を凌駕しています。Wikipedia enwik8データセットでの性能評価では、LSS Transformerは複数のGPUでより高速な学習と改善されたメモリ効率を実現し、Nvidiaのシーケンス並列処理を上回りました。セルフアテンションメカニズムで知られるトランスフォーマーは、自然言語処理や画像処理で使用される強力なニューラルネットワークアーキテクチャです。より長いシーケンスでトランスフォーマーを訓練することは、文脈情報の把握と予測精度を高める一方で、メモリと計算量の要求を増加させます。この課題に対応するために、階層的な訓練、アテンションの近似、および分散シーケンス並列処理など、さまざまなアプローチが試されています。 LSS Transformerは、Wikipedia enwik8データセットで144台のNvidia V100 GPUを使用して、従来のシーケンス並列処理を超える、学習速度を5.6倍向上させ、メモリ効率を10.2倍向上させました。さらに、3,456台のGPUで極端なシーケンス長（50,112）を処理し、161%の超線形並列効率と32ペタフロップの高いスループットを達成しました。LSS Transformerは、他のシーケンス並列手法と比較して、大規模なモデル実験（108台のGPUを使用）で高いスケーリング効率とベースライン並列処理との比較における小さなメモリフットプリントを維持しました。LSS Transformerは、144ノードでの50,112のシーケンス長に対して8ペタフロップの計算スループットを提供し、速度とスケーラビリティの面でベースラインのシーケンス並列処理を凌駕しました。 LSS Transformerは、長いシーケンスでトランスフォーマーモデルを訓練する課題に対する画期的な解決策を提供し、通信オーバーヘッドを最小限に抑えながら、驚異的な高速化とメモリ効率を実現する分散学習手法です。この手法はシーケンスをGPU間でセグメント化し、統合通信とダブル勾配平均を利用します。LSS Transformerの超長シーケンストレーニングを促進する能力は、DNAシーケンス解析、長文要約、および画像処理など、多くのトークンの依存性を必要とするアプリケーションにとって貴重なアセットとなります。この研究にはいくつかの制約があります。まず、Nvidiaのシーケンス並列処理に焦点を当て、長いシーケンストレーニングの既存の方法と比較する必要があります。次に、LSS Transformerによって実現される精度と効率のトレードオフを詳しく調査する必要があります。さらに、潜在的な実世界の実装上の課題に対処する必要があります。また、LSS Transformerの性能に対するハイパーパラメータやアーキテクチャの変更の影響を探ることはありません。最後に、計算とメモリ使用の削減に対する近似ベースのアプローチとの包括的な比較がありません。 LSS…

Learn more about Search Results A - Page 91