Learn more about Search Results 17 - Page 7

就職を助けることができる5つの珍しいデータサイエンスのスキル

この記事は、雇用されるのに役立つあまり一般的ではないデータサイエンスのスキルについてのものですこれらのスキルは技術的な仕事ほど一般的ではありませんが、間違いなく開発する価値があります

ギガGPTに会ってください：CerebrasのnanoGPTの実装、Andrei Karpathyの効率的なコードでGPT-3のサイズのAIモデルを訓練するためにわずか565行のコード

大規模なトランスフォーマーモデルのトレーニングには、特に数十億または数兆のパラメータを持つモデルを目指す場合、重要な課題があります。主な難関は、複数のGPUに効率的にワークロードを分散させながらメモリ制限を緩和することにあります。現在の状況では、Megatron、DeepSpeed、NeoX、Fairscale、Mosaic Foundryなど、複雑な大規模言語モデル（LLM）スケーリングフレームワークに依存しています。ただし、これらのフレームワークは、モデルのサイズが大きくなるにつれてかなりの複雑さを導入します。今回の研究では、CerebrasのgigaGPTを、この課題に対する画期的な解決策として紹介します。これにより、複雑な並列化技術の必要性を排除した代替手法を提供します。 大規模なトランスフォーマーモデルのトレーニングには、MegatronやDeepSpeedなどのフレームワークのように、複数のGPU上での分散コンピューティングに依存している方法が主流です。ただし、数十億のパラメータを超えるモデルの場合、これらの方法ではメモリ制約に遭遇し、複雑な解決策が必要です。これに対して、CerebrasのgigaGPTはパラダイムシフトをもたらします。565行という非常にコンパクトなコードベースを備えたnanoGPTを実装しています。この実装は、追加のコードやサードパーティのフレームワークに依存することなく、1000億を超えるパラメータを持つモデルをトレーニングできます。gigaGPTはCerebrasのハードウェアの広範なメモリと計算能力を活用します。他のフレームワークとは異なり、余分な複雑さを導入せずにシームレスに動作し、簡潔で独自のコードベースとGPT-3のサイズのモデルのトレーニング能力を提供します。 gigaGPTは、基本的なGPT-2のアーキテクチャを実装しており、nanoGPTの原則に密接に沿っています。学習された位置の埋め込み、標準のアテンション、モデル全体にわたるバイアス、およびnanoGPTの構造に対する選択肢を採用しています。特筆すべきは、この実装が特定のモデルサイズに限定されないことです。gigaGPTは111M、13B、70B、および175Bパラメータを持つモデルのトレーニングでその柔軟性を検証しています。 OpenWebTextデータセットとnanoGPTのGPT-2トークナイザーと前処理コードを使用してテストを行います。gigaGPTのパフォーマンスは、専用の並列化技術を必要とせずに数百億のパラメータから数千億のパラメータまでスケーリングする能力によって強調されています。565行のコードがリポジトリ全体をカバーしており、その簡単な構造と効率性を示しています。 実装の成功は、特定のモデル構成でもさらに示されます。たとえば、111M構成はCerebras-GPTと一致し、モデルの次元、学習率、バッチサイズ、トレーニングスケジュールが同じです。同様に、13B構成もサイズにおいて対応するCerebras-GPT構成に近く、70B構成はLlama-2 70Bからインスピレーションを受けています。70Bモデルは安定性とパフォーマンスを維持し、スケーラビリティを示しています。70Bモデルを検証した後、研究者たちはGPT-3の論文に基づいて175Bモデルを構成することで境界を em emました。初期の結果は、メモリの問題なく拡大スケールを処理できるモデルの能力を示しており、gigaGPTは1兆を超えるパラメータを持つモデルにもスケーリングできる可能性を示唆しています。 結論として、gigaGPTは大規模なトランスフォーマーモデルのトレーニングの課題に対する画期的な解決策として浮かび上がっています。研究チームの実装は、簡潔で使いやすいコードベースを提供するだけでなく、GPT-3のサイズのモデルのトレーニングも可能にします。Cerebrasのハードウェアを利用した、広範なメモリと計算能力による利点は、大規模なAIモデルのトレーニングをよりアクセス可能、スケーラブル、効率的にする大きな進歩です。この革新的なアプローチは、巨大な言語モデルのトレーニングの複雑さに取り組もうとする機械学習の研究者や実践者にとって有望な道を開くものと言えます。 Introducing gigaGPT: our implementation of @karpathy’s nanoGPT that trains GPT-3 sized models in just…

アリゾナ州立大学のこのAI研究は、テキストから画像への非拡散先行法を改善するための画期的な対照的学習戦略「ECLIPSE」を明らかにした

拡散モデルは、テキストの提案を受け取ると、高品質な写真を生成するのに非常に成功しています。このテキストから画像へのパラダイム（T2I）の生成は、深度駆動の画像生成や主題/セグメンテーション識別など、さまざまな下流アプリケーションで成功裏に使用されています。2つの人気のあるテキスト条件付き拡散モデル、CLIPモデルと潜在的な拡散モデル（LDM）のような、しばしば安定拡散と呼ばれるモデルは、これらの進展に不可欠です。LDMは、オープンソースソフトウェアとして自由に利用可能なことで研究界で知られています。一方、unCLIPモデルにはあまり注目が集まっていません。両モデルの基本的な目標は、テキストの手がかりに応じて拡散モデルをトレーニングすることです。 テキストから画像への優位性と拡散画像デコーダを持つunCLIPモデルとは異なり、LDMには単一のテキストから画像への拡散モデルがあります。両モデルファミリーは、画像のベクトル量子化潜在空間内で動作します。unCLIPモデルは、T2I-CompBenchやHRS-Benchmarkなどのいくつかの構成ベンチマークで他のSOTAモデルを上回ることが多いため、この記事ではそれに集中します。これらのT2Iモデルは通常多くのパラメータを持つため、トレーニングには優れた画像とテキストのペアリングが必要です。LDMと比較すると、DALL-E-2、Karlo、KandinskyなどのunCLIPモデルは、約10億のパラメータを持つ前のモジュールがあるため、合計モデルサイズが大幅に大きくなります（≥ 2B）。 そのため、これらのunCLIPモデルのトレーニングデータは250M、115M、177Mの画像テキストのペアリングです。したがって、2つの重要な質問が残ります：1）テキスト構成のSOTAパフォーマンスは、テキストから画像への先行モデルを使用することで改善されるのでしょうか？2）それともモデルのサイズを増やすことが重要な要素なのでしょうか？パラメータとデータの効率性を向上させることで、研究チームはT2I先行モデルについての知識を向上させ、現在の形式に比べて重要な改善を提供することを目指しています。T2I先行モデルは、拡散プロセスの各タイムステップでノイズのない画像埋め込みを直接推定するための拡散モデルでもあり、これは以前の研究が示唆しているようです。研究チームは、この前期の普及プロセスを調査しました。 図1は、SOTAテキストから画像へのモデル間の３つの構成タスク（色、形、テクスチャ）の平均パフォーマンスとパラメータの総数を比較しています。ECLIPSEは少量のトレーニングデータしか必要とせず、少ないパラメータでより優れた結果を出します。提示されたECLIPSEは、Kandinskyデコーダを使用して、わずか5百万の画像テキストペアリングのみを利用して約3300万のパラメータでT2I先行モデルをトレーニングします。 研究チームは、拡散プロセスがわずかにパフォーマンスを低下させ、正しい画像の生成には影響を与えないことを発見しました。さらに、拡散モデルは収束が遅いため、トレーニングには大量のGPU時間または日数が必要です。そのため、非拡散モデルはこの研究では代替手段として機能します。分類子のガイダンスがないため、この手法は構成の可能性を制限するかもしれませんが、パラメータの効率性を大幅に向上させ、データの依存性を軽減します。 本研究では、Arizona State Universityの研究チームは、上記の制約を克服し、T2Iの非拡散先行モデルを強化するためのユニークな対照的学習技術であるECLIPSEを紹介しています。研究チームは、提供されたテキスト埋め込みから画像埋め込みを生成する従来のアプローチを最適化することにより、Evidence Lower Bound（ELBO）を最大化しました。研究チームは、事前学習されたビジョン言語モデルの意味的整合性（テキストと画像の間）機能を使用して、以前のトレーニングを監視しました。研究チームは、ECLIPSEを使用して、画像テキストのペアリングのわずかな断片（0.34%〜8.69%）を使用して、コンパクトな（97%小さい）非拡散先行モデル（3300万のパラメータを持つ）をトレーニングしました。研究チームは、ECLIPSEトレーニングされた先行モデルをunCLIP拡散画像デコーダバリエーション（KarloとKandinsky）に導入しました。ECLIPSEトレーニングされた先行モデルは、10億のパラメータを持つバージョンを上回り、ベースラインの先行学習アルゴリズムを上回ります。研究結果は、パラメータやデータを必要とせずに構成を改善するT2I生成モデルへの可能な道を示唆しています。 図1に示すように、彼らの総合パラメータとデータの必要性は大幅に減少し、T2Iの増加により類似のパラメータモデルに対してSOTAのパフォーマンスを達成します。貢献。1）unCLIPフレームワークでは、研究チームがテキストから画像への事前の対照的な学習に初めてECLIPSEを提供しています。 2）研究チームは包括的な実験を通じて、資源制約のある文脈でのECLIPSEの基準事前に対する優位性を証明しました。 3）注目すべきは、ECLIPSE事前のパフォーマンスを大きなモデルと同等にするために、トレーニングデータのわずか2.8％とモデルパラメータのわずか3.3％しか必要としないことです。 4）また、研究チームは現在のT2I拡散事前の欠点を検討し、経験的な観察結果を提供しています。

『GPT-4を使用したパーソナライズされたAIトレーディングコンサルタントの構築』

はじめに 近年、人工知能（AI）を株式取引に統合することで、投資家の意思決定に革命が起きています。GPT-3やGPT-4などの大規模言語モデル（LLMs）の登場により、複雑な市場分析や洞察が個々の投資家やトレーダーによりアクセスしやすくなりました。この革新的なテクノロジーは、膨大なデータと高度なアルゴリズムを活用して、かつて機関投資家の専売特許であった市場の理解を提供するものです。この記事では、リスク許容度、投資期間、予算、および期待利益に基づいた個別の投資プロファイルに合わせた、パーソナライズされたAI取引コンサルタントの開発に焦点を当てており、個人投資家に戦略的な投資アドバイスを提供することで彼らを強化しています。 GPT-3やGPT-4といった大規模言語モデル（LLMs）によって動かされる株式取引コンサルタントは、金融アドバイザリーサービスに革命をもたらしました。これらのコンサルタントは、AIを活用して過去の株式データや最新の金融ニュースを分析し、投資家の独自のポートフォリオと金融目標に合ったパーソナライズされた投資アドバイスを提供できます。本記事では、市場の動向やトレンドを予測するためのコンサルタントの構築に挑戦し、個別のリスク許容度、投資期間、投資可能な資金、および期待利益に基づいたカスタマイズされた推奨事項を提供します。 学習目標 本記事の終わりまでに、読者は以下のことができるようになります： AIやGPT-3などのLLMsが株式市場分析や取引をどのように変革するかについて洞察を得る。 AI主導のツールが個別のリスクプロファイルと投資目標に基づいたパーソナライズされた投資アドバイスを提供する能力を認識する。 AIが過去とリアルタイムのデータを活用して投資戦略と予測を立案する方法を学ぶ。 AIを用いた株式取引が、小売投資家を含むより広範なユーザーに洗練された投資戦略を提供する方法を理解する。 パーソナル投資や株式取引での情報を活用した意思決定のためにAI主導のツールを活用する方法を発見する。 LLMsを活用した株式取引コンサルタントのコンセプト この記事はData Science Blogathonの一部として公開されました。 データセットについて このプロジェクトのためのデータセットは、ニューヨーク証券取引所からのものであり、Kaggleで利用可能です。このデータセットには、7年間にわたる4つのCSVファイルが含まれています。重要な財務尺度を提供する「fundamentals.csv」、株式分割に関する過去の株価と調整を提供する「prices.csv」と「prices-split-adjusted.csv」、セクター分類や本社などの追加の企業情報を提供する「securities.csv」が含まれています。これらのファイルは、企業のパフォーマンスと株式市場の動向を包括的に把握するためのものです。 データの準備 GPT-4のような大規模言語モデル（LLMs）を使用した株式取引コンサルタントの実装は、重要なデータの準備から始まります。このプロセスには、データのクリーニング、正規化、カテゴリ化といった重要なタスクが含まれ、提供されたデータセット「fundamentals.csv」「prices.csv」「prices-split-adjusted.csv」「securities.csv」を使用します。 ステップ1：データのクリーニング 「Fundamental Dataset」では、「For Year」「Earnings Per Share」「Estimated…

ジェンAIに関するトップ10の研究論文

イントロダクション 自然言語理解の常に進化する風景の中で、研究者たちは革新的なアプローチを通じて可能性の限界を em>押し上げることを続けています。本記事では、生成AI（GenAI）に関する画期的な研究論文のコレクションについて探求していきます。これらの研究は、人間の好みとの一致度向上からテキストの説明から3Dコンテンツを生成するという様々な側面にわたって言語モデルを探究しています。これらの研究は学術的な論議に貢献すると同時に、自然言語処理の未来を形作る可能性のある実践的な洞察を提供しています。これらの啓発的な調査を通じて旅を始めましょう。 GenAIに関するトップ10の研究論文 GenAIに関する数百の研究論文の中から、以下は私たちのトップ10の選り抜きです。 1. 生成プリトレーニングによる言語理解の向上 この研究論文は、非教示型のプリトレーニングと教示型のファインチューニングを組み合わせて自然言語理解タスクを強化するための半教師付きアプローチを探求しています。この研究では、Transformerアーキテクチャに基づいたタスクに依存しないモデルを利用しています。これにより、多様な未ラベルのテキストでの生成プリトレーニングとその後の識別的ファインチューニングによって、さまざまな言語理解ベンチマークでのパフォーマンスが大幅に向上することが明らかになりました。 このモデルは、常識的な推論において8.9%、質問応答において5.7%、テキスト言い換えにおいて1.5%といった注目すべき改善を達成しました。この研究は、大規模な未ラベルのコーパスをプリトレーニングに活用し、ファインチューニング中のタスクに意識した入力変換を行うことが、教師なし学習を自然言語処理や他の領域で進めるための貴重な洞察を提供しています。 論文はこちらで入手できます：https://s3-us-west-2.amazonaws.com/openai-assets/research-covers/language-unsupervised/language_understanding_paper.pdf 2. 人間フィードバックを用いた強化学習：悲観主義を通じたダイナミックな選択の学習 この生成AIに関する研究論文は、オフラインでの人間フィードバックによる強化学習（RLHF）の難しい領域に深入りしています。この研究は、人間の選択に影響を受けたトラジェクトリの集合から、マルコフ決定過程（MDP）における人間の基盤と最適方策を把握することを目指しています。この研究は、経済計量学に根ざしたダイナミックディスクリートチョイス（DDC）モデルに焦点を当て、有界合理性を持った人間の意思決定をモデル化します。 提案されたDynamic-Choice-Pessimistic-Policy-Optimization（DCPPO）メソッドは、次の3つのステージで構成されています。それらは、人間の行動方針と価値関数の推定、人間の報酬関数の再現、および事実に近い最適方策のための悲観的価値反復の呼び出しです。この論文は、動的なディスクリートチョイスモデルによるオフポリシーオフラインRLHFについての理論的な保証を提供しています。分布のシフトや次元のサブオプティマリティの課題への対処についての洞察も提供しています。 論文はこちらで入手できます：https://arxiv.org/abs/2305.18438 3. ニューラル確率言語モデル この研究論文は、次元の呪いによって生じる統計的言語モデリングの課題に取り組み、未見の単語の連続列に対して一般化する難しさに焦点を当てています。提案された解決策は、単語の分散表現を学習することで、各トレーニング文がモデルに対して意味的に隣接する文について情報を提供することを可能にします。単語の表現と単語列の確率関数を同時に学習することで、モデルは一般化性能を向上させることができます。 ニューラルネットワークを用いた実験結果は、最先端のn-gramモデルに比べて大幅な改善を示しており、長い文脈を活用するアプローチの効果を示しています。論文は、学習された分散表現によって次元の課題に対処するモデルの能力を強調しながら、潜在的な将来の改善の可能性についても言及しています。 論文はこちらで入手できます：https://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf 4. BERT：言語理解のための深層双方向トランスフォーマーの事前学習 GenAIの研究論文では、未ラベル化されたテキストに対して双方向の事前学習を行うために設計された画期的な言語表現モデルであるBERTが紹介されています。従来のモデルとは異なり、BERTはすべてのレイヤーで左右の文脈に依存し、タスク固有の修正を最小限に抑えながら微調整を可能にします。BERTはさまざまな自然言語処理タスクで最先端の結果を実現し、その簡潔さと実証的なパワーを示しています。 この論文では既存の技術の制約に対処し、言語表現のための双方向の事前学習の重要性を強調しています。BERTのマスクされた言語モデル目的は、深い双方向のTransformer事前学習を促進し、タスク固有のアーキテクチャへの依存を減らし、11のNLPタスクの最先端の技術を前進させています。…

「RAGAsを使用したRAGアプリケーションの評価」

「PythonにおいてRAGAsフレームワークを使って、検索および生成コンポーネントを個別に評価するための検索強化生成（RAG）システムの評価」

AI記事スキャンダルがアリーナグループに波紋を広げ、CEOが解任される

アリーナグループは、スポーツイラストの発行元として最もよく知られており、AI記事のスキャンダルに揺れた会社のCEOを解任しましたこれは、スポーツイラストがAIを使用して記事を公表していたことが明らかになってから数週間後のことですこれは、Futurismが昨年11月に報告した会社を発見した後の出来事です...

裁判官がChatGPTを法的判決に使用することが許可されました

イギリスは今、裁判所で「非常に便利な」人工知能チャットボットの使用を許可しています

AIの付き添いロボットが、孤独感に苦しむ高齢者の一部には助けになっていますが、他の人には嫌われています

これまでに健康効果に関する限られた証拠がありますが、初期の研究では一つの方法が全てに適しているわけではないと示唆されています

「ゼロから始めるLoRAの実装」

「LoRA（ローラ）は、既存の言語モデルを微調整するための効率的で軽量な方法を提供する、Low-Rank AdaptationまたはLow-Rank Adaptorsの頭字語ですこれには、BERTのようなマスクされた言語モデルも含まれます...」

Find the right Blockchain Investment for you

Web 3.0 is coming, whether buy Coins, NFTs or just Coding, everyone can participate.

Advertising with us