Search Results OPT

「PyTorch ProfilerとTensorBoardを使用して、データ入力パイプラインのボトルネックを解消する」

「これは、GPUベースのPyTorchワークロードのパフォーマンス分析と最適化に関するシリーズ投稿の4番目の投稿ですこの投稿では、トレーニングデータの入力に焦点を当てます...」

『協力の力：オープンソースプロジェクトがAIを進化させる方法』

この記事では、オープンソースプロジェクトが革新的なAIソリューションの創造に与える深い影響について探求します

Artificial Intelligence

AIはETLの再発明に時間を浪費する必要はない

「AIコミュニティはデータ統合を再発明しようとしていますが、現在のETLプラットフォームは既にこの問題を解決していますなぜ再発明すべきではないかを説明します」

2023年の練習のためのトップ18のPower BIプロジェクトアイデア

Power BIは、生データを情報豊かな視覚化とレポートに変換する影響力のあるツールです。使いやすいインターフェースと強力な機能を備えたPower BIは、実践的なプロジェクトを通じてスキルを磨くための貴重なプラットフォームです。Power BIのプロジェクトに取り組むことで、初心者からエキスパートまで、能力を大幅に向上させることができます。この記事では、2023年に実践するための主要な18のPower BIプロジェクトのアイデアを、さまざまな熟練レベルに合わせて紹介します。なぜPower BIプロジェクトを解決するのか？ Power BIのプロジェクトに取り組むことには、いくつかの利点があります。理論的な知識を実世界のシナリオに適用することで、実践的なスキルを向上させることができます。これらのプロジェクトは、データの視覚化、分析、レポート作成といった、重要なデータ分析とビジネスインテリジェンスのスキルを身に付けるための実践的な経験を提供します。さらに、Power BIのプロジェクトに取り組むことで、潜在的な雇用主に自身の能力をアピールするポートフォリオを構築することができます。さらに、生データから洞察に富んだ視覚化やレポートを作成することで、問題解決能力が向上し、Power BIツールの効果的な使用に対する自信が高まります。以下は、トップ18のPower BIプロジェクトです：売上データの視覚化顧客セグメンテーション分析在庫管理ダッシュボード従業員のパフォーマンス指標ウェブサイトのトラフィック分析予測販売予測顧客生涯価値分析ソーシャルメディアの感情分析マーケットバスケット分析電子商取引の変換フレンネルエネルギー消費パターン…

「Hugging Face Transformersを使用したBERT埋め込みの作成」

はじめに Transformersはもともと、テキストを一つの言語から別の言語に変換するために作られました。BERTは、人間の言語を学習し作業する方法に大きな影響を与えました。それはテキストを理解する元々のトランスフォーマーモデルの部分を改良しました。BERTの埋め込みを作成することは、特に複雑な意味を持つ文章を把握するのに適しています。これは、文章全体を調べ、単語のつながり方を理解することで行います。Hugging Faceのtransformersライブラリは、ユニークな文章コードを作成し、BERTを導入するための鍵です。学習目標 BERTと事前学習モデルの理解を深める。これらが人間の言語との作業にどれだけ重要かを理解する。 Hugging FaceのTransformersライブラリを効果的に使用する方法を学ぶ。これを使用してテキストの特殊な表現を作成する。事前学習されたBERTモデルからこれらの表現を正しく削除する様々な方法を見つける。これは、異なる言語タスクには異なるアプローチが必要なため重要です。実際にこれらの表現を作成するために必要な手順を実際に行い、実践的な経験を積む。自分自身でできることを確認する。作成したこれらの表現を使用して、テキストのソートやテキスト内の感情の把握など、他の言語タスクを改善する方法を学ぶ。特定の言語タスクにさらに適したように事前学習モデルを調整する方法を探索する。これにより、より良い結果が得られる可能性があります。これらの表現が言語タスクの改善にどのように使用され、言語モデルの正確性とパフォーマンスを向上させるかを調べる。この記事はデータサイエンスブログマラソンの一部として公開されました。パイプラインはトランスフォーマーのコンテキスト内で何を含むのか？パイプラインは、トランスフォーマーライブラリに含まれる複雑なコードを簡素化するユーザーフレンドリーなツールと考えてください。言語の理解、感情分析、特徴の抽出、質問に対する回答などのタスクにモデルを使用することを簡単にします。これらの強力なモデルとの対話を簡潔な方法で提供します。パイプラインにはいくつかの重要なコンポーネントが含まれます：トークナイザ（通常のテキストをモデルが処理するための小さな単位に変換するもの）、モデル自体（入力に基づいて予測を行うもの）、そしてモデルがうまく動作するようにするためのいくつかの追加の準備ステップ。 Hugging Face Transformersの使用の必要性は何ですか？トランスフォーマーモデルは通常非常に巨大であり、トレーニングや実際のアプリケーションで使用するために取り扱うことは非常に複雑です。Hugging Face transformersは、このプロセス全体を簡単にすることを目指しています。どれほど巨大であっても、どんなTransformerモデルでも、ロード、トレーニング、保存するための単一の方法を提供します。モデルのライフサイクルの異なる部分に異なるソフトウェアツールを使用することはさらに便利です。一連のツールでトレーニングを行い、その後、手間をかけずに実世界のタスクに使用することができます。高度な機能これらの最新のモデルは使いやすく、人間の言語の理解と生成、コンピュータビジョンや音声に関連するタスクにおいて優れた結果を提供します。…

メタがコードラマをリリース：コーディングのための最新のAIツール

メタ社は、驚異的な技術的飛躍を遂げ、最新の作品であるCode Llamaをリリースしました。Code Llamaは、Llama 2言語モデルをベースにしたAIパワードツールです。この革新的なツールは、開発者にとってスーパーヒーローのような存在であり、コーディングをスムーズで高速、かつより利用しやすくしてくれます。経験豊富なプログラマであっても、コーディングの旅を始めたばかりでも、Code Llamaがあなたをサポートします。以下に、Metaの最新AIコード生成ツールについて知っておくべきことをまとめました。また読む: Anthropicがコーディングを革新する次世代AIチャットプログラムClaude 2を発表 Code Llamaでコードを解読する MetaのCode Llamaは、普通のAIではありません。これは大規模な言語モデル（LLM）であり、テキストのプロンプトを読み取り、コードの解決策を作成することができます。自分専用のコーディングの魔人をイメージしてください-望むものを入力すると、ぱっと出てきます！Code Llamaは、プロジェクトを輝かせることができる超効率的でエキスパートレベルのコードです。また読む: プログラマを助けるコードを生成する10のAIツールギャップを埋める: 初心者から忍者へコーディングを学ぶことは、異星語を解読するようなものかもしれません。しかし、Code Llamaがあなたのそばにいると、賢明なメンターがあなたの言葉とコードの言葉を話すようなものです。AIコード生成ツールは、あなたの説明に基づいてコードの行を作成し、複雑なアイデアを現実に変えることができます。Python、C ++、Java、または他の主要なプログラミング言語であっても、このAIは対応しています！コード生成ツール以上のもの Code Llamaは、コード生成ツールにとどまらず、コーディングのあらゆる段階で役立つ多目的なツールです。デバッグやコードの完成において、あなたの仮想のパートナーとなります。コードを書いていて行き詰まった場合、AIが提案してプロセスを案内し、行き詰まらないようにサポートしてくれます。また読む:…

DeepMindの研究者が、成長するバッチ強化学習（RL）に触発されて、人間の好みに合わせたLLMを整列させるためのシンプルなアルゴリズムであるReinforced Self-Training（ReST）を提案しました

大規模言語モデル（LLM）は、優れた文章を生成し、さまざまな言語的な問題を解決するのに優れています。これらのモデルは、膨大な量のテキストと計算を使用してトークンを自己回帰的に予測する確率を高めるためにトレーニングされます。しかし、先行研究は、高確率でテキストを生成することが、異なるタスクにおける人間の好みと一致することは稀であることを示しています。言語モデルは、適切に整列されていない場合、有害な効果をもたらす危険な素材を生成する可能性があります。また、LLMの整列は、他の下流操作のパフォーマンスを向上させます。フィードバックからの強化学習は、整列の問題を解決するために人間の好みを利用します。報酬モデルは通常、人間の入力によって学習され、その後、強化学習（RL）の目標として使用されるため、LLMを微調整するために使用されます。RLHF技術では、PPOやA2CのようなオンラインRL技術が頻繁に使用されます。オンライントレーニング中に変更されたポリシーをサンプリングする必要があり、サンプルは報酬モデルを使用して繰り返しスコアリングする必要があります。オンラインアプローチは、ポリシーと報酬ネットワークのサイズが拡大するにつれて、新鮮なデータの一定のストリームを処理するための計算費用に制約を受けます。また、これらのアプローチが攻撃を受けやすい「ハッキング」の問題に対処するために、以前の研究ではモデルの正規化を検討しています。代わりに、オフラインRLアルゴリズムは計算効率が高く、報酬ハッキングに対して脆弱性が低いため、事前に定義されたサンプルのデータセットから学習します。ただし、オフラインデータセットの特性は、オフラインで学習されるポリシーの品質に密接に関連しています。そのため、適切に選択されたデータセットは、オフラインRLの成功には重要です。そうでない場合、教師あり学習よりも性能の向上はわずかかもしれません。彼らはまた、DPO（Direct Preference Optimisation）という手法を提案しています。これは、オフラインデータを使用してLMを人間の好みに合わせることができます。Googleの研究者は、言語モデルの整列の問題を逐次的なRL問題として提示し、彼らのリンフォースドセルフトレーニング（ReST）技術は、2つのループから成り立っています。内側のループ（Improve）は、与えられたデータセット上でポリシーを改善します。一方、外側のループ（Grow）は、最新のポリシーからサンプルを取得してデータセットを拡張します（図1参照）。図1：ReSTアプローチ。ポリシーはGrowステップでデータセットを作成します。フィルタリングされたデータセットは、Improveステージで言語モデルを微調整するために使用されます。データセットの作成費用を分散するために、Improveフェーズは他の2つのプロセスよりも頻繁に行われます。この研究では、条件付き言語モデリングを考慮した後、ReSTのフェーズは次のようになります：1. Grow（G）：言語モデルポリシー（最初は教師付きポリシー）を使用して、各シナリオごとに数多くの出力予測を生成し、トレーニングデータセットを補完します。2. Improve（I）：学習報酬モデルで訓練されたスコアリング関数を使用して、エンリッチドデータセットをランク付けおよびフィルタリングします。フィルタリングされたデータセットは、オフラインRLの目標を持つ言語モデルを調整します。このプロセスをフィルタリングの閾値を増やすことで繰り返します。その後、次のGrowステップでは最終的なポリシーが使用されます。 ReSTは、Improveステップを実行する際に、内側のループでさまざまなオフラインRL損失を使用することを可能にする一般的なアプローチです。実践するためには、モデルから効果的にサンプリングする能力と、モデルのサンプルをスコアリングする能力が必要です。オンラインまたはオフラインのRLを使用する標準的なRLHFアプローチよりも、ReSTにはいくつかの利点があります： • Growフェーズの出力は、複数のImproveステージで使用されるため、オンラインRLと比較して計算コストが大幅に削減されます。 • Growステップ中に改善されたポリシーから新しいトレーニングデータがサンプリングされるため、ポリシーの品質は元のデータセットの品質に制約されません（オフラインRLとは異なります）。 • データ品質の検査や報酬のハッキングなど、成長と改善のステップが切り離されているため、アラインメントの問題を診断することが簡単です。 • 調整するハイパーパラメータはほとんどなく、技術は直感的で信頼性があります。機械翻訳は、通常、条件付き言語モデリングとして表現されるシーケンス・トゥ・シーケンス学習の問題であり、外国語のフレーズが条件付けコンテキスト（ソース）として使用されます。彼らは機械翻訳を選択する理由として、（a）堅実なベースラインと明確な評価プロセスを持つ有用なアプリケーションであること、および（b）信頼できるいくつかの現在のスコアリングおよび評価方法を報酬モデルとして使用できることを挙げています。彼らは、IWSLT 2014およびWMT 2020のベンチマーク、およびWebドメインのより難解な内部ベンチマークで、いくつかのオフラインRLアルゴリズムを比較します。ReSTは、試行中のテストセットと検証セットで報酬モデルの結果を劇的に向上させます。人間の評価者によれば、ReSTは教師あり学習のベースラインよりも品質の高い翻訳を生成します。

Siameseネットワークの導入と実装

イントロダクションシャムネットワークは、たった1つの例に基づいて正確な画像分類を可能にする興味深いアプローチを提供します。これらのネットワークは、データセット内の画像のペアの類似性を測定するためにコントラスティブロスと呼ばれる概念を使用します。画像の内容を解読する従来の方法とは異なり、シャムネットワークは画像間の変動と類似点に集中しています。この独特な学習方法は、限られたデータのシナリオにおいても強さを発揮し、ドメイン固有の知識なしでも性能を向上させます。この記事では、シャムネットワークのレンズを通して署名の検証の魅力的な領域に深く入り込みます。PyTorchを使用して機能的なモデルを作成する方法について、洞察と実装手順を提供します。学習目標シャムネットワークの概念と双子のサブネットワークを含むユニークなアーキテクチャの理解シャムネットワークで使用されるロス関数（バイナリクロスエントロピー、コントラスティブロス、トリプレットロス）の違いを理解するシャムネットワークが効果的に使用できる実世界のアプリケーション（顔認識、指紋認識、テキストの類似性評価など）を特定し説明するシャムネットワークの1ショット学習、汎用性、ドメインに依存しないパフォーマンスに関する利点と欠点をまとめるこの記事はデータサイエンスブログマラソンの一部として公開されました。シャムネットワークとは何ですか？シャムネットワークは、ワンショット分類のために2つの同じ構造のサブネットワークを使用するネットワークのカテゴリに属しています。これらのサブネットワークは、異なる入力を受け入れながら、同じセットアップ、パラメータ、重みを共有します。シャムネットワークは、複数のクラスを予測するために豊富なデータで訓練される従来のCNNとは異なり、類似性関数を学習します。この関数により、少ないデータを使用してクラスを識別することができるため、ワンショット分類に非常に効果的です。このユニークな能力により、これらのネットワークは多くの場合、1つの例で正確に画像を分類することができます。シャムネットワークの実世界の応用例として、顔認識や署名の検証のタスクがあります。例えば、会社が自動顔認識に基づいた出席システムを導入するとします。従来のCNNでは、各従業員の1枚の画像しか利用できないため、正確に何千人もの従業員を分類するのは困難です。そこでシャムネットワークが登場し、このようなシナリオで優れた性能を発揮します。フューショットラーニングの探求フューショットラーニングでは、モデルは限られた数の例に基づいて予測を行うためのトレーニングを行います。これは、従来のアプローチとは対照的で、トレーニングには大量のラベル付きデータが必要です。フューショットモデルのアーキテクチャは、わずかな数のサンプル間の微妙な違いを活用し、わずかな数やたった1つの例に基づいて予測を行うことができます。シャムネットワーク、メタラーニングなどのさまざまな設計フレームワークが、この機能を可能にします。これらのフレームワークは、モデルが意味のあるデータ表現を抽出し、それを新しい、未知のサンプルに使用することができるようにします。フューショットラーニングが活躍する実用例には、以下のものがあります: 監視カメラにおける物体検出: フューショットラーニングは、物体の検出において、それらの物体の例がわずかしかない場合でも効果的に識別することができます。わずかなラベル付きの例を使ってモデルをトレーニングした後、それらの物体を新しい映像で検出することができます。 2. 個別のヘルスケア: 個別のヘルスケアでは、医療専門家は患者の医療記録の限られたセットを持っている場合があります。これにはCTスキャンや血液検査の少数の例が含まれます。フューショットラーニングモデルを使用すると、トレーニング用のわずかな例から、患者の将来の健康状態を予測することができます。これには、特定の疾患の発症の予測や特定の治療法への反応の予測などが含まれます。シャムネットワークのアーキテクチャ Siameseネットワークの設計には、2つの同一のサブネットワークが含まれており、それぞれが入力の1つを処理します。最初に、入力は畳み込みニューラルネットワーク（CNN）を介して処理されます。このCNNは、提供された画像から有意な特徴を抽出します。その後、これらのサブネットワークはエンコードされた出力を生成し、通常は完全に接続された層を介して、入力データの縮約表現を生成します。 CNNは、2つのブランチと共有の特徴抽出コンポーネントで構成される、畳み込み、バッチ正規化、ReLU活性化、最大プーリング、およびドロップアウト層のレイヤーからなります。最後のセグメントでは、抽出された特徴を最終的な分類結果にマッピングするFC層が含まれています。関数は、線形層の後にReLU活性化のシーケンスと連続的な操作（畳み込み、バッチ正規化、ReLU活性化、最大プーリング、およびドロップアウト）の系列が続きます。フォワード関数は、入力をネットワークの両方のブランチに案内します。差分層は、入力の類似性を特定し、異なるペア間の差を増幅するためにユークリッド距離関数を使用します：…

「Amazon SageMaker プロファイラーのプレビューを発表します：モデルトレーニングのワークロードの詳細なハードウェアパフォーマンスデータを追跡および可視化します」

本日は、Amazon SageMaker Profilerのプレビューを発表できることを喜んでお知らせしますこれはAmazon SageMakerの機能の一部であり、SageMaker上でディープラーニングモデルのトレーニング中にプロビジョニングされるAWSのコンピューティングリソースの詳細なビューを提供しますSageMaker Profilerを使用すると、CPUとGPUのすべてのアクティビティをトラックできますCPUとGPUの利用率、GPU上でのカーネルの実行、CPU上でのカーネルの起動、同期操作、GPU間のメモリ操作、カーネルの起動と対応する実行とのレイテンシ、CPUとGPU間のデータ転送などが含まれますこの記事では、SageMaker Profilerの機能について詳しく説明します

「LLMsが幻覚を見るのを止めることはできますか？」

ほぼすべての人々の注目を集めている大規模言語モデル（LLM）ですが、このような技術の広範な展開は、それに関連するやや厄介な側面のためにわずかに制約されています - これらのモデルは...

Learn more about Search Results OPT - Page 76