Search Results RPA

ベイズハイパーパラメータ調整を使って効果的に回帰モデルを最適化する

勾配ブースティング技術であるXGBoost、CatBoost、LightBoostは、分類および回帰タスクの両方で近年大きな人気を獲得していますプロセスの重要な部分は、...

「Pymcと統計モデルを記述するための言語の紹介」

「ベイズ推論のほとんどの例がそれが何であるかを誤解している理由についての前回の記事では、ベイズ統計の初心者の間で一般的な誤解を明確にしましたそれは、…」

「Amazon SageMaker Hyperband 自動モデルチューニングを使用して、分散トレーニングの収束問題を効果的に解決する」

最近の数年間は、ディープラーニングニューラルネットワーク（DNN）の驚異的な成長が見られていますこの成長は、より正確なモデルや生成型AIによる新たな可能性の開拓（自然言語を合成する大規模な言語モデル、テキストから画像を生成するものなど）に現れていますDNNのこれらの増加した機能は、巨大なモデルを持つことと引き換えに実現されています

学習トランスフォーマーコード第2部 – GPTを間近で観察

私のプロジェクトの第2部へようこそここでは、TinyStoriesデータセットとnanoGPTを使用して、トランスフォーマーとGPTベースのモデルの複雑さについて探求しますこれらはすべて、古いゲーミングラップトップで訓練されました

「ChatGPTは人間の創造性テストでトップ1%のスコアを獲得」

人工知能（AI）は、モンタナ大学とそのパートナーによる研究によれば、新たな高みに達しました。この研究では、チャットGPTが標準的な創造力テストで人間のトップ1％と競争できることが明らかになりました。モンタナ大学ビジネス学部の助教であるエリック・グジック博士がこの研究を率いており、人間の創造性を評価するために数十年にわたって使用されてきた確立されたツールであるトレンス創造的思考テスト（TTCT）を利用しています。また読む：メタが「人間のような」デザイナーAIを画像に導入 AIの創造性のテストこの驚くべき実験では、研究者たちは先進的なGPT-4 AIエンジンによって動力を供給されたアプリケーションであるチャットGPTを、グジック博士の起業と個人ファイナンスのクラスに在籍するモンタナ大学の24人の学生から成る対照群と対戦させました。これらの回答は、2016年にTTCTを受けた全国の2,700人の大学生の回答と比較されました。評価結果は、AIの関与について無知のまま、ショラスティック・テスト・サービスによって行われました。また読む：AI生成コンテンツが開発者を危険にさらす可能性チャットGPTの創造性の高まりその結果は驚くべきものであり、チャットGPTを創造的なエリートの一員と位置付けました。このAIアプリケーションは、非凡な流暢さを示し、多くのアイデアを生成することで優れたパフォーマンスを発揮し、新鮮なアイデアを生み出すことで驚くべき独創性を示しました。柔軟性においてはわずかに97パーセンタイルに後退しましたが、これは異なるタイプやカテゴリのアイデアを生成する能力を測定するものであり、チャットGPTの優れたパフォーマンスは否定できませんでした。また読む：無料で美しい画像を作成するために生成AIを使用する方法？グジック博士の洞察リード研究者であるエリック・グジック博士は、この研究の結果に満足を表明しました。彼は、チャットGPTの独創性におけるパフォーマンスが特に注目に値すると指摘しました。モンタナ大学の学生の中にもこの称号を獲得した者はいくらかいましたが、チャットGPTは全国の大学生の大多数を凌駕しました。カンファレンスの発表と解釈春学期に、グジック博士と彼のチームはAIと学生をテストしました。この先駆的な仕事に協力したのは、UM Westernのクリスチャン・ギルデとVilnius大学のクリスチャン・バーグでした。研究者たちは5月にその結果を名門の南オレゴン大学創造性カンファレンスで発表しました。グジック博士は、カンファレンスで詳細な解釈を提供するのではなく、結果を提示することに重点を置いたと強調しました。しかし、彼らはAIの創造力が人間の能力と同等またはそれを超えている可能性があると示す説得力のある証拠を共有しました。また読む：NVIDIAがSIGGRAPH 2023で20のAI研究論文を発表し、コンピュータグラフィックスを革新する TTCTテストの公開 TTCTテスト自体は、現実の創造的なタスクを模倣するプロンプトを含んでいます。例えば、参加者は与えられた製品の新しい使い方を考案したり、それを改善したりすることに挑戦されます。グジック博士は、バスケットボールの例を挙げてこれを説明しました。参加者は、フープにシュートするか、ディスプレイに取り入れるなど、可能な限り多くの代替的な使い方を考える必要があります。この演習は、個人が枠外の考えを持ち、非伝統的な応用、例えばバスケットボールをプランターとして再利用することや、レンガを構造物を建てるために使用することや、紙の重りとして使用するなどを考えることを促します。この枠組み内で新しいアイデアを生成するAIの能力は、非常に印象的です。人間の想像力を超えるこの研究の特に驚くべき結果の一つは、AIがオリジナルなアイデアを生成することに成功したことです。テストの評価者は、各プロンプトに対する一般的な回答のリストを持っており、提出されることが予想される回答も含まれています。しかし、AIは新鮮で革新的な回答を生成することで、トップパーセンタイルに浮上し、そのオリジナルな思考能力の成長を示しました。グジック博士は、GPT-3の前身であるGPT-4に関する以前の研究を引用し、ChatGPTがオリジナルな思考を含むタスクで人間を上回ることはなかったことを示しました。しかし、より高度なGPT-4において、ChatGPTは間違いなくすべての人間の回答のトップ1％に位置しています。また読む：人工知能vs人間の知能：トップ7の違い私たちの意見 AIの範囲はますます広がり続け、ChatGPTの創造力における優れたパフォーマンスは、この分野での信じられない進歩の証です。AIが進化し続ける中で、革新的な問題解決にますます貢献し、好奇心を刺激し、さまざまな産業を革新する可能性があります。人間の知性とAIの能力が交差すると、AIが人間の創造性を向上させる未来が見えてきます。私たちは、私たちが可能だと思っていたことの限界を押し広げるAIの目撃者になろうとしています。

‘Perceiver IO どんなモダリティにも対応するスケーラブルな完全注意モデル’

TLDR 私たちはPerceiver IOをTransformersに追加しました。これは、テキスト、画像、音声、ビデオ、ポイントクラウドなど、あらゆる種類のモダリティ（それらの組み合わせも含む）に対応した最初のTransformerベースのニューラルネットワークです。以下のスペースをご覧いただくと、いくつかの例をご覧いただけます。画像間のオプティカルフローの予測画像の分類。また、いくつかのノートブックも提供しています。以下に、モデルの技術的な説明をご覧いただけます。はじめに Transformerは、元々Vaswaniらによって2017年に紹介され、機械翻訳の最先端（SOTA）の結果を改善するというAIコミュニティでの革命を引き起こしました。2018年には、BERTがリリースされ、トランスフォーマーエンコーダ専用のモデルで、自然言語処理（NLP）のベンチマーク（特にGLUEベンチマーク）を圧倒的に上回りました。その後まもなくして、AI研究者たちはBERTのアイデアを他の領域にも適用し始めました。以下にいくつかの例を挙げます。 Facebook AIのWav2Vec2は、このアーキテクチャをオーディオに拡張できることを示しました。 Google AIのVision Transformer（ViT）は、このアーキテクチャがビジョンに非常に適していることを示しました。最近では、Google AIのVideo Vision Transformer（ViViT）もこのアーキテクチャをビデオに適用しました。これらのすべての領域で、大規模な事前トレーニングとこの強力なアーキテクチャの組み合わせにより、最先端の結果が劇的に改善されました。ただし、Transformerのアーキテクチャには重要な制約があります。自己注意機構により、計算およびメモリの両方でスケーリングが非常に悪くなります。各レイヤーでは、すべての入力をクエリとキーの生成に使用し、ペアごとのドット積を計算します。したがって、高次元データに自己注意を適用するには、ある形式の前処理が必要です。たとえば、Wav2Vec2では、生の波形を時間ベースの特徴のシーケンスに変換するために、特徴エンコーダを使用してこの問題を解決しています。Vision Transformer（ViT）は、画像を重ならないパッチのシーケンスに分割し、「トークン」として使用します。Video Vision Transformer（ViViT）は、ビデオから重ならない時空間の「チューブ」を抽出し、「トークン」として使用します。Transformerを特定のモダリティで動作させるためには、通常はトークンのシーケンスに離散化する必要があります。…

TransformersとRay Tuneを使用したハイパーパラメータの検索

Anyscale チームの Richard Liaw によるゲストブログ投稿最先端の研究実装や数千ものトレーニング済みモデルへの簡単なアクセスが可能な Hugging Face transformers ライブラリは、自然言語処理の成功と成長において重要な存在となっています。良いパフォーマンスを達成するために、ほとんどのユーザーはパラメータのチューニングを行う必要があります。しかし、ほとんどの人はハイパーパラメータのチューニングを無視するか、小さな探索空間で簡素なグリッドサーチを行うことを選択します。しかし、簡単な実験でも高度なチューニング手法の利点を示すことができます。以下は、Hugging Face transformers の BERT モデルを RTE データセットで実行した最近の実験結果です。PBT のような遺伝的最適化手法は、標準的なハイパーパラメータ最適化手法と比較して大幅なパフォーマンス向上を提供できます。アルゴリズム最高の検証精度最高のテスト精度合計…

シンプルな人々が派手なニューラルネットワークを構築するための簡単な考慮事項

写真提供：Henry & Co. （Unsplash）機械学習が産業のあらゆる分野に浸透するにつれて、ニューラルネットワークの注目度はこれまでにないほど高まっています。たとえば、GPT-3などのモデルは過去数週間でソーシャルメディア上で話題となり、テックニュース以外のメディアでも恐怖心を煽る見出しを掲載されています。一方で、ディープラーニングのフレームワーク、ツール、特化したライブラリにより、最先端の研究を利用した研究がこれまで以上に簡単に行えるようになり、機械学習の研究が民主化されつつあります。ほとんど魔法のようなプラグアンドプレイのコード5行で（ほぼ）最先端の結果を約束することがよくあります。私自身もHugging Face 🤗で働いているため、その点については一部罪を感じています。 😅 これにより、経験の浅いユーザーはニューラルネットワークがすでに成熟した技術であるかのような誤解を受けることがありますが、実際にはこの分野は常に発展途上にあるのです。実際には、ニューラルネットワークの構築とトレーニングは非常にイライラする経験になることがしばしばあります : 自分のモデル/コードのバグによるパフォーマンスの問題なのか、モデルの表現力による制約なのかを理解するのが難しいことがあります。プロセスの各ステップで微小なミスを何度も犯しても最初は気づかず、モデルは依然としてトレーニングされ、まあまあのパフォーマンスを示します。この記事では、ニューラルネットワークの構築とデバッグ時に考えるべき手順のいくつかを紹介します。「デバッグ」とは、自分が構築したものと自分が考えているものが一致していることを確認することを意味します。また、次のステップが何であるかわからない場合に考慮すべき事項も指摘します。これらは、自然言語処理の研究を通じた経験に基づく考え方の多くですが、ほとんどの原則は他の機械学習の分野にも適用できます。 1. 🙈 機械学習を置いておいて始める直感に反するかもしれませんが、ニューラルネットワークを構築する最初のステップは、機械学習を一旦置いて、単にデータに焦点を当てることです。例を見て、ラベルを見て、テキストを扱っている場合は語彙の多様性や長さの分布などにも注目してデータに深く入り込んでみてください。モデルが捉えられる可能性のある一般的なパターンを抽出するために、データに没頭することが重要です。数百の例を見ることで、高レベルのパターンを特定することができるでしょう。以下は、自分自身に対して考えるべきいくつかの典型的な質問です: ラベルはバランスしていますか？自分が同意しないゴールドラベルはありますか？データはどのように取得されましたか？このプロセスでのノイズの可能性のあるソースは何ですか？トークン化、URLやハッシュタグの削除など、自然な前処理ステップはありますか？例はどれだけ多様ですか？この問題に対してまあまあのパフォーマンスを示すルールベースのアルゴリズムは何ですか？…

パートナーシップ：Amazon SageMakerとHugging Face

この笑顔をご覧ください！本日、私たちはHugging FaceとAmazonの戦略的パートナーシップを発表しました。これにより、企業が最先端の機械学習モデルを活用し、最新の自然言語処理（NLP）機能をより迅速に提供できるようになります。このパートナーシップを通じて、Hugging Faceはお客様にサービスを提供するためにAmazon Web Servicesを優先的なクラウドプロバイダーとして活用しています。共通のお客様に利用していただくための第一歩として、Hugging FaceとAmazonは新しいHugging Face Deep Learning Containers（DLC）を導入し、Amazon SageMakerでHugging Face Transformerモデルのトレーニングをさらに簡単にする予定です。 Amazon SageMaker Python SDKを使用して新しいHugging Face DLCにアクセスし、使用する方法については、以下のガイドとリソースをご覧ください。 2021年7月8日、私たちはAmazon SageMakerの統合を拡張し、Transformerモデルの簡単なデプロイと推論を追加しました。Hugging…

分散トレーニング：🤗 TransformersとAmazon SageMakerを使用して、要約のためにBART/T5をトレーニングする

見逃した場合: 3月25日にAmazon SageMakerとのコラボレーションを発表しました。これにより、最新の機械学習モデルを簡単に作成し、先進的なNLP機能をより速く提供できるようになりました。 SageMakerチームと協力して、🤗 Transformers最適化のDeep Learning Containersを構築しました。AWSの皆さん、ありがとうございます！🤗 🚀 SageMaker Python SDKの新しいHuggingFaceエスティメーターを使用すると、1行のコードでトレーニングを開始できます。発表のブログ投稿では、統合に関するすべての情報、”はじめに”の例、ドキュメント、例、および機能へのリンクが提供されています。以下に再掲します: 🤗 Transformers ドキュメント: Amazon SageMaker サンプルノートブック Hugging Face用のAmazon SageMakerドキュメント Hugging Face用のPython…

Learn more about Search Results RPA - Page 16