Search Results A

「Rプログラミング言語を使った統計学入門」

基礎的な概念から高度な技術まで、この記事は包括的なガイドです。Rはオープンソースのツールであり、データ愛好家にデータの探索、分析、可視化を正確に行う能力を与えます。記述統計、確率分布、洗練された回帰モデルに取り組んでいる場合でも、Rの多様性と豊富なパッケージにより、シームレスな統計的探索が容易に行えます。 Rが提供する機能とパッケージを活用して、基礎を学び、複雑な手法を解説し、Rがデータ駆動の世界をより深く理解する手助けとなるような学習の旅に出ましょう。 Rとは何ですか？ Rは、統計解析向けに特別に設計された強力なオープンソースのプログラミング言語および環境です。統計学者によって開発され、データの操作、可視化、モデリングにおいて多目的なプラットフォームとして機能します。その広範なパッケージのコレクションにより、Rを使用することで複雑なデータの洞察力を解き明かし、情報に基づいた意思決定を推進することができます。統計学者やデータアナリストにとって頼りになるツールとして、Rはデータの探索と解釈へのアクセス可能なゲートウェイを提供します。詳しくはこちら：Scratchからデータサイエンスを学ぶための完全なチュートリアル Rプログラミングの基礎統計解析言語としてのRを使用する前に、Rプログラミングの基本概念に慣れることが重要です。より複雑な解析に取り組む前に、統計計算とデータ操作を駆動するエンジンであるRの基礎を理解することは不可欠です。インストールとセットアップ Rをコンピュータにインストールすることは必要な最初のステップです。公式ウェブサイト（The R Project for Statistical Computing）からプログラムをインストールおよびダウンロードすることができます。RStudio（Posit）は、Rコーディングをより実用的にするために使用するかもしれない統合開発環境（IDE）です。 Rの環境の理解 Rは、直接コマンドを入力して実行できるインタラクティブな環境を提供します。それはプログラミング言語であり、環境でもあります。IDEまたはコマンドラインインターフェースの2つの方法でRとコミュニケーションを取ることができます。計算、データ分析、可視化などのタスクをすべて実行できます。ワークスペースと変数 Rでは、セッション中に作成した変数やオブジェクトを現在のワークスペースに保持します。代入演算子（'<- ‘または ‘=’）を使用して、変数に値を与えることで変数を作成することができます。論理値、テキスト、数値などを含むデータを変数に格納することができます。基本構文 Rには学習しやすい直感的な構文があります。関数名の後に括弧で囲まれた引数を続けて書きます。たとえば、何かを印刷するには ‘print（）’関数を使用します。データ構造…

「今日必要なマーケティング分析とデータサイエンスのプロが持つべき5つのスキル」

2023年9月26日から28日まで、ワシントンD.C.で開催されるMADSカンファレンスにぜひご参加ください詳細はこちらでご確認いただけますまた、KDN100コードを使用して登録すると、カンファレンスパスが$100割引になります

Partners

Pythonにおける例外とエラー処理

エラーや例外がプログラムを予期しない動作にしたり、停止させることがありますPythonは、これらの問題を対処/処理し、信頼性を向上させるためのさまざまな機能やメカニズムを提供しています...

TinyML アプリケーション、制限、およびIoT＆エッジデバイスでの使用

過去数年間、人工知能（AI）と機械学習（ML）は、産業だけでなく学界でも人気と応用が急速に広まってきましたしかし、現在のMLとAIモデルには1つの大きな制限がありますそれは、望ましい結果を得るために膨大な計算と処理能力を必要とすることです[…]

「フレームワークによりロボットは連続した順序で対話的なタスクを実行できる」

新しいフレームワークにより、四足歩行ロボットは再学習することなく、ますます複雑なタスクを実行することができます

「効率的な変数選択のための新しいアルゴリズムが提案されました」

中国科学院合肥物质科学研究院の研究者たちは、化学計量学の応用のために変数選択アルゴリズムを開発しました

これらの便利なドローンは、空中で結合してより大きく、より強力なロボットを形成することができます

東京大学の研究者たちは、空中で組み立てと分解ができるドローンを開発しました

強化学習：マルコフ決定過程ー第1部

「私の以前のほとんどの記事では、主に教師あり学習について議論し、教師なし学習の要素をいくつか散りばめてきましたしかし、この記事と次の数記事では、私は試みて...」

大規模言語モデル（LLM）のファインチューニング入門ガイド

はじめに人工知能の進化と自然言語処理（NLP）の驚異的な進歩をたどる旅に出ましょう。AIは一瞬で急速に進化し、私たちの世界を形作っています。大規模言語モデルの微調整の地殻変動的な影響は、NLPを完全に変革し、私たちの技術的な相互作用を革命化しました。2017年にさかのぼり、「Attention is all you need」という画期的な「Transformer」アーキテクチャが生まれたという節目の瞬間を思い起こしてみてください。このアーキテクチャは現在、NLPの基盤となるものであり、有名なChatGPTを含むすべての大規模言語モデルのレシピに欠かせない要素です。 GPT-3のようなモデルを使って、連続性のある文脈豊かなテキストを簡単に生成することを想像してみてください。チャットボット、翻訳、コンテンツ生成のためのパワーハウスとして、その輝きはアーキテクチャと事前学習と微調整の緻密なダンスによって生まれます。私たちの今回の記事では、これらの変革的な手法の魅力に迫り、大規模言語モデルをタスクに活用するための事前学習と微調整のダイナミックなデュエットを巧みに扱う芸術を明らかにします。一緒にこれらの変革的な手法を解き明かす旅に出ましょう！学習目標 LLMアプリケーションを構築するさまざまな方法を理解する。特徴抽出、レイヤーの微調整、アダプターメソッドなどの技術を学ぶ。 Huggingface transformersライブラリを使用して、下流タスクでLLMを微調整する。 LLMの始め方 LLMは大規模言語モデルの略です。LLMは、人間のようなテキストの意味を理解し、感情分析、言語モデリング（次の単語の予測）、テキスト生成、テキスト要約など、さまざまなタスクを実行するために設計されたディープラーニングモデルです。これらのモデルは膨大なテキストデータで訓練されます。私たちは、これらのLLMをベースにしたアプリケーションを日常的に使っていますが、それに気づいていないことがあります。GoogleはBERT（Bidirectional Encoder Representations for Transformers）を使用して、クエリの補完、クエリの文脈の理解、より関連性の高く正確な検索結果の出力、言語翻訳など、さまざまなアプリケーションで使用しています。これらのモデルは、深層学習の手法、複雑なニューラルネットワーク、セルフアテンションなどの高度な技術を基に構築されています。これらのモデルは、言語のパターン、構造、意味を学ぶために膨大なテキストデータで訓練されます。これらのモデルは広範なデータセットで訓練されているため、それらを訓練するには多くの時間とリソースがかかり、ゼロから訓練することは合理的ではありません。特定のタスクにこれらのモデルを直接使用する方法があります。それでは、詳細について説明しましょう。 LLMアプリケーションを構築するさまざまな方法の概要私たちは日常生活で興味深いLLMアプリケーションをよく見ます。LLMアプリケーションを構築する方法について知りたいですか？以下はLLMアプリケーションを構築するための3つの方法です: ゼロからLLMを訓練する…

プリンストン大学の研究者が、MeZOというメモリ効率の高いゼロ次最適化器を紹介しましたこの最適化器は、大規模言語モデル（LLM）を微調整することができます

大きな言語モデルは、過去数ヶ月のジェネレーティブ人工知能の大成功により、急速に進化しています。これらのモデルは、驚くべき経済的および社会的変革に寄与しており、その最良の例はOpenAIによって開発されたChatGPTです。このチャットボットは、自然言語処理（NLP）と自然言語理解（NLU）に基づいており、ユーザーが人間のような意味のあるテキストを生成することができます。質問に意味を持って回答したり、長いパラグラフを要約したり、コードやメールを補完したりすることができます。PaLM、Chinchilla、BERTなどの他のLLMもAIの領域で優れたパフォーマンスを示しています。事前に学習された言語モデルの微調整は、多くの言語関連のタスクにおいて人気のある手法です。微調整により、これらのモデルは特定のドメインに適応し、人間の指示を組み込み、個々の好みに合わせることができます。基本的には、既に学習されたLLMのパラメータを、より小さくドメイン固有のデータセットを使用して調整します。言語モデルがパラメータを増やすにつれて、微調整は逆伝播中の勾配計算の過程で計算量が多く、メモリを多く必要とします。メモリ使用量は、アクティベーションや勾配のキャッシュ、勾配履歴の保存などの関与により、推論に必要なものよりも大幅に高くなります。最近、プリンストン大学の研究チームがメモリの問題に対する解決策を提案しました。MeZOと呼ばれるメモリ効率の高い零次勾配最適化手法は、従来のZO-SGD手法を改変して開発され、損失値の差分のみを使用して勾配を推定し、推論と同じメモリフットプリントで動作します。MeZOでは、ZO手法が2つの順方向パスのみを使用して勾配を推定できるため、メモリ効率が高いとされています。 MeZOアルゴリズムは、数十億のパラメータを持つ大規模な言語モデルの最適化に特に設計されています。チームが挙げた主な貢献は次のとおりです。 MeZOは、ZO-SGD手法といくつかの変種を修正して、任意のサイズのモデルでインプレースで実行し、ほとんどメモリのオーバーヘッドを発生させずに開発されました。 MeZOは、PEFTやLoRA、接頭辞調整などの包括的なパラメータ調整と互換性があります。 MeZOは、同じメモリ量を使用しながら、精度やF1スコアなどの微分できない目標を改善することができます。適切な事前学習により、MeZOのステップごとの最適化率とグローバル収束率は、大数のパラメータによるというよりも、特定の条件数であるランドスケープの効果的なローカルランクに依存することが保証されます。これは、収束率がパラメータの数に応じて遅くなるという以前のZOの下限とは対照的です。実験では、マスクされたLMや自己回帰LMなどのさまざまなモデルタイプでのテスト、および分類、多肢選択、生成などの下流タスクで、モデルは350Mから66Bまでスケーリングされました。 MeZOは、zero-shot、ICL、および線形プロービングに対して実験で優れたパフォーマンスを発揮し、OPT-13Bにおいては、RoBERTa-largeや通常の微調整よりも約12倍少ないメモリを消費しながら、11つのテストのうち7つで微調整と同等かそれ以上のパフォーマンスを発揮します。評価によれば、MeZOは単一のNvidia A100 80GB GPUを使用して30兆パラメータのモデルをトレーニングすることができましたが、同じメモリ制約内ではバックプロパゲーションは2.7兆パラメータのLMのみをトレーニングすることができます。結論として、MeZOはメモリ効率の高い零次勾配最適化手法であり、大規模な言語モデルを効果的に微調整することができます。

Learn more about Search Results A - Page 682