Search Results Falcon

MAmmoTHとは、一般的な数学問題解決に特化したオープンソースの大規模言語モデル（LLM）シリーズです

現代の大規模言語モデル（LLM）は、数学的な推論に大きく依存しており、それがこの研究の主な焦点です。最近の進歩にもかかわらず、クローズドソースのモデル（GPT-4、PaLM-2、Claude 2など）は、GSM8KやMATHなどの人気のある数学的な推論のベンチマークを支配しており、オープンソースのモデル（Llama、Falcon、OPTなど）は遠く及ばない状況があります。このギャップを埋めるためには、2つの主要なアプローチがあります： GalacticaやMINERVAなどの継続的な事前学習：この方法では、数学に関連するウェブデータの100Bトークン以上を用いてLLMをトレーニングしています。計算コストが高いですが、この方法によりモデルの科学的推論能力が一般的に向上します。 RFT（rejection sampling fine-tuning）やWizardMathなどのデータセットごとに特化したファインチューニング手法：これらの手法は、それぞれのドメイン内では効果的ですが、推論が必要な数学の他の領域には適用できません。ウォータールー大学、オハイオ州立大学、HKUST、エディンバラ大学、IN.AIの最近の研究は、軽量かつ汎用性のある数学の指導調整技術を採用し、LLMの数学的推論能力を向上させる方法を模索しています（ファインチューニングタスクだけでなく一般的に）。現在のアプローチは、Chain-of-Thought（CoT）の方法論に大いに依存しており、数学の問題を自然言語のステップで解決する方法を説明しています。しかし、この方法は計算精度や難しい数学的・アルゴリズム的推論手法には対応しきれません。PoTやPALのようなコードベースの手法では、数学問題の解決手順を効率化するためにサードパーティのリソースを使用します。この方法では、計算量の多いタスク（例：sympyを使用した二次方程式の解法やnumpyを使用した行列の固有値の計算など）を別のPythonインタプリタに委任することが推奨されます。一方、PoTはより抽象的な推論シナリオ（常識的な推論、形式論理、抽象代数など）を扱う際にはいくつかの制限があります、特に事前存在しないAPIの場合には。 CoTとPoTの両方の利点を活かすために、研究チームは数学のための新しいハイブリッドな指導調整データセット「MathInstruct」を提案しています。その主な特徴は次のとおりです：さまざまな数学的領域と複雑度レベルの包括的なカバレッジハイブリッドなCoT＆PoTの根拠 6つの新たに選択されたデータセットと7つの既存のデータセットがMathInstructの数学的な正当化の基盤を提供しています。モデリングの観点から、研究者たちは入出力形式とデータソースの変動の影響を調べるために、約50のユニークなモデルをトレーニングおよび評価しています。結果として得られたモデルは数学的な一般化能力において非常に優れています。研究者たちは、MAmmoTHをGSM8K、MATH、AQuA-RAT、NumGLUEなどの様々なデータセットに対してテストしました。これらのモデルは、オープンソースのLLMの数学的な推論の効率を大幅に向上させ、最新のアプローチよりもOOD（ドメイン外）データセットに対してより一般化された性能を示します。人気のあるコンペティションレベルのMATHデータセットでの7Bモデルの結果は、WizardMath（オープンソースのMATHの最先端技術）よりも3.5倍（35.2％対10.7％）優れており、34BのMAmmoTH-Coder（Code Llamaで調整）の結果はCoTを使用したGPT-4よりも優れています。MAmmoTHとMAmmoTH-Coderの両方のモデルは、以前のオープンソースモデルよりも大幅に精度が向上しています。

「キャンドルとファルコン：Rustでの大規模言語モデルガイド」

「人工知能（AI）は、テクノロジーやデータとのインタラクションの仕方を形作り続けていますAIと機械学習の世界で最もエキサイティングな進展の1つは、導入された…」

コーディングなしで独自のLLMをトレーニングする

イントロダクション生成AIは、私たちがテクノロジーとコンテンツの生成方法を革新するという魅力的な分野で、世界中で大きな注目を浴びています。この記事では、大規模言語モデル（LLM）の魅力的な領域、その構成要素、クローズドソースLLMがもたらす課題、そしてオープンソースモデルの出現について探求します。さらに、h2oGPTやLLM DataStudioなどのツールやフレームワークを含むH2OのLLMエコシステムについても詳しく説明します。これらのツールとフレームワークにより、コーディングスキルをほとんど必要とせずにLLMをトレーニングすることができます。学習目標：大規模言語モデル（LLM）を使用した生成AIの概念と応用を理解する。クローズドソースLLMの課題とオープンソースモデルの利点を認識する。コーディングスキルをほとんど必要とせずにAIのトレーニングを行うためのH2OのLLMエコシステムを探索する。 LLMの構成要素：基礎モデルと微調整 LLMの詳細を掘り下げる前に、生成AIの概念を把握しましょう。予測AIが主流であり、過去のデータパターンに基づいて予測に焦点を当てる一方で、生成AIはその逆です。既存のデータセットから新しい情報を生成する能力を機械に与えます。単一のモデルからテキストを予測・生成し、コンテンツを要約し、情報を分類するなど、さまざまなことができる機械学習モデルを想像してみてください。それが大規模言語モデル（LLM）の役割です。 LLMは、まず基礎モデルから始まる多段階のプロセスに従います。このモデルは、しばしばテラバイトまたはペタバイト単位のデータセット上でトレーニングするため、膨大なデータが必要です。この基礎モデルは、次の単語をシーケンスで予測することにより学習し、データ内のパターンを理解することを目指します。基礎モデルが確立されたら、次のステップは微調整です。このフェーズでは、キュレートされたデータセットでの教師付き微調整を行い、モデルを所望の動作に適合させます。これには、モデルを特定のタスク（例：多肢選択、分類など）を実行できるようにトレーニングすることが含まれます。第三のステップである人間のフィードバックに基づく強化学習により、モデルのパフォーマンスをさらに向上させます。人間のフィードバックに基づいた報酬モデルを使用することで、モデルは予測をより人間の好みに合わせて微調整します。これによりノイズが減少し、応答の品質が向上します。このプロセスの各ステップがモデルのパフォーマンスを向上させ、不確実性を減らすのに寄与しています。なお、基礎モデル、データセット、および微調整戦略の選択は、具体的なユースケースに依存することに注意してください。クローズドソースLLMの課題とオープンソースモデルの台頭 ChatGPT、Google BardなどのクローズドソースLLMは、効果を示していますが、いくつかの課題も抱えています。これには、データプライバシーへの懸念、カスタマイズと制御の制約、高い運用コスト、時々の利用不可などが含まれます。組織や研究者は、よりアクセス可能でカスタマイズ可能なLLMの必要性を認識しています。そのため、彼らはオープンソースモデルの開発を始めています。これらのモデルは、コスト効果があり、特定の要件に合わせてカスタマイズすることができます。また、機密データを外部サーバーに送信することへの懸念も解消されます。オープンソースLLMは、ユーザーにモデルのトレーニングとアルゴリズムの内部動作へのアクセス権を与えます。このオープンなエコシステムは、さまざまなアプリケーションにとって有望なソリューションとなるため、より多くの制御と透明性を提供します。 H2OのLLMエコシステム：コーディング不要のLLMトレーニング用ツールとフレームワーク機械学習の世界で著名なH2Oは、LLM用の堅牢なエコシステムを開発しました。彼らのツールとフレームワークは、広範なコーディングの専門知識を必要とせずにLLMのトレーニングを容易にします。以下に、これらのコンポーネントのいくつかを紹介します。 h2oGPT h2oGPTは、独自のデータでトレーニングできる微調整済みのLLMです。最高の部分は何でしょうか？完全に無料で使用できます。h2oGPTを使用すると、LLMの実験を行い、商業的にも適用することができます。このオープンソースモデルを使用することで、財務上の障壁なしにLLMの機能を探索できます。展開ツール…

「ベイチュアン2に会おう：7Bおよび13Bのパラメータを持つ大規模な多言語言語モデルのシリーズ、2.6Tトークンでゼロからトレーニングされました」

大規模言語モデルは近年、大きな進展を遂げています。GPT3、PaLM、Switch Transformersなどの言語モデルは、以前のELMoやGPT-1のようなモデルの数百万から、数十億、あるいは数兆のパラメータを持つようになりました。人間に似た流暢さを持ち、様々な自然言語の活動を行う能力は、モデルのサイズの成長により大幅に向上しました。OpenAIのChatGPTのリリースにより、これらのモデルが人間の話し言葉に似たテキストを生成する能力が大いに注目されました。ChatGPTは、カジュアルな会話から難しいアイデアの明確化まで、さまざまな文脈で優れた言語スキルを持っています。この革新は、自然言語の生成と理解を必要とするプロセスを自動化するために、巨大な言語モデルがどのように使用されるかを示しています。LLMの革新的な開発と使用が進んでいるにもかかわらず、GPT-4、PaLM-2、ClaudeなどのトップのLLMのほとんどはまだクローズドソースです。モデルのパラメータについて開発者や研究者が部分的なアクセスしか持てないため、このコミュニティがこれらのシステムを徹底的に分析や最適化することは困難です。LLMの透明性とオープンさがさらに向上することで、この急速に発展している分野での研究と責任ある進歩が加速される可能性があります。Metaが作成した巨大な言語モデルのコレクションであるLLaMAは、完全にオープンソースであることにより、LLMの研究コミュニティに大いに役立っています。 OPT、Bloom、MPT、Falconなどの他のオープンソースLLMとともに、LLaMAのオープンな設計により、研究者はモデルに自由にアクセスし、分析、テスト、将来の開発を行うことができます。このアクセシビリティとオープンさにより、LLaMAは他のプライベートLLMとは一線を画しています。Alpaca、Vicunaなどの新しいモデルは、オープンソースLLMの研究と開発のスピードアップによって可能になりました。しかし、英語はほとんどのオープンソースの大規模言語モデルの主な焦点となっています。たとえば、LLaMAの主なデータソースであるCommon Crawl1は、67%の事前学習データを含んでいますが、英語の資料しか含むことが許可されていません。MPTやFalconなど、異なる言語の能力に制約のあるフリーソースLLMも主に英語に焦点を当てています。そのため、中国語などの特定の言語でのLLMの開発と使用は困難です。Baichuan Inc.の研究者は、この技術的な研究で、広範な多言語言語モデルのグループであるBaichuan 2を紹介しています。Baichuan 2には、13兆パラメータを持つBaichuan 2-13Bと7兆パラメータを持つBaichuan 2-7Bの2つの異なるモデルがあります。両モデルは、Baichuan 1よりも2.6兆トークン以上のデータを使用してテストされました。Baichuan 2は、大量のトレーニングデータにより、Baichuan 1を大幅に上回るパフォーマンスを発揮します。Baichuan 2-7Bは、MMLU、CMMLU、C-Evalなどの一般的なベンチマークで、Baichuan 1-7Bよりも約30%優れたパフォーマンスを示します。Baichuan 2は特に数学とコーディングの問題のパフォーマンスを向上させるように最適化されています。 Baichuan 2は、GSM8KとHumanEvalのテストでBaichuan 1の結果をほぼ2倍に向上させます。また、Baichuan 2は医療および法律の領域の仕事でも優れた成績を収めています。MedQAやJEC-QAなどのベンチマークで他のオープンソースモデルを上回り、ドメイン特化の最適化のための良い基礎モデルとなっています。彼らはまた、人間の指示に従う2つのチャットモデル、Baichuan 2-7B-ChatとBaichuan 2-13B-Chatを作成しました。これらのモデルは、対話や文脈を理解するのに優れています。彼らはBaichuan 2の安全性を向上させるための戦略についてさらに詳しく説明します。これらのモデルをオープンソース化することで、大規模言語モデルのセキュリティをさらに向上させながら、LLMの責任ある作成に関する研究を促進することができます。…

「LLM Fine-Tuningの理解：大規模言語モデルを独自の要件に合わせる方法」

「Llama 2のような大規模言語モデル（LLM）の微調整技術の最新の進展を探索してくださいLow-Rank Adaptation（LoRA）やQuantized LoRA（QLoRA）などの技術が、新しい利用におけるモデルの適応を革新している方法を学びましょう最後に、人間のフィードバックからの強化学習による微調整が、LLMをより人間の価値観に近づける方法にどのように影響しているかを見てみましょう」

RayはNVIDIA AIとの協業により、開発者が製品向けのLLMを構築、調整、トレーニング、スケールアップするのを支援します

大規模言語モデルの開発は、NVIDIAとAnyscaleのコラボレーションにより、超音速の速さに達する予定です。 Anyscaleは、急速に成長しているスケーラブルなコンピューティングのためのオープンソースの統一コンピュートフレームワークを開発している会社であり、そのAnyscaleプラットフォームとRayオープンソースにNVIDIA AIを組み込むことを発表しました。また、新たに発表されたAnyscaleエンドポイントにも統合され、最も人気のあるオープンソースモデルを使用してアプリケーション開発者がLLMを容易に埋め込むことができるようになります。これらの統合により、Code Llama、Falcon、Llama 2、SDXLなどのプライプライエタリなLLMからオープンモデルまで、生成型AIの開発と効率が大幅に向上し、生産型AIのセキュリティも強化されます。開発者は、RayとオープンソースのNVIDIAソフトウェアをデプロイする柔軟性があります。または、Anyscaleプラットフォームで実行されるNVIDIA AI Enterpriseソフトウェアを選択して、完全にサポートされたセキュアな本番環境にデプロイすることもできます。 RayとAnyscaleプラットフォームは、知的なチャットボット、コーディングコパイロット、強力な検索および要約ツールを駆動する生成型AIアプリケーションを構築する開発者に広く使用されています。 NVIDIAとAnyscaleがスピード、コスト削減、効率を提供生成型AIアプリケーションは、世界中の企業の注目を集めています。LLMの微調整、拡張、実行には、莫大な投資と専門知識が必要です。NVIDIAとAnyscaleは、さまざまなアプリケーションの統合により、生成型AIの開発と展開のコストと複雑さを低減するお手伝いができます。先週発表された新しいオープンソースソフトウェア、NVIDIA TensorRT-LLMは、Anyscaleの提供をサポートし、LLMのパフォーマンスと効率を向上させ、コスト削減を実現します。NVIDIA AI Enterpriseソフトウェアプラットフォームでもサポートされていて、Tensor-RT LLMはNVIDIA H100 Tensor Core GPUで実行する場合、前世代のGPUに比べて最大8倍の高性能を提供する、複数のGPU上でモデルを並列に実行する自動スケーリングを実装しています。 TensorRT-LLMは、さまざまな人気のあるLLMモデルに対して、カスタムGPUカーネルと最適化を含み、NVIDIA H100 Tensor…

「プロダクションでのあなたのLLMの最適化」

注意: このブログ投稿は、Transformersのドキュメンテーションページとしても利用可能です。 GPT3/4、Falcon、LLamaなどの大規模言語モデル（LLM）は、人間中心のタスクに取り組む能力を急速に向上させており、現代の知識ベース産業で不可欠なツールとして確立しています。しかし、これらのモデルを実世界のタスクに展開することは依然として課題が残っています：ほぼ人間のテキスト理解と生成能力を持つために、LLMは現在数十億のパラメータから構成される必要があります（Kaplanら、Weiら参照）。これにより、推論時のメモリ要件が増大します。多くの実世界のタスクでは、LLMには豊富な文脈情報が必要です。これにより、推論中に非常に長い入力シーケンスを処理する能力が求められます。これらの課題の核心は、特に広範な入力シーケンスを扱う場合に、LLMの計算およびメモリ能力を拡張することにあります。このブログ投稿では、効率的なLLMの展開のために、現時点で最も効果的な技術について説明します：低精度: 研究により、8ビットおよび4ビットの数値精度で動作することが、モデルのパフォーマンスに大幅な低下を伴わずに計算上の利点をもたらすことが示されています。 Flash Attention: Flash Attentionは、よりメモリ効率の高いアテンションアルゴリズムのバリエーションであり、最適化されたGPUメモリの利用により、高い効率を実現します。アーキテクチャのイノベーション: LLMは常に同じ方法で展開されるため、つまり長い入力コンテキストを持つ自己回帰的なテキスト生成として、より効率的な推論を可能にする専用のモデルアーキテクチャが提案されています。モデルアーキテクチャの中で最も重要な進歩は、Alibi、Rotary embeddings、Multi-Query Attention（MQA）、Grouped-Query-Attention（GQA）です。このノートブックでは、テンソルの視点から自己回帰的な生成の分析を提供し、低精度の採用の利点と欠点について包括的な探索を行い、最新のアテンションアルゴリズムの詳細な調査を行い、改良されたLLMアーキテクチャについて議論します。これを行う過程で、各機能の改善を示す実用的な例を実行します。 1. 低精度の活用 LLMのメモリ要件は、LLMを重み行列とベクトルのセット、およびテキスト入力をベクトルのシーケンスとして見ることで最も理解できます。以下では、重みの定義はすべてのモデルの重み行列とベクトルを意味するために使用されます。この投稿の執筆時点では、LLMは少なくとも数十億のパラメータから構成されています。各パラメータは通常、float32、bfloat16、またはfloat16形式で保存される10進数の数値で構成されています。これにより、LLMをメモリにロードするためのメモリ要件を簡単に計算できます： X十億のパラメータを持つモデルの重みをロードするには、おおよそ4 *…

TensorRT-LLMとは、NVIDIA Tensor Core GPU上の最新のLLMにおいて推論パフォーマンスを高速化し最適化するためのオープンソースライブラリです

人工知能（AI）の大規模言語モデル（LLM）は、テキストを生成したり、言語を翻訳したり、さまざまな形式の創造的な素材を書いたり、質問に役立つ回答を提供したりすることができます。ただし、LLMにはいくつかの問題があります。例えば、バイアスが含まれる可能性のある大規模なテキストやコードのデータセットで訓練されていることです。LLMが生成する結果には、これらの偏見が反映され、否定的なステレオタイプを強化し、誤った情報を広める可能性があります。時には、LLMは現実に基づかない文章を生成することもあります。これらの体験を幻覚と呼びます。幻覚的なテキストを読むことで、誤解や誤った推論が生じる可能性があります。LLMの内部の動作原理を理解するには、作業が必要です。そのため、医療や金融など、オープンさと責任が重要な文脈で問題が生じる可能性があります。LLMのトレーニングと展開には、大量の計算能力が必要です。これにより、多くの中小企業や非営利団体にはアクセスできなくなる可能性があります。スパム、フィッシングメール、フェイクニュースなど、悪情報がLLMを使用して生成されることがあります。これによってユーザーや企業が危険にさらされる可能性があります。 NVIDIAの研究者は、Meta、Anyscale、Cohere、Deci、Grammarly、Mistral AI、MosaicML（現在はDatabricksの一部）、OctoML、Tabnine、Together AIなどの業界のリーダーと協力し、LLMの推論の高速化とパーフェクト化に取り組んでいます。これらの改善は、近日公開予定のオープンソースNVIDIA TensorRT-LLMソフトウェアバージョンに含まれます。TensorRT-LLMは、NVIDIAのGPUを利用して最適化されたカーネル、前処理および後処理フェーズ、およびマルチGPU／マルチノード通信プリミティブを提供するディープラーニングコンパイラです。開発者は、C++やNVIDIA CUDAの詳しい知識を必要とせずに、新しいLLMを試行することができ、優れたパフォーマンスと迅速なカスタマイズオプションを提供します。オープンソースのモジュラーなPython APIを備えたTensorRT-LLMは、LLMの開発において新しいアーキテクチャや改良を定義、最適化、実行することを容易にします。 NVIDIAの最新のデータセンターGPUを活用することで、TensorRT-LLMはLLMのスループットを大幅に向上させながら、経費を削減することを目指しています。プロダクションにおける推論のためのLLMの作成、最適化、実行には、TensorRT Deep Learning Compiler、FasterTransformerからの最適化されたカーネル、前処理および後処理、マルチGPU／マルチノード通信をカプセル化した、わかりやすいオープンソースのPython APIが提供されます。 TensorRT-LLMにより、より多様なLLMアプリケーションが可能になります。MetaのLlama 2やFalcon 180Bなどの700億パラメータのモデルが登場した現在、定型的なアプローチはもはや実用的ではありません。このようなモデルのリアルタイムパフォーマンスは、通常、マルチGPUの構成や複雑な調整に依存しています。TensorRT-LLMは、重み行列をデバイス間で分散させるテンソル並列処理を提供することで、このプロセスを効率化し、開発者が手動で断片化や再配置を行う必要をなくします。また、LLMアプリケーションには非常に変動するワークロードが特徴であるため、フライト中のバッチ最適化は効果的に管理するための注目すべき機能です。この機能により、質問応答型チャットボットや文書要約などのタスクにおいて、動的な並列実行が可能となり、GPUの利用率を最大限に引き出すことができます。AIの実装の規模と範囲の拡大を考慮すると、企業は所有コストの削減を期待できます。性能面でも驚異的な結果が出ています。TensorRT-LLMを使用した場合、TensorRT-LLMを使用しない場合やA100と比較した場合、NVIDIA H100を使用した場合の記事要約などのタスクで、8倍の性能向上が見られます。図1. GPT-J-6B A100とTensorRT-LLMを使用したH100の比較 | テキスト要約、可変長の入出力、CNN /…

LLMとデータ分析：ビジネスの洞察を得るためにAIがビッグデータを理解する方法

大規模言語モデル（LLM）は、企業に有益な洞察を提供するために広範なデータセットを分析する能力を持っています。この記事では、企業がLLMを利用して顧客のレビューやソーシャルメディアのインタラクション、さらには内部レポートを分析し、情報に基づいたビジネス上の意思決定を行っている方法について探求しています。 LLMとは何か、そしてデータ分析にどのように使用できるのか大規模言語モデル（LLM）は、数十億のパラメータを持つ強力なニューラルネットワークです。彼らは半教師あり学習を用いて膨大な量のテキストデータで訓練されています。これらのモデルは数学的な推論や感情分析などのタスクを実行することができ、人間の言語の構造と意味を理解していることを示しています。 LLMは、数百テラバイトにわたるデータで訓練されており、深い文脈的な理解を備えています。この理解はさまざまなアプリケーションにわたり、異なるプロンプトに対して高い効果を発揮します。 LLMは、テキストファイルやウェブページなどの非構造化データを効果的に分析することができます。感情分析やテキストデータの分類・要約に非常に優れています。テキストの潜在的な感情やテーマを把握できるため、顧客フィードバックの分析、市場調査、ソーシャルメディアの監視に理想的です。従来の分析手法との違いは何ですか？決定木や勾配ブースティングなどの従来の機械学習モデルは、テーブル形式で表される構造化データを扱うのにより効果的です。対照的に、LLMはテキストファイルのような非構造化データと一緒に作業します。 LLMは自然言語理解や生成のタスクに優れており、強力な処理および人間の言語生成能力を提供します。ただし、構造化データ、画像解析、クラスタリングの処理には向いておらず、上記で言及した従来の手法の方が非常に優れています。従来の手法と比較して、LLMは最小限のデータ前処理と特徴量エンジニアリングを必要とします。LLMは膨大なテキストデータで訓練されており、生のテキストからパターンや表現を自動的に学習するように設計されているため、さまざまな自然言語理解のタスクに対応できる汎用性があります。ただし、LLMの一つの重要な課題は、解釈性の低さです。これらのモデルがどのように結論に至るのか、また特定の出力を生成するのかを理解することは困難です。なぜなら、彼らの意思決定プロセスには透明性がないからです。データ分析におけるLLMの実用的な応用大量のテキストデータを処理できる能力により、LLMはデータ分析および科学ワークフローで価値があります。彼らが使用されている方法の一部は以下の通りです：感情分析：大規模言語モデルは感情分析を実行でき、テキスト内の感情や主観的情報を認識し分類することができます。感情ラベルを提供するデータセットで微調整することにより、テキストデータの意見を自動的に特定し分類することができます。感情分析を使用することで、LLMは特に顧客レビューの分析に役立ちます。固有表現抽出（NER）：LLMは、非構造化テキスト内の名前、場所、会社、イベントなどの重要なエンティティを識別および分類することでNERに優れています。言語の文脈やニュアンスを把握するためにディープラーニングアルゴリズムを活用しています。テキスト生成：LLMは優れた文脈に適したテキストを生成することができ、ビジネスユーザーとの有意義な会話を行い、彼らの問い合わせに正確な回答を提供するためのチャットボットの作成に使用することができます。大規模言語モデルは、データサイエンスのタスクにおける自然言語理解の向上に不可欠です。他の技術と組み合わせることで、製品レビューやソーシャルメディアの投稿、顧客アンケート回答などのテキストデータに対して微妙な意味を解明することができます。企業はどのようにLLMを活用できるのか？仮想アシスタント LLMを搭載したチャットボットは、従業員の作業時間を最適化し、コストを削減するのに役立ちます。これらのチャットボットはルーチンタスクを処理し、従業員をより複雑で戦略的な業務に割り当てることができます。IBM Watson Assistantは、顧客管理に焦点を当てた会話型AIプラットフォームであり、機械学習を利用して問い合わせを処理し、チャットを介してユーザーをアクションの実行に案内し、必要に応じて人間のエージェントに移行することができます。さらに、24時間365日の利用可能性と高い精度を提供します。詐欺検出 LLMは、アラートをトリガーするパターンを特定することで詐欺検出を自動化するのに役立ちます。その効率性、スケーラビリティ、機械学習の能力から、企業にとって魅力的な存在です。たとえば、グローバルな金融機関が利用するFICOのFalcon Intelligence…

「SafeCoder対クローズドソースのコードアシスタント」

数十年にわたり、ソフトウェア開発者は、コード品質の向上と生産性の向上を支援するための手法、プロセス、ツールを設計してきました。たとえば、アジャイル、テスト駆動開発、コードレビュー、CI/CDなどは、今やソフトウェア業界の定番です。 Googleは「How Google Tests Software」（Addison-Wesley、2012）で、システムテストの最終テスト段階でバグを修正するコストが、ユニットテスト段階で修正するコストの1000倍高いと報告しています。これにより、チェーンの最初のリンクである開発者には、初めから品質の高いコードを書くという大きなプレッシャーがかかります。生成型AIに関する大騒ぎがある一方で、コード生成は開発者が迅速に優れたコードを提供するのに有望な方法のようです。実際、早期の研究では、GitHub CopilotやAmazon CodeWhispererなどの管理されたサービスが、開発者の生産性を向上させるのに役立つことが示されています。ただし、これらのサービスはユーザー固有の技術文化やプロセスにカスタマイズできないクローズドソースのモデルに依存しています。Hugging Faceは数週間前にSafeCoderをリリースし、この問題を解決しました。SafeCoderは、エンタープライズ向けのコードアシスタントソリューションであり、最新のモデル、透明性、カスタマイズ性、ITの柔軟性、プライバシーを提供します。この記事では、SafeCoderをクローズドソースのサービスと比較し、当社のソリューションから期待できる利点を強調します。最先端のモデル SafeCoderは現在、StarCoderモデルをベースに構築されています。StarCoderは、BigCode共同プロジェクト内で設計およびトレーニングされたオープンソースモデルのファミリーです。 StarCoderは、80以上のプログラミング言語でコード生成のためにトレーニングされた155億のパラメータモデルです。Multi-Query Attention（MQA）などの革新的なアーキテクチャの概念を使用してスループットを向上させ、レイテンシを低減させる技術を採用しています。この技術は、FalconとLLaMa 2モデルでも使用されています。 StarCoderは8192トークンのコンテキストウィンドウを持っており、より多くのコードを考慮して新しいコードを生成するのに役立ちます。また、コードの末尾に新しいコードを追加するだけでなく、コードの途中にも挿入することができます。さらに、HuggingChatと同様に、SafeCoderは時間の経過とともに新しい最先端のモデルを導入し、シームレスなアップグレードパスを提供します。残念ながら、クローズドソースのコードアシスタントサービスは、基礎となるモデル、その機能、およびトレーニングデータに関する情報を共有していません。透明性 SafeCoderは、チンチラのスケーリング法則に従って、1兆（1,000億）のコードトークンでトレーニングされたコンピューティング最適化モデルです。これらのトークンは、許可されたオープンソースリポジトリから抽出された2.7テラバイトのデータセットで構築されています。オプトアウトのリクエストへの対応に努め、リポジトリ所有者が自分のコードがデータセットの一部であるかどうかを確認するためのツールも開発しました。透明性の精神に則り、研究論文ではモデルのアーキテクチャ、トレーニングプロセス、詳細なメトリクスについて開示しています。残念ながら、クローズドソースのサービスは、「数十億行のコードでトレーニングされました」といった曖昧な情報にとどまっています。私たちの知る限りでは、利用可能なメトリクスはありません。カスタマイズ性…

Learn more about Search Results Falcon - Page 11