このAI研究は、ITオペレーション向けの新しい大規模言語モデルであるOwlを紹介します

This AI research introduces Owl, a new large-scale language model for IT operations.

自然言語処理(NLP)と人工知能(AI)の絶え間なく進化する風景の中で、大規模言語モデル(LLM)は、さまざまなNLPのタスクで驚くべき能力を示す強力なツールとして登場しました。しかし、現在のモデルには、ITオペレーションに特化した大規模言語モデル(LLM)が不足しているという重要なギャップがあります。このギャップは、この分野を特徴付ける独自の用語、手続き、文脈の複雑さによって課題が生じます。その結果、ITオペレーション内の複雑さを効果的にナビゲートし、対処するための専門のLLMを作成するという緊急の必要性が浮かび上がります。

ITの分野において、NLPとLLMの技術の重要性はますます高まっています。情報セキュリティ、システムアーキテクチャ、および他のITオペレーションの側面に関連するタスクには、ドメイン固有の知識と用語が必要です。従来のNLPモデルは、ITオペレーションの微妙なニュアンスを解読するのに苦労することがよくあり、専門の言語モデルへの需要が高まっています。

この課題に対処するために、研究チームはITオペレーションに特化した大規模言語モデル「Owl」を導入しました。この専門のLLMは、「Owl-Instruct」という注意深くキュレーションされたデータセットでトレーニングされており、情報セキュリティ、システムアーキテクチャなど、さまざまなIT関連のドメインをカバーしています。目標は、OwlにIT関連のタスクで優れた成績を収めるために必要なドメイン固有の知識を装備することです。

研究者たちは、OwlをOwl-Instructデータセットで自己指導戦略を実装してトレーニングしました。このアプローチにより、モデルはシングルターンとマルチターンのシナリオの両方をカバーする多様な指示を生成することができます。モデルのパフォーマンスを評価するために、チームは「Owl-Bench」というベンチマークデータセットを導入しました。これには、9つの異なるITオペレーションドメインが含まれています。

彼らは、タスク固有およびドメイン固有の表現を許可する「アダプタの混合」戦略を提案し、教師ありの微調整を容易にすることでモデルのパフォーマンスをさらに向上させました。TopK(·)は、すべてのLoRAアダプタの選択確率を計算し、確率分布に従って上位kのLoRAエキスパートを選択する選択関数です。アダプタの混合戦略は、トップkのエキスパートを活性化することによって、異なる入力文に対して言語感度のある表現を学習することです。

トレーニングデータの不足にもかかわらず、OwlはRandIndexで0.886、最高のF1スコアで0.894の比較可能なパフォーマンスを達成しています。RandIndexの比較の文脈では、Owlはドメイン内のログに広範にトレーニングされたLogStampと対比して、わずかなパフォーマンスの低下を示します。細かいレベルのF1比較の領域では、Owlは他のベースラインを大幅に上回り、以前に見たことのないログ内の変数を正確に識別する能力を示します。特筆すべきは、logPromptの基礎モデルはChatGPTであるということです。同一の基本設定の下でChatGPTと比較した場合、Owlはこのタスクで優れたパフォーマンスを発揮し、オペレーションとメンテナンスの領域で大規模モデルの堅牢な汎化能力を強調しています。

結論として、OwlはITオペレーションの領域における画期的な進歩を表しています。多様なデータセットで綿密にトレーニングされ、IT関連のベンチマークで厳密に評価された専門の大規模言語モデルです。この専門のLLMは、ITオペレーションの管理と理解の方法を革新します。研究者の業績は、ドメイン固有のLLMの需要に対応するだけでなく、効率的なITデータ管理と分析のための新たな可能性を開拓し、最終的にはITオペレーション管理の分野を前進させます。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

AIニュース

「トップ40+の生成AIツール(2023年9月)」

ChatGPT – GPT-4 GPT-4はOpenAIの最新のLLMであり、従来のモデルよりも創造的で正確かつ安全です。また、画像、PDF、CSVなど...

機械学習

Rによるディープラーニング

このチュートリアルでは、Rで深層学習タスクを実行する方法を学びます

機械学習

ニューラルネットワークにおける系統的組み合わせ可能性の解除:組み合わせ可能性のためのメタラーニング(MLC)アプローチによるブレイクスルー

人工知能(Artificial Intelligence)と機械学習(Machine Learning)の分野はますます普及しています。これらの領域での主要...

AI研究

「UCLAの研究者が提案するPhyCV:物理に触発されたコンピュータビジョンのPythonライブラリ」

人工知能はコンピュータビジョンの分野で注目すべき進歩を遂げています。その中でも、ディープラーニングという分野では、大...

データサイエンス

「人工知能の炭素足跡」

AIの使用に起因する温室効果ガスの排出を削減する方法を探していますが、その使用は非常に増加する可能性があります

機械学習

「見えないものを拡大する:この人工知能AIの手法は、3Dで微妙な動きを可視化するためにNeRFを使用します」

私たちは、身体の微妙な動きから地球の大規模な動きまで、動きに満ちた世界に生きています。しかし、これらの動きの多くは肉...