「LogAIとお会いしましょう：ログ分析と知能のために設計されたオープンソースライブラリ」

LogAI Open-source library designed for log analysis and intelligence

LogAIは、さまざまなログ解析とインテリジェンスのタスクをサポートする無料のライブラリです。複数のログ形式に対応しており、対話型のグラフィカルユーザーインターフェースを持っています。LogAIは、人気のある統計、時系列、およびディープラーニングモデルに対する統一されたモデルインターフェースを提供し、ログ異常検出のためのディープラーニングアルゴリズムのベンチマークを容易にします。

コンピューターシステムによって生成されるログは、システムの動作を理解し問題を特定するのに役立つ重要な情報を含んでいます。従来、ログの解析は手動で行われていましたが、AIベースのログ解析は、ログのパース、要約、クラスタリング、異常検出などのタスクを自動化し、プロセスを効率化します。学術界や産業界の異なる役割には、ログ解析に対する異なる要件があります。たとえば、機械学習の研究者は、公開されたログデータセットに対して迅速に実験をベンチマークし、他の研究グループの結果を再現して新しいログ解析アルゴリズムを開発する必要があります。産業界のデータサイエンティストは、既存のログ解析アルゴリズムを自分のログデータ上で実行し、ログ解析ソリューションとして最適なアルゴリズムと構成の組み合わせを選択する必要があります。残念ながら、これらの要件をすべて満たす既存のオープンソースライブラリは存在しません。そのため、LogAIはこれらのニーズに対応し、さまざまな学術と産業のユースケースにおいてログ解析をより良く実施するために導入されています。

ログ管理プラットフォームに包括的なAIベースのログ解析が存在しないことは、統一された分析の課題を生み出します。統一されたログデータモデルの必要性、前処理の冗長性、およびワークフロー管理メカニズムがあります。実験結果の再現は困難であり、異なるログ形式とスキーマに対してカスタマイズされた分析ツールが必要です。さまざまなログ解析アルゴリズムは、別々のパイプラインに実装されており、実験とベンチマークの管理の複雑さを増しています。

• 「最も適応能力の高い生存者 コンパクトな生成型AIモデルは、コスト効率の高い大規模AIの未来です」
• 「17/7から23/7までのトップコンピュータビジョン論文」
• 「大規模言語モデルのための任意のPDFおよび画像からテキストを抽出する方法」

LogAIは、LogAIコアライブラリとLogAI GUIの2つの主要なコンポーネントで構成されています。LogAI GUIモジュールは、コアライブラリ内のログ解析アプリケーションに接続し、グラフィカルユーザーインターフェースを介して分析結果を対話的に可視化することができます。一方、LogAIコアライブラリは、以下の4つの異なるレイヤーから構成されています。

LogAIのデータレイヤーは、データローダーとOpenTelemetryで定義された統一されたログデータモデルからなります。さらに、さまざまなデータローダーを提供し、生のログデータを標準化された形式のLogRecordObjectsに変換することができます。

LogAIの前処理レイヤーは、前処理とパーティションによってログをクリーンアップおよび分割します。前処理はエンティティを抽出し、レコードを非構造化ログ行と構造化ログ属性に分け、パーティションはログをイベントにグループ化し、機械学習モデルに適用します。特定のオープンログデータセット用のカスタマイズされた前処理とパーティションがあり、他のログ形式をサポートするように拡張することもできます。

LogAIの情報抽出レイヤーは、ログレコードを機械学習のためのベクトルに変換します。ログパーサー、ログベクトライザー、カテゴリエンコーダー、および特徴抽出器の4つのコンポーネントがあります。

分析レイヤーには、複数のアルゴリズムに対する統一されたインターフェースを備えた分析タスクのモジュールが含まれています。

LogAIは、ログ異常検出にCNN、LSTM、Transformerなどのディープラーニングモデルを使用し、人気のあるログデータセットでベンチマークを行うことができます。結果は、深層ログライザーよりも同等または優れたパフォーマンスを提供しており、教師あり双方向LSTMモデルが最も優れたパフォーマンスを提供しています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!