CSE - Log Parsing and Mapping方法の概要

CSEを使用するための最初のステップは、CIPに取り込んでいるログメッセージをレコード（CSEが理解できる形式）に変換してCSEに送ることです（Parsing）。CSEは、受け取ったレコードから必要なものをCSEフィールドに割り当てます（Mapping）。割り当てられたレコードはCSEでの相関分析に使われますので、ParsingとMappingは非常に重要なタスクとなります。

ParsingとMappingを行うには、次の3つの方法があります。

1. Sumo Logicが提供するOOTB（Out-Of-The-Box）ParserとLog Mappingを使用する
2. ParserとLog Mappingを作成して使用する
3. FER、Ingest Mapping及びLog Mappingを作成して使用する

上記の3つの方法をまとめて図で表したものが次のダイアグラムになります。

それでは、各方法について説明します。

1. Sumo Logicが提供するOOTB（Out-Of-The-Box）ParserとLog Mappingを利用する

CSEに転送したいログのParserが既に用意されている場合、そのParserを利用してください。OOTB Parserを検索するには、まずSumoLogicにログインしてください。そして「Manage Data」→「Logs」→「Parsers」タブに移動し、「Search Parsers」に製品名やアプリ名などキーワードを入力してEnterキーを押してください。

この方法のメリットは、Sumo Logicが提供するParserとLog Mappingを利用するため、とても簡単であることです。また、Sumo Logicのベストプラクティスが既に反映されているので、最も最適化されているParserを利用することができます。デメリットは、ログがParserで解析できない場合、ややカスタマイズが必要であることです（ParserページのLocal Configuration）。カスタマイズするには、Parsing Languageを理解する必要がありますが、Parserを新しく作成するよりは簡単であるため、この方法を利用することをお勧めします。ただし、カスタマイズしたParserをExportする場合、Local Configurationに設定した内容は含まれませんのでご注意ください。

なお、Sumo Logicは2023年1月現在、120以上のOOTB ParserとMappingを提供しており、日々新しいParserを開発しています。

2. 新しいParserとLog Mappingを作成して使用する

Parserが見つからない場合は、Parserとログマッピングをご自身で作成すしていただく方法があります。この場合、１番で記載したParsing Languageよりも高いレベルの知識が要求されます。難易度にもよりますが、早ければ1時間、または数時間かかることもあります。ですが、他のOOTB Parserの内容を参考にすればParser作成に役立つと思われます。

また、作成したParserをExport・Importできるため、他のテナントへの展開が簡単になります。

3. FER、Ingest Mapping及びLog Mappingを作成して使用する

最後にFER、Ingest Mapping及びLog Mappingを作成する方法があります。この場合、Ingest Mappingというコンポーネントが必要です。その理由は、ParserにはIngest Mapping（CIPのログとCSEのLog Mappingを連携する）機能がありますが、FERは単にログからフィールドを抽出することしかできないからです。

この方法は、Parserの作成に必要なParsing Languageを知らなくても「Parser + Log Mapping」と同じ処理ができる上、Parser作成より簡単に作成することができます（必ずしも簡単という訳ではなく、ログの種類やパターンによってParser作成がより簡単になる場合もある）。また、FERを使ってフィールドを抽出しすぎた場合、使用可能なフィールドが減少していきますのでご注意ください（Max 400フィールド）。

以上、CIPに取り込むログメッセージをCSEレコードに変換する方法について学びました。場合によると思いますが、なるべく「1 > 2 > 3」 順に対応していただければと思います。

次回は、Parserをテストする方法について学びましょう。