アラートソースとしてのGrafana Loki 2.0の使用(後編）

Loki、promtailについて解説しています。前回に続き今回が後半です。

Configuring the Monitoring stack

モニタリングサーバーでは、Grafana、Alertmanager、Loki、promtailの各サービスを実行しますが、シンプルにするためにDockerコンテナを使用します

ここでは、dockerサービスがすでにサーバー上で実行されており、GrafanaとAlertmanagerがすでに稼働していて、GrafanaがAlertmanagerから直接データを読み取るようにコンフィギュアされていることを前提とします。

例として、このようなモニタリングスタックを実行するようにすでにコンフィギュアされているScylla Monitoring Stack GitHubリポジトリを見てみましょう。

Running loki and promtail

次のステップとして、ログファイルからコンフィグレーションやアラートを読み取るようにサービスをコンフィギュアします。Dockerを使ったそれらのインストールについては、こちらをご覧ください。

そのコンフィグレーション上で、以下のようにしてください。

Loki rule files

始める前に、次のコマンドを実行してください。

$ mkdir -p loki-rules/fake/

このコマンドを実行すると、ルールファイルを格納するディレクトリが作成されます。

以下にルールファイルの例を示します。

$ cat loki-rules/fake/loki-rule.yaml
groups:
- name: example
rules:
- alert: HighThroughputLogStreams
expr: sum by (instance, msg) (count_over_time({module="large_data"} |regexp`(?P.*)` [1h])>0)
for: 20s
labels:
severity: "2"
annotations:
description: '{{ $labels.instance }} {{ $labels.msg }}