PrometheusとGrafanaによるKubernetesクラスタのモニタリングとアラート機能（後半）

長い記事なので前半と後半に分けて投稿します。今回は後半です。

Alerting on Slack Channel

モニタリングソリューションが動作するようになったので、次のステップはアラートを有効にすることです。本番環境にある複数のクラスターを管理する運用チームが、常にダッシュボードを見続けることができないことは容易に理解できます。

モニタリングスタックにアラート機能を実装するには2つの方法があります。prometheus AlertManagerコンポーネント(helm chartでインストールされる)を使う方法と、Grafanaに内蔵されているアラート機能を使う方法です。後者の方が実装が簡単なので、ここでは後者を採用します。

GrafanaはSlack、メール、Webhook、その他のコミュニケーションチャネルでアラートを送信することができます。私はSlackをよく使っていますし、他の企業でも同じように使っているところが多いと思いますので、この例を見てみましょう。

Create the Slack notification channel

最初のステップは、Slackを通知チャネルとして追加することです。grafanaでは、左のベルをクリックし、通知チャネルメニューを選択してから、新しいチャネルを作成します。

アラート用にgrafanaと互換性のあるツールが非常に多くあることがわかります。

Slackを選択し、slack webhookのURLを入力します（他のフィールドはオプションです）。

webhookのURLをまだお持ちでない場合は、こちらのチュートリアルに従ってください : https://api.slack.com/messaging/webhooks.

これで、Slackサーバーの特定のチャンネルにメッセージを送信するためのエンドポイントを作成できます。

Create and test your custom alert