Power Grafana with Google BigQuery!

Google BigQueryからGrafanaを表示させる

BigQueryは、分析用の最もパフォーマンスの高いデータクラウドデータウェアハウスの1つです。 Grafanaは、美しい分析と監視のためのオープンプラットフォームです。 BigQueryとGrafana、その両方の力を組み合わせるのは全く自然なことではないでしょうか？ あなたもそう思いますよね！

Grafanaを使用して時系列データを視覚化していない企業はほとんどありません。 監視、アラート、分析、またはこれらすべての理由が考えらるからです。 Grafanaは、InfluxDB、Graphite、Elasticsearchなど、多くの一般的な時系列データソースに対応しています。

Google BigQueryは、非常に大きなデータセットに対して非常に高速にクエリを実行する他には類を見ない機能を持つので、データ分析という観点から見れば、人気のあるクラウドデータベースです。

幸いなことに、Grafanaは、新しいデータソースプラグインを構築する方法に関するドキュメント化されたインターフェイスを持ち合わせています。 私の同僚である、DoiT InternationalのソリューションチームのAviv Laufer氏は、Google BigQueryのデータソースプラグインを構築することに成功しました。

アプリケーションはほぼエンドレスです。ダッシュボード分析ログ、課金データ、セールスメトリック、トラフィック分析、デジタルマーケティングキャンペーンの追跡、またはその他のユースケースに合ったもの。

新しいデータソースプラグインを実証するために、Google Cloudを使用するすべての人から共感を得られるGoogle Cloud請求データを選択しました。 端的に言えば、詳細な請求情報をBigQuery[1]にエクスポートするためにGoogle Cloudをコンフィギュアできます。請求データをBigQueryにエクスポートすると、非常に詳細な日付において、Google Cloudサービスのコストを簡単に追跡できます。

BigQueryデータソースプラグインはまだGrafanaによって「公式に」サポートされているプラグインではないため、プラグインのgitリポジトリ[2]から手動でインストールする必要があります。

ほとんどの場合、インストールはGrafanaサーバー上の単一のコマンドで、Grafanaを再起動します。 完全な手順は、リポジトリのインストールセクションの[3]に反映されています。

grafana-cli \
 — pluginUrl \
https://github.com/doitintl/bigquery-grafana/archive/0.3.0.zip \ plugins install doitintl-bigquery-datasource

一旦プラグインをインストールすると、使用する準備が整います。 そのプラグインは、サービスアカウントを設定し、サービスアカウントのJSONキーをアップロードして、Google Cloud IAMで認証する必要があります。

認証後、最初のダッシュボードを作成する準備が整います。 プラグインを使用すると、ウィザードに従うだけで、基本的なクエリを視覚的に構築できます。

リストからGoogle Cloudプロジェクトを選択して開始し、データセットとテーブル名を選択します。 プラグインは、テーブルの列を（テーブルにパーティション等があるかどうかを明らかにするためのメタデータとともに）取得するため、ドロップダウンリストから選択できます。

次に、必要な集計など視覚化したいフィールドを選択すると・・・・データがすぐに表示されます！

自分でクエリを作成する場合は、[SQLの編集]ボタンをクリックして作成できます。

どのようにこれがパーティションテーブルであるかをプラグインが決断し、_PARTITIONTIMEフィルターを自動的に含めることができたことに注意し、時間範囲内のデータのみをスキャンするようにしてください！

Orangesys.ioでは、kuberneteの運用、DevOps、監視のお手伝いをさせていただいています。ぜひ私たちにおまかせください。