データレイク
データレイクは中心ストレージレポジトリであり、ラージスケールのデータを安全に保存できます。
このデータは生データでオリジナルな形式で保存され、データの分析や処理に使用でき、マシンラーニング、データマイニング、ビッグデータ分析に使用されます。
Site24x7のデータレイク機能では、データレイクをカスタムメトリック監視として作成し、APIやSDKを経由してデータをプッシュできます。
目次
ユースケース
Eコマースプラットフォームでの製品検索、ショッピングカートアクティビティ、チェックイン、チェックアウトプロセスといったメトリックが保存されるとします。
カスタマイズダッシュボードを作成し、チャート、グラフ、表などでそれらメトリックを可視化し、パフォーマンストレンドやボトルネックの特定を行います。
さらに、カスタム属性機能を使用して、カスタムアラートの通知により問題箇所を事前に特定できます。
利点
データレイク監視により、アプリケーションや要件に特有のメトリックを定義し監視できます。
- カスタマイズされた監視：アプリケーション特有のメトリックに加え、Site24x7でデフォルトで提供しているメトリックを監視できます。
- 高い粒度の可視化：アプリケーションコード、サードパーティ連携、その他アプリケーションに重要なコンポーネントを細部まで監視できます。
- カスタマイズダッシュボード：数値チャート、グラフ、表といった項目を記載したダッシュボードを作成し、メトリックを可視化します。
- アラートと通知：メトリックごとにカスタムなアラートや通知を設定できます。
- 柔軟性：カスタムメトリックを作成し、アプリケーションの各側面で監視します。
データレイク監視の追加
データレイク監視の追加方法は次のとおりです。
- Site24x7にログインします。
- [メトリック] →[データレイク] に移動し、[＋] アイコンをクリックします。
- 表示名を入力し、監視名を設定します。
- 項目情報をもつ監視テンプレートが必要な場合は、テンプレートをメールで送信項目を[はい] に指定します。
項目の追加
項目を個別または一括で追加できます。個別の場合は、[項目の追加] 、一括の場合は、一括追加をクリックします。
項目の追加オプション
この機能で項目を個別に追加できます。
-
名前
項目名を入力します。 -
タイプ
文字列：文字列（タグとも呼称）は数値データのフィルターに使用します。
数値：各監視で少なくとも1つの数値項目が存在する必要があります。
各データレイク監視で、最大1数値および50文字列項目を保持できます。 -
次の単位から選択可能です。
タイプで[数値] を選択した場合にのみ有効化されます。
- 時間：ミリ秒、秒などから選択できます。
- サイズ：バイト、KB、MB、GBなどから選択できます。
- 数：1、1000、10万、100万、10億、1兆から選択できます。
-
次のメトリック送信タイプから選択できます。
タイプで[数値] を選択した場合にのみ有効化されます。
数
特定の期間で発生したイベント数の合計を表すメトリックです。
レート
特定期間の間隔で発生したイベントの数を表すメトリックです。
ゲージ
指定した時間間隔のイベントスナップショットを表すメトリックです。
指定した間隔の直近の値がSDKに送信されます。
ヒストグラム
イベントアレイの合計、数、パーセンタイル（0、50、95、99、100）で計算され、各メトリックを保存します。
このメトリックタイプは、指定した期間でのイベントの異常値を特定するのに役立ちます。
メトリックタイプについての詳細は、実際の画面をご確認ください。 - [保存] をクリックします。
- 追加した項目のリストは項目設定配下に表示されます。
一括追加オプション
複数の項目を一度に追加したい場合は、次の手順を行ってください。
- [一括追加] をクリックします。
- JSONコードをペーストし、[検証] をクリックします。
一括追加のサンプルコード:
[
{
"name": "users count",
"type": "numeric",
"format": "count",
"metric_type": "count"
},
{
"name": "Type",
"type": "string"
},
{
"name": "Floor",
"type": "string"
},
] - 検証後にエラーが発生していない場合、[保存] をクリックして有効化します。
検証後、[保存] ボタンが有効化されない場合、エラーコードの確認と修正を行う必要があります。 - データレイク監視の追加画面で[保存] をクリックします。
一括追加機能で追加された項目のリストは、項目設定配下に表示されます。
項目設定
ここに追加した項目がタイプとともに表示されます。
データレイクダッシュボード
データレイク監視を追加すると、そのデータレイク監視のダッシュボードにリダイレクトされます。[メトリック] →[データレイク] のクリックによってもアクセス可能です。
データレイク監視の包括的なビューを表示し、ステータスに基づいて分類されます。
監視ビュー
項目数、カスタム属性監視数、カスタム属性数のサマリーを表示します。
監視の編集
既存項目の情報に対して、追加、削除、更新を行えます。
- 監視名横の[
] アイコンから[編集] を選択します。 - データレイク監視の編集画面で、項目の修正を行ってください。
- [保存] をクリックします。
監視の削除
必要のない監視は次の手順で削除できます。
- 表示名横の[] をクリックします。
- [削除] をクリックします。
項目ビュー
すべての監視から全項目のリストを取得します。
ここで、監視名、項目タイプ、直近のポーリング値といった情報が記載されます。
作成した監視にデータをインポート
APIでのデータプッシュ
このオプションは集約データをプッシュするために使用されます。
- データレイク監視に移動します。
- 表示名横の[] アイコンをクリックします。
- ドロップダウンから[Post URLの表示] を選択します。
- 画面上の手順を実施します。
サンプルペイロード
{"values":[{"numeric_data":
[{"name":"Users Count","count":1,"value":0}],
"time_stamp":1697107024462,
"tags":{"Type":"data"}}]
上記の値の意味は次のとおりです。
- count
：集約された数値です。この項目は任意で、デフォルト値は1です。
- value
：集約された値です。集約の計算は、選択したメトリックタイプ（数、レート、ゲージ、ヒストグラム）に基づいて行われます。
- count
SDKでのデータプッシュ
このオプションは生データ（未集約データ）を送信するために使用され、集約は弊社で行われます。
手順1：アプリケーションへのSDLの追加と設定
- Maven中央レポジトリに移動します。
- アプリケーションで依存しているフレームワークを構築します。
SDK jarをアプリケーションにダウンロードし追加します。
手順2：SDLSDK MetricProviderのオブジェクト作成
MetricProviderBuilderクラスを使用して、Site24x7エクスポーターをもつMetricProviderオブジェクトを作成します。このオブジェクトを使用してメトリックデータをプッシュします。
同じアプリケーション内で、新規オブジェクトを作成した場合にも、初めのライセンスキーが使用されます。
MetricProviderBuilder metricProviderBuilder = new MetricProviderBuilder();
metricProviderBuilder.withExporter(new Site24x7Exporter("<Your license key>"));
MetricProvider metricProvider = metricProviderBuilder.build();
手順3：SDLに生データを指定
メソッドを指定し、項目の追加で指定した値を集約します。
数
metricProvider.count(
"<app key>", // The app key associated with the Data-lake monitor
"db_write", // The metric name (field name)
2.0, // Numerical value of the metric
Collections.singletonMap("host", "192.168.10.254") // Set of tags to associate with the metric
);
レート
metricProvider.rate(
"<app key>",
"disk_free",
16868264.0,
Collections.singletonMap("host", "192.168.10.254")
);
ゲージ
metricProvider.gauge(
"<app key>",
"disk_free",
16868264.0,
Collections.singletonMap("host", "192.168.10.254")
);
ヒストグラム
metricProvider.histogram(
"<app key>",
"disk_free",
16868264.0,
Collections.singletonMap("host", "192.168.10.254")
);上記の値の意味は次のとおりです。
- disk_free：数値項目です。
- Collections.singletonMap ("host", "192.168.10.254")：文字列の任意項目です。
- デフォルトでサポートしている単位は次のとおりです。
- 時間：ミリ秒
- サイズ：バイト
- 数：1
パフォーマンスメトリック
[メトリクス] →[データレイク] で監視名をクリックすることで、パフォーマンスメトリックを表示できます。
画面右上で表示期間を選択できます。
[ダッシュボード] タブ
デフォルトのダッシュボードビューで、項目数、カスタム属性、カスタム属性監視数を表示します。
すべての数値項目の単線チャートを表示します。[ダッシュボードの編集] を使用して、ダッシュボードをカスタマイズできます。
ダッシュボードの編集
数値チャート、グラフ、表といった可視化オプションを使用して、自身のダッシュボードを構築でき、メトリックデータを可視化します。
この可視化により、トレンド、アノマリを特定できます。
カスタムダッシュボードの作成方法は次のとおりです。
- [ダッシュボードの編集] をクリックします。
- ダッシュボード名と説明を入力します。
- ウィジェットタイプを[数値] 、[グラフ] 、[表] から選択します。
- 数値チャート：
項目、集約、単位、期間を選択し、ドラッグアンドドロップでウィジェットをダッシュボードに追加します。 - グラフ：
グラフタイプ、、ラベル名、項目、集約、期間を選択し、ドラッグアンドドロップでウィジェットをダッシュボードに追加します。 - 表：
文字列の必須項目を選択し、行を分割します。列プロパティ、集約、時間、期間を選択し、ドラッグアンドドロップでウィジェットをダッシュボードに追加します。
- 数値チャート：
- 画面上部の[カスタマイズ完了] をクリックします。
追加したダッシュボードが[ダッシュボード] タブに表示されます。
フィルター
フィルターの追加オプションにはAND条件が採用されています。
フィルター条件はすべてのウィジェットに適用され、結果が表示されます。
[項目] タブ
監視の全項目のリストを表示します。
監視名、項目タイプ、直近のポーリング値、直近のポーリング時間が表示されます。
[アラート] タブ
設定したカスタム属性のリストが表示されます。
各ステータス、集約値、関連する監視名、設定したフィルター、集約タイプがリストに記載されます。
[クエリデータ] タブ
選択した期間のデータレーク監視データレポートが表示されます。
フィルターボックスに有効なSQLクエリを入力し、クイック検索を行えます。
次のステップ：カスタム属性
データレイク監視の重要メトリックのアラートを行いたい場合、カスタム属性監視を作成してください。