Apache Kafka監視

Site24x7プラグインを使用して、Apache Kafkaサーバーのパフォーマンスメトリクスを監視します。

Kafka プラグインをインストールおよび設定し、フォールトトレラントで大容量のメッセージングミドルウェアであるKafkaを監視します。connection count、incoming and outgoing bytes rateなどの重要メトリクスを追跡して、十分な情報に基づいたトラブルシューティングを行います。

このページでは、Kafkaサーバーのパフォーマンス、可用性、使用統計を詳細に可視化するための、Apache Kafkaプラグインと監視メトリクスを設定する方法について説明します。

Apache Kafkaパフォーマンス監視メトリクス:

幅広いメトリクスを通して、注意を要する危険なエラー通知を受け取ります。メトリクスのグラフで予期せぬ傾向を追跡し、迅速にトラブルシューティングを行います。サポートしているメトリクスは以下の通りです:

Connection count

「connection_count」メトリクスは、アクティブなkafkaとの接続数を表示します。

Incoming/outgoing byte rate

「incoming_byte_rate」および「outgoing_byte_rate」メトリクスは、それぞれ1秒間に受信したバイト数と、送信したバイト数の平均を表示します。

Average request latency

「avg_request_latency」メトリクスは、プロデューサーがリクエストを送信してから、ブローカーからレスポンスを受信するまでにかかった時間を表示します。

kafka metric

Number of network operations

「network_io_rate」メトリクスは、1秒あたりの全接続上でのネットワーク操作(読み込みまたは書き込み)の平均数を表示します。

Request rate

「request_rate」メトリクスは、プロデューサーがブローカーにデータを送信する際のレートを計算します。

Response rate

「response_rate」メトリクスは、ブローカーが受信したレスポンスレートを表示します。

Time spent by the input/output thread

「io_time_ns_avg」メトリクスは、入出力スレッドがソケットを待機する平均時間を表示します(NS)。

手順

  • Site24x7アカウントにログインします。アカウントをお持ちでない場合は、こちら からサインアップへお進みください。
  • Site24x7 Linuxエージェント の最新バージョンをダウンロードおよびインストールします。
  • Kafkaプラグインをインストールします。
  • エージェントはKafkaプラグインを実行し、Site24x7サーバーにデータをプッシュします。

前提条件:

sudo python setup.py build
sudo python setup.py install
  • からファイルをダウンロードします。https://pypi.python.org/pypi/kafka-python sudo wget https://pypi.python.org/packages/81/94/f9151888b40339f2624759df8241080020acafed49d3a4369ceedd72c096/kafka-python-1.3.1.tar.gz#md5=2494d82f096d21af7a72b3c5bd26bdfa
  • ファイルを抽出します。 sudo tar -xvzf kafka-python-1.3.1.tar.gz
  • ファイルが抽出されたディレクトリーに移動します。 cd kafka-python-1.3.1/
  • モジュールをインストールします。

Kafkaプラグインのインストール:

  • Site24x7 Linuxエージェントプラグインディレクトリー[/opt/site24x7/monagent/plugins/]に、[kafka_producer]という名前のディレクトリーを作成します。
    sudo mkdir kafka_producer
  • GitHubリポジトリ―から[kafka_producer.py]ダウンロード し、[kafka_producer]ディレクトリーに配置します。
  • プラグインスクリプトで指定されているデフォルトのpythonパスは、[ #!/usr/bin/python]です。代替えのPythonパスを作成する場合は、shebang(シバン)文字[#!]が前に付いた既存パスを置き換えます。
    Eg : #!/usr/local/bin/python3
  • BROKER_NAME および PORTの値を変更して、設定を一致させます。
  • サーバーエージェントは、Site24x7 Webクライアントの[プラグイン]タブから、Kafkaのパフォーマンス統計をリポートします。プラグインがSite24x7 Webクライアントにリストされていない場合は、エージェントを再起動してください。
    sudo /etc/init.d/site24x7monagent restart