重要

現在表示されているページは、TiDBのアーカイブされたドキュメント (非更新) です。TiDBをご利用の場合、最新のLTS (Long Term Support) バージョンの使用を推奨します。

重要

このページは英語版のページを機械翻訳しています。原文はこちらからご覧ください。

PITR モニタリングとアラート

PITR は、監視メトリックを収集するためにプロメテウスを使用することをサポートしています。現在、すべての監視メトリクスは TiKV に組み込まれています。

監視構成

TiUP を使用してデプロイされたクラスターの場合、プロメテウスはモニタリングメトリックを自動的に収集します。
手動でデプロイされたクラスターの場合、 TiDBクラスタ監視の展開の手順に従って、TiKV 関連のジョブを Prometheus 構成ファイルのscrape_configsセクションに追加します。

指標のモニタリング

指標	タイプ	説明
tikv_log_backup_interal_actor_acting_duration_sec	ヒストグラム	すべての内部メッセージとイベントを処理する期間。 `message :: TaskType`
tikv_log_backup_initial_scan_reason	カウンター	初期スキャンがトリガーされた理由の統計。主な理由は、リーダーの移動またはリージョンのバージョンの変更です。 `reason :: {"leader-changed", "region-changed", "retry"}`
tikv_log_backup_event_handle_duration_sec	ヒストグラム	KV イベントの処理期間。 `tikv_log_backup_on_event_duration_seconds`と比較すると、このメトリックには内部コンバージョンの期間も含まれます。 `stage :: {"to_stream_event", "save_to_temp_file"}`
tikv_log_backup_handle_kv_batch	ヒストグラム	Raftstore によって送信された KV ペアバッチのサイズのリージョンレベルの統計。
tikv_log_backup_initial_scan_disk_read	カウンター	初期スキャン中にディスクから読み取られたデータのサイズ。 Linux では、この情報はブロックデバイスから実際に読み取られたデータのサイズである procfs からのものです。構成項目`initial-scan-rate-limit`がこのメトリックに適用されます。
tikv_log_backup_incremental_scan_bytes	ヒストグラム	初期スキャン中に実際に生成された KV ペアのサイズ。圧縮と読み取り増幅のため、この値は`tikv_log_backup_initial_scan_disk_read`の値とは異なる場合があります。
tikv_log_backup_skip_kv_count	カウンター	バックアップに役立たないため、ログバックアップ中にスキップされたRaftイベントの数。
tikv_log_backup_errors	カウンター	ログバックアップ中に再試行または無視できるエラー。 `type :: ErrorType`
tikv_log_backup_fatal_errors	カウンター	ログバックアップ中に再試行または無視できないエラー。このタイプのエラーが発生すると、ログバックアップは一時停止されます。 `type :: ErrorType`
tikv_log_backup_heap_memory	ゲージ	ログバックアップ中に初期スキャンで検出された未使用のイベントが占めるメモリ。
tikv_log_backup_on_event_duration_seconds	ヒストグラム	KV イベントを一時ファイルに保存する期間。 `stage :: {"write_to_tempfile", "syscall_write"}`
tikv_log_backup_store_checkpoint_ts	ゲージ	非推奨のストアレベルチェックポイント TS。現店舗が登録しているGCセーフポイントに近いです。 `task :: string`
tikv_log_backup_flush_duration_sec	ヒストグラム	ローカルの一時ファイルを外部ストレージに移動する期間。 `stage :: {"generate_metadata", "save_files", "clear_temp_files"}`
tikv_log_backup_flush_file_size	ヒストグラム	バックアップ中に生成されたファイルのサイズの統計。
tikv_log_backup_initial_scan_duration_sec	ヒストグラム	初期スキャンの全体的な期間の統計。
tikv_log_backup_skip_retry_observe	カウンター	ログバックアップ中に無視できるエラーの統計、または再試行がスキップされた理由。 `reason :: {"region-absent", "not-leader", "stale-command"}`
tikv_log_backup_initial_scan_operations	カウンター	初期スキャン中の RocksDB 関連操作の統計。 `cf :: {"default", "write", "lock"}, op :: RocksDBOP`
tikv_log_backup_enabled	カウンター	ログのバックアップを有効にするかどうか。値が`0`より大きい場合、ログバックアップは有効です。
tikv_log_backup_observed_region	ゲージ	リッスンされているリージョンの数。
tikv_log_backup_task_status	ゲージ	ログバックアップタスクのステータス。 `0`は実行中を意味します。 `1`は一時停止を意味します。 `2`はエラーを意味します。 `task :: string`
tikv_log_backup_pending_initial_scan	ゲージ	保留中の初期スキャンの統計。 `stage :: {"queuing", "executing"}`

グラファナ構成

TiUP を使用してデプロイされたクラスターの場合、グラファナダッシュボードには PITR パネルが含まれます。 TiKV-Details ダッシュボードのBackup Logパネルは PITR パネルです。
手動でデプロイされたクラスターの場合は、 Grafana ダッシュボードをインポートするを参照し、 tikv_details JSON ファイルを Grafana にアップロードします。次に、TiKV-Details ダッシュボードで[Backup Log]パネルを見つけます。

アラート構成

現在、PITR には組み込みのアラート項目がありません。このセクションでは、PITR でアラート項目を構成する方法と、いくつかの項目を推奨する方法を紹介します。

PITR でアラートアイテムを構成するには、次の手順に従います。

Prometheus が配置されているノードで、アラートルールの構成ファイル (たとえば、 pitr.rules.yml ) を作成します。ファイルには、プロメテウスのドキュメント、次の推奨されるアラート項目、および構成サンプルに従って、アラートルールを入力します。
Prometheus 構成ファイルのrule_filesフィールドに、アラートルールファイルのパスを追加します。
Prometheus プロセスにSIGHUPシグナルを送信する ( kill -HUP pid ) か、HTTP POST リクエストをhttp://prometheus-addr/-/reloadに送信します (HTTP リクエストを送信する前に、Prometheus の起動時に--web.enable-lifecycleパラメーターを追加します)。

推奨されるアラート項目は次のとおりです。

LogBackupRunningRPO10m 以上

アラート項目: max(time() - tikv_log_backup_store_checkpoint_ts / 262144000) by (task) / 60 > 10 and max(tikv_log_backup_store_checkpoint_ts) by (task) > 0 and max(tikv_log_backup_task_status) by (task) == 0
アラートレベル: 警告
説明: ログデータがストレージに 10 分以上保存されていません。このアラート項目はリマインダーです。ほとんどの場合、ログバックアップには影響しません。

このアラート項目の構成例は次のとおりです。

groups:
- name: PiTR
  rules:
  - alert: LogBackupRunningRPOMoreThan10m
    expr: max(time() - tikv_log_backup_store_checkpoint_ts / 262144000) by (task) / 60 > 10 and max(tikv_log_backup_store_checkpoint_ts) by (task) > 0 and max(tikv_log_backup_task_status) by (task) == 0
    labels:
      severity: warning
    annotations:
      summary: RPO of log backup is high
      message: RPO of the log backup task {{ $labels.task }} is more than 10m

ログバックアップの実行中の RPO は 30 分以上

アラート項目: max(time() - tikv_log_backup_store_checkpoint_ts / 262144000) by (task) / 60 > 30 and max(tikv_log_backup_store_checkpoint_ts) by (task) > 0 and max(tikv_log_backup_task_status) by (task) == 0
警告レベル: 重大
説明: ログデータがストレージに 30 分以上保存されていません。このアラートは多くの場合、異常を示します。 TiKV ログをチェックして、原因を見つけることができます。

LogBackupPausingMoreThan2h

アラート項目: max(time() - tikv_log_backup_store_checkpoint_ts / 262144000) by (task) / 3600 > 2 and max(tikv_log_backup_store_checkpoint_ts) by (task) > 0 and max(tikv_log_backup_task_status) by (task) == 1
アラートレベル: 警告
説明: ログバックアップタスクが 2 時間以上一時停止しています。この警告項目はリマインダーであり、できるだけ早くbr log resumeを実行する必要があります。

LogBackupPausingMoreThan12h

アラート項目: max(time() - tikv_log_backup_store_checkpoint_ts / 262144000) by (task) / 3600 > 12 and max(tikv_log_backup_store_checkpoint_ts) by (task) > 0 and max(tikv_log_backup_task_status) by (task) == 1
警告レベル: 重大
説明: ログバックアップタスクが 12 時間以上一時停止しています。タスクを再開するには、できるだけ早くbr log resumeを実行する必要があります。一時停止したログタスクが長すぎると、データ損失のリスクがあります。

ログバックアップ失敗

アラート項目: max(tikv_log_backup_task_status) by (task) == 2 and max(tikv_log_backup_store_checkpoint_ts) by (task) > 0
警告レベル: 重大
説明: ログバックアップタスクが失敗します。失敗の理由を確認するには、 br log statusを実行する必要があります。必要に応じて、TiKV ログをさらに確認する必要があります。

LogBackupGCSafePointExceedsCheckpoint

アラート項目: min(tikv_log_backup_store_checkpoint_ts) by (instance) - max(tikv_gcworker_autogc_safe_point) by (instance) < 0
警告レベル: 重大
説明: 一部のデータは、バックアップの前にガベージコレクションされました。これは、一部のデータが失われ、サービスに影響を与える可能性が非常に高いことを意味します。