prometheus + consul 服務註冊+報警 最佳實踐

来源:https://www.cnblogs.com/simendavid/p/18094978
-Advertisement-
Play Games

一、 說明 本文主要將prometheus和consul 結合起來使用，通過conusl 註冊服務至prometheus，實現服務統一註冊，統一報警管理等。 整個架構思路consul+consul_export+prometheus+alertmanager ，consul通過check檢測服務狀態 ...


一、 說明

本文主要將prometheus和consul 結合起來使用，通過conusl 註冊服務至prometheus，實現服務統一註冊，統一報警管理等。

整個架構思路consul+consul_export+prometheus+alertmanager ，consul通過check檢測服務狀態，然後通過consul_export暴露給prometheus，prometheus通過alert規則，通知alertmanager，接著郵件通知管理人員。

在各伺服器上安裝node_expoert，然後將node配置到consul的hcl服務文件中，進行服務註冊，當然也可以http api發現。然後在prometheus主yml文件中配置consul_sd_configs對服務進行發現。

單台架構如下。

 

 

本次server伺服器有3台，組建consul集群，全部用做server端，然後在每一臺都部署node_expoerter作為prometheus node節點。

IP規劃如下：

172.19.100.212（prometheus主伺服器，理論上可以不部署node_expoerter）,   

172.19.100.213

172.19.100.52

二、consul集群搭建

2.1 consul安裝

在每台伺服器上安裝consul。採用yum 安裝，這也是我最推薦的方式。配置目錄路徑在/etc/consul.d。

yum install -y yum-utils
yum-config-manager --add-repo https://rpm.releases.hashicorp.com/RHEL/hashicorp.repo
yum -y install consul

 

2.2 集群文件配置

212伺服器的配置如下。data_dir已經在預設的consul.hcl中有配置，所以註釋掉了。其他兩台伺服器根據如下配置分別配置IP。systemct    start consul啟動consul即可。

server = true

bootstrap_expect = 3

#        data_dir = "/tmp/consul"

node_name = "172.19.100.212"

bind_addr = "172.19.100.212"

client_addr = "0.0.0.0"

ui_config = {

  enabled = true

}

enable_script_checks = true

start_join = [

  "172.19.100.213",

  "172.19.100.52"

]

retry_join = [

  "172.19.100.213",

  "172.19.100.52"

]

 

搭建好的集群如下：

 

2.3 consul_exporter安裝

       consul_exporter主要用於將consul的check 報警導出到prometheus ，這樣在prometheus就不需要再次配置報警規則了。

下載地址：https://github.com/prometheus/consul_exporter/releases

當然如果需要額外的報警功能，可以通過blackbox_exporter配置，裡邊有很多報警模塊。      

        consul_export 不需要額外的配置，三台直接安裝後啟動即可，後續在prometheus中配置三台的地址即可。目前我只在212伺服器上安裝了。

[root@zht-app001 opt]# tar -xzvf consul_exporter-0.11.0.linux-amd64.tar.gz

consul_exporter-0.11.0.linux-amd64/

consul_exporter-0.11.0.linux-amd64/LICENSE

consul_exporter-0.11.0.linux-amd64/consul_exporter

consul_exporter-0.11.0.linux-amd64/NOTICE

[root@zht-app001 opt]# cd consul_exporter-0.11.0.linux-amd64

[root@zht-app001 consul_exporter-0.11.0.linux-amd64]# ls

consul_exporter  LICENSE  NOTICE

[root@zht-app001 consul_exporter-0.11.0.linux-amd64]# nohup ./consul_exporter &

[1] 11749

[root@zht-app001 consul_exporter-0.11.0.linux-amd64]# nohup: ignoring input and appending output to ‘nohup.out’

[root@zht-app001 consul_exporter-0.11.0.linux-amd64]# tail -f nohup.out

ts=2024-03-18T02:07:50.153Z caller=consul_exporter.go:82 level=info msg="Starting consul_exporter" version="(version=0.11.0, branch=HEAD, revision=3e5be6411ce11ba011b9e4fe52029daba8160ee8)"

ts=2024-03-18T02:07:50.153Z caller=consul_exporter.go:83 level=info build_context="(go=go1.21.5, platform=linux/amd64, user=root@34d50aaee2f8, date=20231225-15:29:52, tags=unknown)"

ts=2024-03-18T02:07:50.154Z caller=tls_config.go:274 level=info msg="Listening on" address=[::]:9107

ts=2024-03-18T02:07:50.154Z caller=tls_config.go:277 level=info msg="TLS is disabled." http2=false address=[::]:9107

consul_exporter的可選配置如下，如果不配置都是預設的，consul的token我將在最後配置。配置命令如下：

export CONSUL_HTTP_TOKEN=<your_token_here>

 

2.4 consul token設置

三、prometheus 搭建

前往https://prometheus.io/download/ 下載最新的prometheus組件

3.1 node_exporter 安裝 和註冊

       每一個conul （server/client）agent上都需要安裝node_exporter，然後分別對node進行註冊。

3.1.1 安裝

我將文件下載到了/opt目錄，然後將node_exporter配置為系統service；文件名為node_exporter.service，放置在/etc/systemd/system目錄下：

       配置如下：

[Unit]

Description=Node Exporter for Prometheus

After=network-online.target

 

[Service]

#User=<非特權用戶，例如 node_exporter>

ExecStart=/opt/node_exporter-1.7.0.linux-amd64/node_exporter

#EnvironmentFile=-/etc/default/node_exporter  # 如果有額外環境變數配置，可以在這裡引用

Restart=on-failure

RestartSec=5s

 

[Install]

WantedBy=multi-user.target

          操作命令如下

systemctl daemon-reload

systemctl start node_exporter.service

systemctl status node_exporter.service

systemctl enable node_exporter.service

 

       狀態如下

 

 

3.1.2 註冊到consul

       在consul配置文件夾下新建hcl文件即可，配置如下，其餘伺服器按照一樣的操作進行。

[root@izwz92l6wmcnfyprbcxmjkz opt]# cd /etc/consul.d/

[root@izwz92l6wmcnfyprbcxmjkz consul.d]# ls

consul.env  consul.hcl  server.hcl

[root@izwz92l6wmcnfyprbcxmjkz consul.d]# vim node_exporter.hcl

 

       Token在後續配置，配置好後，重新啟動consul

services {

  name = "node_172.19.100.52"

  address = "172.19.100.52"

  id = "node_172.19.100.52"

  port = 9100

  tags = ["prometheus","172.19.100.52"]

  #token = "d1e6d941-8577-1f27-dd7b-0d8ac9212ba5"

  checks {

    id = "node_172.19.100.52_tcp_check"

    name = "Node Exporter TCP Check"

    interval = "10s"

    timeout = "1s"

    tcp = ":9100"

  }

}

 

       可以看到node註冊成功，check檢查成功，這個結果後續我們要通過consul_exporter傳到至prometheus。

 

3.2 安裝prometheus

        將下載的tar.gz解下後，將prometheus配置成系統/etc/systemd/system/prometheus.service

[Unit]

Description=Prometheus Monitoring System

Documentation=https://prometheus.io/docs/introduction/overview/

After=network-online.target

 

[Service]

#User=prometheus

#Group=prometheus

ExecStart=/opt/prometheus-2.50.1.linux-amd64/prometheus  --config.file=/opt/prometheus-2.50.1.linux-amd64/prometheus.yml

Restart=always

RestartSec=10s

LimitNOFILE=4096

 

[Install]

WantedBy=multi-user.target

 

 

sudo systemctl daemon-reload

sudo systemctl start prometheus

sudo systemctl status prometheus # 查看服務運行狀態

sudo systemctl enable prometheus # 設置開機啟動

 

3.3 配置consul_sd_config 和consul_exporter

       在prometheus.yml配置如下，然後重啟prometheus 即可

 

- job_name: "consul_export報警"

    static_configs:

      - targets: ["172.19.100.212:9107"] # 這裡填寫 Consul Exporter 監聽的 IP 和埠

    relabel_configs: [] # 根據需要重寫標簽

 

  - job_name: "node_export服務發現"

    consul_sd_configs:

      - server: "172.16.100.212:8500"

        #token: "4489cdd3-1952-4ded-4eb9-07a823f5b2ff"

        #token: "3ce3c959-c9e5-7e2c-abe7-1fccbbfe01ae"

        tags:

          - "prometheus"

    relabel_configs:

      - source_labels: [__meta_consul_health]

        target_label: service_health_status

 

       界面如圖

 

 

       點擊consul_exporter報警的endpoint的的界面如下，可以看到服務的check狀態。我們可以根據這些狀態編寫rules進行報警。

 

 

3.4 rules 報警規則配置

需要先在prometheus.yml中加如下配置

rule_files:

  # - "first_rules.yml"

  # - "second_rules.yml"

  - "prometheus.rules.yml"

 

在prometheus.rules.yml配置如下，這是針對3.3中node的報警規則，一旦有匹配的expr，則會觸發rules中的alert規則。而alert規則會直接傳送到alertmanager裡邊查看預設的route，再決定下一步操作（比如發送郵件報警，或者發送到企業微信）。

groups:

#consu_export報警

- name: consul_health_alerts

  rules:

    - alert: "consul服務報警"

      expr: consul_health_service_status{status="critical"} == 1 # 1 表示critical狀態

      for: 1m # 可以根據實際情況調整這個時間視窗，比如持續5分鐘未恢復才報警

      labels:

        severity: critical

      annotations:

        summary: "Consul Service {{ $labels.service_name }} is critical"

        description: "Service '{{ $labels.service_name }}' has been in a critical state for more than 1 minutes."

    - alert: "consul服務報警"

      expr: consul_health_service_status{status="warning"} == 1

      for: 1m # 可以根據實際情況調整這個時間視窗，比如持續5分鐘未恢復才報警

      labels:

        severity: warning

      annotations:

        summary: "Consul Service {{ $labels.service_name }} is warning"

        description: "Service '{{ $labels.service_name }}' has been in

a warning  state for more than 1 minutes."

 

這是prometheus的alert頁面，顯示的就是我上邊配置的報警規則

 

3.5 alertmanager 配置

       需要現在prometheus.yml中加入以下配置

# Alertmanager configuration

alerting:

  alertmanagers:

    - static_configs:

        - targets:

            - localhost:9093

 

 

將tar.gz解壓到/opt/，然後配置系統服務/etc/systemd/system/ alertmanager.service

[Unit]

Description=Prometheus Alertmanager System

After=network-online.target

 

[Service]

ExecStart=/opt/alertmanager-0.27.0.linux-amd64/alertmanager  --config.file=/opt/alertmanager-0.27.0.linux-amd64/alertmanager.yml

Restart=on-failure

RestartSec=5s

 

[Install]

WantedBy=multi-user.target

 

 

systemctl daemon-reload

systemctl start alertmanager.service

systemctl status alertmanager.service

systemctl enable alertmanager.service

 

alertmanager.yml配置如下,我通過QQ郵件進行報警。

global:

  resolve_timeout: 5m

 

route:

  receiver: "email-receiver"

 

receivers:

  - name: "email-receiver"

    email_configs:

      - send_resolved: true # 是否發送解決通知

        to: "XXXXX" # 接收報警郵件的地址

        from: "XXXXX " # 發送報警郵件的地址

        smarthost: "smtp.qq.com:587" # SMTP伺服器地址及埠

        auth_username: "XXXXX" # SMTP用戶名

        auth_password: "XXXXX" # SMTP密碼（如果是明文，推薦使用加密存儲）

        require_tls: true # 如果SMTP伺服器支持TLS，則啟用

 

inhibit_rules: [] # 可選，抑制規則配置

 

這是alertmanager頁面，目前還沒有報警，所以是空白的，下邊我們來將其中一個node_export節點停掉，來觀察一下報警。

 

 

3.6 報警演示

手動關閉52伺服器上的node_exporter 服務 Systemctl stop node_exporter

1、consul最先check出報警

 

 

2、prometheus alert進入pending狀態

如果1分鐘內，狀態沒有改變，則變為firing

 

 

3、prometheus  alert進入firing狀態

 

 

4、alertmanager平臺觸發報警

將通過alertmanager.yml中route規則發送郵件。

 

 

5、接收到報警郵件

 

 

6、報警解除，收到解除郵件

Systemctl start node_exporter後報警消失，發送接觸報警郵件，至此，報警鏈條完美閉環。

 

 

每篇隨筆都來自工作經驗並親自試驗，確保每位讀者能夠接觸到正確的知識。部分隨筆多平臺發佈，謝絕轉載！！！
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 在 PostgreSQL 中，解決圖片二進位數據，由於bytea_output參數問題導致顯示不正常的問題。
    在 PostgreSQL 中，bytea_output 參數控制在查詢結果中 bytea 類型的顯示格式。預設情況下，bytea_output 的值為 hex，這意味著在查詢結果中，bytea 類型的數據以十六進位格式顯示。但是，如果你的應用程式期望以二進位格式獲取圖像數據，則將 bytea_out... ...
  • 前端優化 之 preload
    為了優化我們公司網站的性能，我最近引入了瀏覽器預載入技術（Preload）。 這項技術可以顯著減少級聯情況，提高資源載入的並行度，從而加速網站的載入速度。 Preload的原理 Preload的原理是在瀏覽器解析HTML文檔時，提前載入頁面所需的關鍵資源，如樣式表、腳本文件和字體等。 通過預載入這些 ...
  • .Net MinimalApis響應返回值
    前言 文本主要講 MinimalApis 中的使用自定義IResultModel和系統自帶IResult做響應返回值。 MinimalApis支持以下類型的返回值： string - 這包括 Task<string> 和 ValueTask<string> T（任何其他類型）- 這包括 Task<T ...
  • 記一次 .NET某游戲後端API服務 CPU爆高分析
    一：背景 1. 講故事 前幾天有位朋友找到我，說他們的API服務程式跑著跑著CPU滿了降不下去，讓我幫忙看下怎麼回事，現在貌似民間只有我一個人專註dump分析，還是申明一下我dump分析是免費的，如果想學習.NET高級調試的分析技術，可以來我的訓練營看看，話不多說，dump分析走起！ 二：WinDb ...
  • 重新記錄一下ArcGisEngine安裝的過程
    前言 好久不用Arcgis，突然發現想用時，有點不會安裝了，所以這裡記錄一下安裝過程。 下載Arcgis 首先，下載一個arcgis版本，我這裡下的是10.1。 推薦【 gis思維（公眾號）】，【麻辣GIS（網站）】。 當然了，這都是很舊很舊的版本了，基本上沒有三維功能。 一定要下載帶註冊機的。 a ...
  • .NET Emit 入門教程：第二部分：構建動態程式集（追加構建靜態程式集教程）
    在本章節中，我們討論瞭如何使用 C# Emit 來構建動態程式集，以獲得 AssemblyBuilder 這個程式集構建器，開啟構建程式集的第一步。同時我們也討論瞭如何使用 C# Emit 來構建動態程式集以及程式集的持久化。同時還分享了自己的乾貨，如何使用 CodeDom 和 Roslyn 來構建... ...
  • Advanced .Net Debugging 5：基本調試任務（線程的操作、代碼審查、CLR內部的命令、診斷命令和崩潰轉儲文件）
    在.NET中Newtonsoft.Json(Json.NET)是我們常用來進行Json序列化與反序列化的庫。 而在使用中常會遇到反序列化Json時，遇到不規則的Json數據解構而拋出異常。 Newtonsoft.Json 支持序列化和反序列化過程中的錯誤處理。 允許您捕獲錯誤並選擇是處理它並繼續序列 ...
  • 學習OSAL並移植到STM32F103開發板上
    之前從來沒有使用過Arch Linux，更沒有安裝過。今天在 ARM 和 龍芯上折騰了好幾遍，為避免以後忘記，寫寫筆記。 ...
一周排行
    -Advertisement-
    Play Games
  • UOS 開啟 VisualStudio 遠程調試 .NET 應用之旅
    前言 在我們開發過程中基本上不可或缺的用到一些敏感機密數據，比如SQL伺服器的連接串或者是OAuth2的Secret等，這些敏感數據在代碼中是不太安全的，我們不應該在源代碼中存儲密碼和其他的敏感數據，一種推薦的方式是通過Asp.Net Core的機密管理器。 機密管理器 在 ASP.NET Core ...
  • C# - 能否讓 SortedSet.RemoveWhere 內傳入的委托非同步執行
    新改進提供的Taurus Rpc 功能，可以簡化微服務間的調用，同時可以不用再手動輸出模塊名稱，或調用路徑，包括負載均衡，這一切，由框架實現並提供了。新的Taurus Rpc 功能，將使得服務間的調用，更加輕鬆、簡約、高效。 ...
  • 順序棧的介面程式
    順序棧的介面程式 目錄順序棧的介面程式頭文件創建順序棧入棧出棧利用棧將10進位轉16進位數驗證 頭文件 #include <stdio.h> #include <stdbool.h> #include <stdlib.h> 創建順序棧 // 指的是順序棧中的元素的數據類型，用戶可以根據需要進行修改 ...
  • mORMot2 獲取數據集1
    前言 整理這個官方翻譯的系列，原因是網上大部分的 tomcat 版本比較舊，此版本為 v11 最新的版本。 開源項目 從零手寫實現 tomcat minicat 別稱【嗅虎】心有猛虎，輕嗅薔薇。 系列文章 web server apache tomcat11-01-官方文檔入門介紹 web serv ...
  • 萬字長文總結與剖析C語言關鍵字 -- <<C語言深度解剖>>
    C總結與剖析:關鍵字篇 -- <<C語言深度解剖>> 目錄C總結與剖析:關鍵字篇 -- <<C語言深度解剖>>程式的本質:二進位文件變數1.變數:記憶體上的某個位置開闢的空間2.變數的初始化3.為什麼要有變數4.局部變數與全局變數5.變數的大小由類型決定6.任何一個變數,記憶體賦值都是從低地址開始往高地 ...
  • 【Flink入門修煉】2-3 Flink Checkpoint 原理機制
    如果讓你來做一個有狀態流式應用的故障恢復，你會如何來做呢？ 單機和多機會遇到什麼不同的問題？ Flink Checkpoint 是做什麼用的？原理是什麼？ ...
  • C++ 多級繼承與多重繼承：代碼組織與靈活性的平衡
    C++ 多級繼承 多級繼承是一種面向對象編程（OOP）特性，允許一個類從多個基類繼承屬性和方法。它使代碼更易於組織和維護，並促進代碼重用。 多級繼承的語法 在 C++ 中，使用 : 符號來指定繼承關係。多級繼承的語法如下： class DerivedClass : public BaseClass1 ...
  • 圖文結合手把手教你創建SpringCloud項目
    前言 什麼是SpringCloud？ Spring Cloud 是一系列框架的有序集合，它利用 Spring Boot 的開發便利性簡化了分散式系統的開發，比如服務註冊、服務發現、網關、路由、鏈路追蹤等。Spring Cloud 並不是重覆造輪子，而是將市面上開發得比較好的模塊集成進去，進行封裝，從 ...
  • 類模板的常見用法
    class_template 類模板和函數模板的定義和使用類似，我們已經進行了介紹。有時，有兩個或多個類，其功能是相同的，僅僅是數據類型不同。類模板用於實現類所需數據的類型參數化 template<class NameType, class AgeType> class Person { publi ...
  • system-v IPC共用記憶體通信
    目錄system v IPC簡介共用記憶體需要用到的函數介面shmget函數--獲取對象IDshmat函數--獲得映射空間shmctl函數--釋放資源共用記憶體實現思路註意 system v IPC簡介 消息隊列、共用記憶體和信號量統稱為system v IPC(進程間通信機制)，V是羅馬數字5，是UNI ...
所有分類