Rust:如何使用 Prometheus 系统监控工具包?

2023年 9月 28日 47.2k 0

1. Prometheus 简介

Prometheus 是一个开源的系统监控和警报工具包,最初是由 SoundCloud 构建的。Prometheus 的主要优势在于其多维数据模型和灵活的查询语言,能够实现高效的数据存储和查询。

随着时间的发展,Prometheus已经具有适用于各种操作系统、各种使用场景的版本。为了开发者方便开发,更是有各种语言版本的Prometheus的开发工具包(本文主要介绍Rust版本的Prometheus开发工具包)

本文章具体介绍两个部分的使用:

  • Exporter:用于产生和发送信息

  • Prometheus:用于接收和展示信息

1.1 Exporter

在整个Prometheus 的使用中,Exporter是最基础和重要的部分,Prometheus只是负责接收并展示你想知道的信息,但是信息究竟从何而来呢?是的,消息由Exporter产生,并发送给Prometheus保存和记录。

广义上讲所有可以向Prometheus提供监控样本数据的程序都可以被称为一个Exporter。而Exporter的一个实例称为target,Prometheus通过轮询的方式定期从这些target中获取样本数据。也就是说可以同时有多个Exporter给同一个Prometheus发送需要记录的信息。

其实对于Prometheus工具包的使用具体也在这一部分,通过工具包创建一个又一个Exporter从而完整的记录你想记录的任何信息,那问题来了Exporter结构应该是怎样的呢?究竟是使用工具包提供的api写在自己的程序里面,还是完全隔离开,写一个独立的Exporter程序呢?

从Exporter的运行方式上来讲,又可以分为:

  • 独立使用的

以Node Exporter为例,由于操作系统本身并不直接支持Prometheus,同时用户也无法通过直接从操作系统层面上提供对Prometheus的支持。因此,用户只能通过独立运行一个程序的方式,通过操作系统提供的相关接口,将系统的运行状态数据转换为可供Prometheus读取的监控数据。 除了Node Exporter以外,比如MySQL Exporter、Redis Exporter等都是通过这种方式实现的。 这些Exporter程序扮演了一个中间代理人的角色。

  • 集成到应用中的

为了能够更好的监控系统的内部运行状态,有些开源项目如Kubernetes,ETCD等直接在代码中使用了Prometheus的Client Library,提供了对Prometheus的直接支持。这种方式打破的监控的界限,让应用程序可以直接将内部的运行状态暴露给Prometheus,适合于一些需要更多自定义监控指标需求的项目。

1.2 安装 Prometheus

Prometheus主要用来显示从Exporter发送的信息,并且Prometheus可以在本地运行,只需下载对应的版本。

访问 Prometheus 的官方网站下载并安装适合你操作系统的 Prometheus 版本。按照安装指南完成安装与配置。

我下载的是Linux,64位系统的版本:prometheus-2.47.0.linux-amd64.tar.gz

输入指令解压文件

tar -zxvf prometheus-2.47.0.linux-amd64.tar.gz

进入 Prometheus 目录

cd prometheus-2.47.0.linux-amd64

运行 Prometheus

./prometheus

现在 Prometheus 应该已经开始运行,并在默认的 9090 端口上监听。你可以在 Web 浏览器中通过访问 http://:9090 来访问 Prometheus 的 Web 界面。

配置 Prometheus

Prometheus 通常还需要一个配置文件,例如 prometheus.yml,来定义如何执行服务发现和数据采集。在 Prometheus 目录中,你通常会找到一个示例配置文件,你可以根据自己的需要对其进行修改。

2.Prometheus 库的基本使用

2.1 创建新的 Rust 项目

使用 Cargo 创建一个新项目:

cargo new prometheus_example
cd prometheus_example

配置项目依赖,在 Cargo.toml 文件中加入 Prometheus 库:

[dependencies]
prometheus = "0.13.3"

0.13.3是写这篇文章时的最新版本。也许现在版本已经更新,建议使用最新的版本哦

可以在这里看最新版本

2.2 创建和配置 Prometheus 计数器

简单的 初始化 一个 计数器,并配置标签和值:

use prometheus::{Counter, Registry};

let reg = Registry::new();
let counter = Counter::new("example_counter", "An example counter").unwrap();
reg.register(Box::new(counter.clone())).unwrap();

也可以通过官方的的例子自定义Registry实例和counter实例

// 使用 `lazy_static!` 定义静态 `IntCounter`。
lazy_static! {
    static ref CUSTOM_COUNTER: IntCounter = IntCounter::new("custom", "dedicated counter").unwrap();
}

// Register custom metrics to a custom registry.
let mut labels = HashMap::new();
//这部分代码创建了一个带有自定义前缀“myprefix”的 `Registry`,并为它分配了一个标签,标签的键是“mykey”,值是“myvalue”。
labels.insert("mykey".to_string(), "myvalue".to_string());
let custom_registry = Registry::new_custom(Some("myprefix".to_string()),Some(labels)).unwrap();
//这一行调用了下面定义的 `custom_metrics` 函数,并将先前创建的 `custom_registry` 作为参数传递给它。
custom_metrics(&custom_registry);
    
/// Custom metrics, to be collected by a dedicated registry.
fn custom_metrics(registry: &Registry) {
    registry.register(Box::new(CUSTOM_COUNTER.clone())).unwrap();
    CUSTOM_COUNTER.inc_by(42);
    assert_eq!(CUSTOM_COUNTER.get(), 42);
}
//在这个函数中:
//  `CUSTOM_COUNTER` 被注册到了传递进来的 `Registry` 中。
//   然后,`CUSTOM_COUNTER` 的值增加了42。
//   最后,使用 `assert_eq!` 宏来验证 `CUSTOM_COUNTER` 的值是否确实为42。

通过上面的方式生成的metrics可以打印出来

// Print metrics for the custom registry.
let mut buffer = Vec::::new();
let encoder = prometheus::TextEncoder::new();
encoder
    .encode(&custom_registry.gather(), &mut buffer)
    .unwrap();
println!("## Custom registry");
println!("{}", String::from_utf8(buffer.clone()).unwrap());

打印结果:

## Custom registry
# HELP myprefix_custom dedicated counter
# TYPE myprefix_custom counter
myprefix_custom 42

4. 数据收集和展示

4.1通过web服务提供查询数据的接口给 Prometheus

因为 Prometheus 主要是通过 HTTP 协议来抓取(scrape)应用暴露出的指标(metrics)的,但这并不意味着你的应用必须是一个完整的 web 服务。你只需要为你的应用添加一个简单的 HTTP 服务器来暴露指标。这样的 HTTP 服务器通常非常轻量,对你的应用几乎没有什么影响。

可以使用warp的轻量级web框架,也可以使用最近刚推出的评价还不错的一个web框架,当然选用什么框架都看个人习惯。

我将用warp举例
在Cargo.toml文件中添加依赖

[dependencies]
warp = "0.3" 
tokio = { version = "1", features = ["full"] }

接下来,用warp创建一个简单的web服务:这个服务会在 http://[127:0:0:1]:8080/test 上暴露你的 Prometheus 指标:

use prometheus::{Encoder, TextEncoder};
use warp::Filter;
use std::collections::HashMap;
use prometheus::{Registry, IntCounter};
use std::sync::Arc;
use tokio::sync::RwLock;

lazy_static! {
    static ref CUSTOM_COUNTER: IntCounter = IntCounter::new("custom", "dedicated counter").unwrap();

#[tokio::main]
async fn main() {
  
let mut labels = HashMap::new();
labels.insert("mykey".to_string(), "myvalue".to_string());
let custom_registry = Registry::new_custom(Some("myprefix".to_string()),Some(labels)).unwrap();
custom_metrics(&custom_registry);

fn custom_metrics(registry: &Registry) {
    registry.register(Box::new(CUSTOM_COUNTER.clone())).unwrap();
    CUSTOM_COUNTER.inc_by(42);
    assert_eq!(CUSTOM_COUNTER.get(), 42);
}


let custom_registry = Arc::new(RwLock::new(custom_registry));

// 创建一个 warp filter,该 filter 会暴露 Prometheus 指标。
    let consensus_route = warp::path!("test").map(move || {
        GET_BLOCK_COUNTER.inc();
        SEND_TX_COUNTER.inc();
        let buffer = metrics_encode(Consensus_registry.clone());
        warp::reply::with_header(buffer, "Content-Type", "text/plain")
    });
    let routes=rpc_route.or(consensus_route);
    warp::serve(routes).run(([127, 0, 0, 1], 8080)).await;

2. 配置Prometheus 文件

打开prometheus-2.47.0.linux-amd64文件夹里面的 prometheus.yml配置文件进行编辑

scrape_configs:
  # The job name is added as a label `job=` to any timeseries scraped from this config.
  - job_name: "prometheus"

    # metrics_path defaults to '/metrics'
    # scheme defaults to 'http'.

    static_configs:
      - targets: ["localhost:9090"]
  - job_name: 'test'
    metrics_path: '/test'
    static_configs:
      - targets: ['localhost:8080']

在配置文件中添加刚刚写的web服务的网址,使打开prometheus可以定时访问这个地址从而获取信息。
文件编辑好后,保存,退出,重新运行prometheus就会去监控这个地址了。

2. 监控信息

打开浏览器,访问localhost:9090地址,会出现prometheus的监控画面

image.png

在搜索栏中输入想要监控的信息:myprefix_custom,点击Execute,便可以看到想要查询的信息,数量等
from刘金,转载请注明原文链接。感谢!

相关文章

JavaScript2024新功能:Object.groupBy、正则表达式v标志
PHP trim 函数对多字节字符的使用和限制
新函数 json_validate() 、randomizer 类扩展…20 个PHP 8.3 新特性全面解析
使用HTMX为WordPress增效:如何在不使用复杂框架的情况下增强平台功能
为React 19做准备:WordPress 6.6用户指南
如何删除WordPress中的所有评论

发布评论