1. Prometheus 简介
Prometheus 是一个开源的系统监控和警报工具包,最初是由 SoundCloud 构建的。Prometheus 的主要优势在于其多维数据模型和灵活的查询语言,能够实现高效的数据存储和查询。
随着时间的发展,Prometheus已经具有适用于各种操作系统、各种使用场景的版本。为了开发者方便开发,更是有各种语言版本的Prometheus的开发工具包(本文主要介绍Rust版本的Prometheus开发工具包)
本文章具体介绍两个部分的使用:
-
Exporter:用于产生和发送信息
-
Prometheus:用于接收和展示信息
1.1 Exporter
在整个Prometheus 的使用中,Exporter是最基础和重要的部分,Prometheus只是负责接收并展示你想知道的信息,但是信息究竟从何而来呢?是的,消息由Exporter产生,并发送给Prometheus保存和记录。
广义上讲所有可以向Prometheus提供监控样本数据的程序都可以被称为一个Exporter。而Exporter的一个实例称为target,Prometheus通过轮询的方式定期从这些target中获取样本数据。也就是说可以同时有多个Exporter给同一个Prometheus发送需要记录的信息。
其实对于Prometheus工具包的使用具体也在这一部分,通过工具包创建一个又一个Exporter从而完整的记录你想记录的任何信息,那问题来了Exporter结构应该是怎样的呢?究竟是使用工具包提供的api写在自己的程序里面,还是完全隔离开,写一个独立的Exporter程序呢?
从Exporter的运行方式上来讲,又可以分为:
- 独立使用的
以Node Exporter为例,由于操作系统本身并不直接支持Prometheus,同时用户也无法通过直接从操作系统层面上提供对Prometheus的支持。因此,用户只能通过独立运行一个程序的方式,通过操作系统提供的相关接口,将系统的运行状态数据转换为可供Prometheus读取的监控数据。 除了Node Exporter以外,比如MySQL Exporter、Redis Exporter等都是通过这种方式实现的。 这些Exporter程序扮演了一个中间代理人的角色。
- 集成到应用中的
为了能够更好的监控系统的内部运行状态,有些开源项目如Kubernetes,ETCD等直接在代码中使用了Prometheus的Client Library,提供了对Prometheus的直接支持。这种方式打破的监控的界限,让应用程序可以直接将内部的运行状态暴露给Prometheus,适合于一些需要更多自定义监控指标需求的项目。
1.2 安装 Prometheus
Prometheus主要用来显示从Exporter发送的信息,并且Prometheus可以在本地运行,只需下载对应的版本。
访问 Prometheus 的官方网站下载并安装适合你操作系统的 Prometheus 版本。按照安装指南完成安装与配置。
我下载的是Linux,64位系统的版本:prometheus-2.47.0.linux-amd64.tar.gz
输入指令解压文件
tar -zxvf prometheus-2.47.0.linux-amd64.tar.gz
进入 Prometheus 目录
cd prometheus-2.47.0.linux-amd64
运行 Prometheus
./prometheus
现在 Prometheus 应该已经开始运行,并在默认的 9090 端口上监听。你可以在 Web 浏览器中通过访问 http://:9090
来访问 Prometheus 的 Web 界面。
配置 Prometheus
Prometheus 通常还需要一个配置文件,例如 prometheus.yml
,来定义如何执行服务发现和数据采集。在 Prometheus 目录中,你通常会找到一个示例配置文件,你可以根据自己的需要对其进行修改。
2.Prometheus 库的基本使用
2.1 创建新的 Rust 项目
使用 Cargo 创建一个新项目:
cargo new prometheus_example
cd prometheus_example
配置项目依赖,在 Cargo.toml
文件中加入 Prometheus 库:
[dependencies]
prometheus = "0.13.3"
0.13.3是写这篇文章时的最新版本。也许现在版本已经更新,建议使用最新的版本哦
可以在这里看最新版本
2.2 创建和配置 Prometheus 计数器
简单的 初始化 一个 计数器,并配置标签和值:
use prometheus::{Counter, Registry};
let reg = Registry::new();
let counter = Counter::new("example_counter", "An example counter").unwrap();
reg.register(Box::new(counter.clone())).unwrap();
也可以通过官方的的例子自定义Registry实例和counter实例
// 使用 `lazy_static!` 定义静态 `IntCounter`。
lazy_static! {
static ref CUSTOM_COUNTER: IntCounter = IntCounter::new("custom", "dedicated counter").unwrap();
}
// Register custom metrics to a custom registry.
let mut labels = HashMap::new();
//这部分代码创建了一个带有自定义前缀“myprefix”的 `Registry`,并为它分配了一个标签,标签的键是“mykey”,值是“myvalue”。
labels.insert("mykey".to_string(), "myvalue".to_string());
let custom_registry = Registry::new_custom(Some("myprefix".to_string()),Some(labels)).unwrap();
//这一行调用了下面定义的 `custom_metrics` 函数,并将先前创建的 `custom_registry` 作为参数传递给它。
custom_metrics(&custom_registry);
/// Custom metrics, to be collected by a dedicated registry.
fn custom_metrics(registry: &Registry) {
registry.register(Box::new(CUSTOM_COUNTER.clone())).unwrap();
CUSTOM_COUNTER.inc_by(42);
assert_eq!(CUSTOM_COUNTER.get(), 42);
}
//在这个函数中:
// `CUSTOM_COUNTER` 被注册到了传递进来的 `Registry` 中。
// 然后,`CUSTOM_COUNTER` 的值增加了42。
// 最后,使用 `assert_eq!` 宏来验证 `CUSTOM_COUNTER` 的值是否确实为42。
通过上面的方式生成的metrics可以打印出来
// Print metrics for the custom registry.
let mut buffer = Vec::::new();
let encoder = prometheus::TextEncoder::new();
encoder
.encode(&custom_registry.gather(), &mut buffer)
.unwrap();
println!("## Custom registry");
println!("{}", String::from_utf8(buffer.clone()).unwrap());
打印结果:
## Custom registry
# HELP myprefix_custom dedicated counter
# TYPE myprefix_custom counter
myprefix_custom 42
4. 数据收集和展示
4.1通过web服务提供查询数据的接口给 Prometheus
因为 Prometheus 主要是通过 HTTP 协议来抓取(scrape)应用暴露出的指标(metrics)的,但这并不意味着你的应用必须是一个完整的 web 服务。你只需要为你的应用添加一个简单的 HTTP 服务器来暴露指标。这样的 HTTP 服务器通常非常轻量,对你的应用几乎没有什么影响。
可以使用warp的轻量级web框架,也可以使用最近刚推出的评价还不错的一个web框架,当然选用什么框架都看个人习惯。
我将用warp举例
在Cargo.toml文件中添加依赖
[dependencies]
warp = "0.3"
tokio = { version = "1", features = ["full"] }
接下来,用warp创建一个简单的web服务:这个服务会在 http://[127:0:0:1]:8080/test
上暴露你的 Prometheus 指标:
use prometheus::{Encoder, TextEncoder};
use warp::Filter;
use std::collections::HashMap;
use prometheus::{Registry, IntCounter};
use std::sync::Arc;
use tokio::sync::RwLock;
lazy_static! {
static ref CUSTOM_COUNTER: IntCounter = IntCounter::new("custom", "dedicated counter").unwrap();
#[tokio::main]
async fn main() {
let mut labels = HashMap::new();
labels.insert("mykey".to_string(), "myvalue".to_string());
let custom_registry = Registry::new_custom(Some("myprefix".to_string()),Some(labels)).unwrap();
custom_metrics(&custom_registry);
fn custom_metrics(registry: &Registry) {
registry.register(Box::new(CUSTOM_COUNTER.clone())).unwrap();
CUSTOM_COUNTER.inc_by(42);
assert_eq!(CUSTOM_COUNTER.get(), 42);
}
let custom_registry = Arc::new(RwLock::new(custom_registry));
// 创建一个 warp filter,该 filter 会暴露 Prometheus 指标。
let consensus_route = warp::path!("test").map(move || {
GET_BLOCK_COUNTER.inc();
SEND_TX_COUNTER.inc();
let buffer = metrics_encode(Consensus_registry.clone());
warp::reply::with_header(buffer, "Content-Type", "text/plain")
});
let routes=rpc_route.or(consensus_route);
warp::serve(routes).run(([127, 0, 0, 1], 8080)).await;
2. 配置Prometheus 文件
打开prometheus-2.47.0.linux-amd64文件夹里面的 prometheus.yml配置文件进行编辑
scrape_configs:
# The job name is added as a label `job=` to any timeseries scraped from this config.
- job_name: "prometheus"
# metrics_path defaults to '/metrics'
# scheme defaults to 'http'.
static_configs:
- targets: ["localhost:9090"]
- job_name: 'test'
metrics_path: '/test'
static_configs:
- targets: ['localhost:8080']
在配置文件中添加刚刚写的web服务的网址,使打开prometheus可以定时访问这个地址从而获取信息。
文件编辑好后,保存,退出,重新运行prometheus就会去监控这个地址了。
2. 监控信息
打开浏览器,访问localhost:9090地址,会出现prometheus的监控画面
在搜索栏中输入想要监控的信息:myprefix_custom,点击Execute,便可以看到想要查询的信息,数量等
from刘金,转载请注明原文链接。感谢!