^-^
Prometheus数据查询
  1. 数据概述
  2. 查询方式
    1. 标签匹配查询
    2. 二元操作
    3. 聚合操作
    4. 内置函数

数据概述

metrics数据

prometheus监控中对于采集过来的数据统一称为metrics数据。总体上来说metrics是对采集过来的数据的一种统称。

metrics数据分为以下几种类型：

  • Gauge：最简单的度量指标，只有一个简单的返回值（瞬时状态），比如当前的cpu使用率，内存使用率，磁盘使用率，温度等，这种就是Gauge类型的代表。
  • Counter：Counters就是计数器，它的统计数据是递增的，比如http请求的总数，出现的错误总数，总的处理时间，api请求数等
  • Histograms：统计在一定的时间范围内数据的分布情况，还提供度量指标的总和，数据以直方图显示。其主要用于表示一段时间内对数据的采样，并能够对其指定区间及总数进行统计。根据统计区间计算。如请求的持续/延长时间，请求的响应大小等。
  • Summary：类似Histogram，用于表示一段时间内数据采样结果，其直接存储quantile数据，而不是根据统计区间计算出来的。不需要计算，直接存储结果。

metrics数据是键值形式的，即K/V形式的，以下面的一组metrics数据为例：

1
2
3
4
# HELP node_cpu_guest_seconds_total Seconds the CPUs spent in guests (VMs) for each mode.
# TYPE node_cpu_guest_seconds_total counter
node_cpu_guest_seconds_total{cpu="0",mode="nice"} 0
node_cpu_guest_seconds_total{cpu="0",mode="user"} 0

上面一组metrics数据，前两行注释分别为HELP和TYPE，其中HELP是对该条metric数据的简单描述，而TYPE表示该metric的数据类型。

下面两行是metrics的K/V数据，以第一行为例，键名是node_cpu_guest_seconds_total{cpu="0",mode="nice"}，键值是0

键名又分为指标名称和标签集，node_cpu_guest_seconds_total是指标名称，指标名称代表着这项metrics数据的基本标识；{cpu="0",mode="nice"}是标签集，标签则是这个基本标识上再次细分的多个可测量的维度。

PromQL查询数据

PromQL是Prometheus实现监控查询的核心功能，除了实现数据的对外查询和展现，同时告警监控也是依赖PromQL实现的。

通过PromQL，用户可以非常方便地对监控样本数据进行统计分析，PromQL支持常见的运算操作符，同时PromQL中还提供了大量的内置函数可以实现对数据的高级处理。

Prometheus 返回的查询结果有以下几种数据类型:

  • 瞬时向量（Instant vector）：有多个时序序列，但是每一个时序序列只有一个时刻的值，这种类型的数据称为瞬时向量。
  • 区间向量（Range vector）：每一个时序序列是一个时间区间的数据，这种类型的数据成为区间向量
  • 标量数据 (Scalar): 一个浮点数
  • 字符串 (String): 一个字符串，暂时未用

查询方式

标签匹配查询

最简单的查询方式，Prometheus通过指标名称和标签唯一定义一条时间序列进行查询。

比如想要查询CPU总的使用时间，可以输入指标名称node_cpu_seconds_total，可以看到出现的metrics项

image-20240401190302326

如果想要查询更详细的维度，比如CPU在内核态的使用时间，可以使用标签，即在指标名称后追加{mode="system"}

image-20240401190717919

使用技巧：

  1. 在使用标签查询时，可以添加多个标签，比如node_cpu_seconds_total{cpu="0",mode="system"}

  2. 在使用标签查询时，可以使用=和!=，比如node_cpu_seconds_total{mode="system"}，不看内核态的时间

  3. 除了完全匹配外，还可以使用正则表达式，匹配符号使用=~模糊匹配，使用!~表示反向模糊匹配

  4. 使用正则表达式的时候，在标签的值里面使用|表示逻辑或，比如node_cpu_seconds_total{mode=~"system|nice"}

  5. 上面几个例子查询到的都是瞬时向量，可以在查询表达式后面添加[1m]，查询1分钟内所有样本数据，此时查询到的是区间向量。

二元操作

二元操作符包括：数学运算符，逻辑运算符，布尔运算符

数学运算

PromQL支持对查询到的数据进行数学运算，对结果进行二次加工。

  • + (加法)
  • - (减法)
  • * (乘法)
  • / (除法)
  • % (求余)
  • ^ (幂运算)

比如：

1
2
3
4
5
# 以 MB 为单位显示空闲内存
node_memory_MemFree_bytes / (1024 * 1024)

# 展示主机磁盘的I/O总量
node_disk_written_bytes_total + node_disk_read_bytes_total

布尔运算

PromQL支持对查询到的数据的值进行布尔运算，对结果进行过滤。

另外，使用bool修改符后，布尔运算不会对结果进行过滤，而是将各个样本的数据与标量进行比较，得出结果0或1

  • == (相等)
  • != (不相等)
  • > (大于)
  • < (小于)
  • >= (大于等于)
  • <= (小于等于)
  • bool(布尔修饰符，需要结合其他布尔符号使用)

比如：

1
2
3
4
5
6
7
8
# CPU运行时间大于10s的监控项数据
node_cpu_seconds_total > 10

# 检查内存使用率大于90%的机器
(node_memory_MemTotal_bytes - node_memory_MemFree_bytes)/node_memory_MemTotal_bytes > 0.9

# 检查的HTTP请求量是否超过1000，如果大于1000则返回1，否则返回0
http_requests_total > bool 1000

集合运算符

PromQL支持两个瞬时向量之间的操作，可以在两个瞬时向量之间进行相应的集合操作，产生一个新的向量

  • and (并且)
  • or (或者)
  • unless (排除)
1
2
3
vector1 and vector2 会产生一个新的向量，新向量包含vector1中完全匹配vector2中的元素组成
vector1 or vector2 会产生一个新的向量，新向量包含vector1和vector2中所有的样本数据
vector1 unless vector2 会产生一个新的向量，新向量由vector1中没有与vector2匹配的元素组成

聚合操作

聚合操作符作用于瞬时向量，可以将瞬时表达式返回的样本数据进行聚合，形成一个新的时间序列。

Prometheus提供了下列内置的聚合操作符：

  • sum ()求和
  • min ()最小值
  • max() 最大值
  • avg() 平均值
  • stddev() 标准差
  • stdvar() 标准方差
  • count() 计数
  • count_values() 对value进行计数
  • bottomk() 后n条时序
  • topk() 前n条时序
  • quantile() 分位数
  • by()分组

聚合操作的语法如下：

1
<aggr-op>([parameter,] <vector expression>) [without|by (<label list>)]

举例：

1
2
3
4
5
6
7
8
9
10
# 求和
sum(node_cpu_seconds_total)		# CPU运行总时间
sum(node_cpu_seconds_total)by(cpu)		# 按照cpu分组

# 计数，统计返回了多少条数据
count(node_cpu_seconds_total)

# 统计前n条时序和后n条时序
topk(3, sum(node_cpu_seconds_total)  by (mode))		# CPU运行时间按模式分组，统计前三组
bottomk(3, sum(node_cpu_seconds_total)  by (mode))		# CPU运行时间按模式分组，统计前三组

内置函数

此处介绍三个内置函数，用于区间向量

  • increase()增长量
  • rate()增长率
  • irate()瞬时增长率
1
2
3
4
5
6
7
increase() 函数中的参数是一个区间向量，increase函数获取区间向量中的第一个后最后一个样本并返回其增长量。因此，可以通过以下表达式计算CPU运行指标的平均每秒增长率：increase(node_cpu_seconds_total[2m])/120

rate()函数可以直接计算区间向量在时间窗口内平均增长速率。因此，通过下面的表达式可以得到与上面increase函数相同的结果：rate(node_cpu_seconds_total[2m])

需要注意的是,使用rate()或者increase()函数去计算样本的平均增长速率，容易陷入“长尾问题”，即无法反应在时间窗口内样本数据的突发变化。 例如，对于主机而言在2分钟的时间窗口内，可能在某一个由于访问量或者其它问题导致CPU占用100%的情况，但是计算时间窗口内的平均增长率却无法反应出该问题。为了解决该问题，PromQL提供了另外一个灵敏度更高的函数irate()， irate函数是通过区间向量中最后两个样本数据来计算区间向量的增长速率，所以可以近似反映瞬时增长率：irate(node_cpu_seconds_total[2m])

总结：rate适用于增长趋势稳定的场景; irate适用于指标时刻发生剧烈变化的场景
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
#!/bin/bash
# author: Jason Yin

INSTANCE=`hostname -s`

DOCKER_NAMES=`docker -H docker-server ps --format "{{.Names}}"`

# 计算单个容器的运行时间
function get_runtime(){
    start_time=`docker -H docker-server inspect -f '{{.State.StartedAt}}' $1`
    start_time_stamp=`date +%s -d "$start_time"`
    now=`date +%s`
    let run_time=$now-$start_time_stamp
    echo $run_time
    return $run_time
}

echo """# HELP docker_runtime time sec
# TYPE docker_runtime gauge
""" > temp.log
 
for i in ${DOCKER_NAMES}
do
    runtime=`get_runtime $i`
    echo "docker_runtime{name=\"$i\"} $runtime" >> temp.log
done

curl --data-binary "@temp.log" http://192.168.110.155:9091/metrics/job/pushgateway/instance/$INSTANCE

rm -f temp.log
2024-03-25 该篇文章被 邓胖胖 打上标签: Prometheus 归为分类: 学习笔记