9.3.配置PrometheusRule

我们现在能收集到redis的监控指标了，但是现在并没有配置监控报警规则。需要我们自己根据实际关心的指标添加报警规则 首先我们看下Prometheus默认的规则，大概如下。

![image.jpg](/media/202408/9.3.163023388_image1.png) 现在我们就来为redis添加一条规则，在 Prometheus的 Config 页面下面查看关于 AlertManager 的配置： ![image.jpg](/media/202408/9.3.163023388_image2.png) 上面 alertmanagers 实例的配置我们可以看到是通过角色为 endpoints 的 kubernetes 的服务发现机制获取的，匹配的是服务名为 alertmanager-main，端口名未 web 的 Service 服务，我们查看下 alertmanager-main 这个 Service：
```
[root@]# kubectl describe svc alertmanager-main -n monitoring
Name: alertmanager-main
Namespace: monitoring
Labels: alertmanager=main
Annotations: <none>
Selector: alertmanager=main,app=alertmanager
Type: ClusterIP
IP: 10.111.141.65
Port: web 9093/TCP
TargetPort: web/TCP
Endpoints: 100.118.246.1:9093,100.64.147.129:9093,100.98.81.194:9093
Session Affinity: ClientIP
Events: <none>
```
可以看到服务名就是 alertmanager-main，Port 定义的名称也是 web，符合上面的规则，所以 Prometheus 和 AlertManager 组件就正确关联上了。而对应的报警规则文件位于：/etc/prometheus/rules/prometheus-k8s-rulefiles-0/目录下面所有的 YAML 文件。可以进入 Prometheus 的 Pod 中验证下该目录下面是否有 YAML 文件： ![image.jpg](/media/202408/9.3.163023388_image3.png)

这个YAML文件实际上就是我们之前创建的一个 PrometheusRule 文件包含的： ![image.jpg](/media/202408/9.3.163023388_image4.png) 这里的 PrometheusRule 的 name 为 prometheus-k8s-rules，namespace 为 monitoring，我们可以猜想到我们创建一个 PrometheusRule 资源对象后，会自动在上面的 prometheus-k8s-rulefiles-0 目录下面生成一个对应的-.yaml文件，所以如果以后我们需要自定义一个报警选项的话，只需要定义一个 PrometheusRule 资源对象即可。至于为什么 Prometheus 能够识别这个 PrometheusRule 资源对象呢？这就查看我们创建的 prometheus( prometheus-prometheus.yaml) 这个资源对象了，里面有非常重要的一个属性 ruleSelector，用来匹配 rule 规则的过滤器，要求匹配具有 prometheus=k8s 和 role=alert-rules 标签的 PrometheusRule 资源对象，现在明白了吧？
```
ruleSelector:
 matchLabels:
 prometheus: k8s
 role: alert-rules
```
所以要想自定义一个报警规则，只需要创建一个具有 prometheus=k8s 和 role=alert-rules 标签的 PrometheusRule 对象就行了，比如现在我们添加一个redis是否可用的报警，我们可以通过redis_up这个指标检查redis是否启动，创建文件 prometheus-redisRules.yaml：
```
apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
 labels:
 prometheus: k8s
 role: alert-rules
 name: redis-rules
 namespace: monitoring
spec:
 groups:
 - name: redis
 rules:
 - alert: RedisUnavailable
 annotations:
 summary: redis instance info
 description: If redis_up == 0, redis will be unavailable
 expr: |
 redis_up == 0
 for: 3m
 labels:
 severity: critical
```
创建prometheusrule后，可以看到我们自己创建的redis-rules
```
kubectl apply -f prometheus-redisRules.yaml

kubectl get prometheusrule -n monitoring
NAME AGE
etcd-rules 4d18h
prometheus-k8s-rules 17d
redis-rules 15s
```
注意 label 标签一定至少要有 prometheus=k8s 或 role=alert-rules，创建完成后，隔一会儿再去容器中查看下 rules 文件夹： ![image.jpg](/media/202408/9.3.163023388_image5.png) 现在看到我们创建的 rule 文件已经被注入到了对应的 rulefiles 文件夹下面了。然后再去 Prometheus的 Alert 页面下面就可以查看到上面我们新建的报警规则了： ![image.jpg](/media/202408/9.3.163023388_image6.png)

### **配置报警**
现在我们知道了怎么去添加一个报警规则配置项，但是这些报警信息用怎样的方式去发送呢？ 这个就需要我们配置alertmanager 这里我以邮件和微信为例 alertmanager的配置文件alertmanager.yaml使用 alertmanager-secret.yaml 文件创建，这里看下默认的配置 cat alertmanager-secret.yaml
```
apiVersion: v1
kind: Secret
metadata:
 name: alertmanager-main
 namespace: monitoring
stringData:
 alertmanager.yaml: |-
 "global":
 "resolve_timeout": "5m"
 "inhibit_rules":
 - "equal":
 - "namespace"
 - "alertname"
 "source_match":
 "severity": "critical"
 "target_match_re":
 "severity": "warning|info"
 - "equal":
 - "namespace"
 - "alertname"
 "source_match":
 "severity": "warning"
 "target_match_re":
 "severity": "info"
 "receivers":
 - "name": "Default"
 - "name": "Watchdog"
 - "name": "Critical"
 "route":
 "group_by":
 - "namespace"
 "group_interval": "5m"
 "group_wait": "30s"
 "receiver": "Default"
 "repeat_interval": "12h"
 "routes":
 - "match":
 "alertname": "Watchdog"
 "receiver": "Watchdog"
 - "match":
 "severity": "critical"
 "receiver": "Critical"
type: Opaque
```
现在我们需要修改这个文件，配置微信和邮件相关信息,前提你需要自行准备好企业微信相关信息，可以自行网上搜相关教程。 首先创建alertmanager.yaml文件
```
global:
 resolve_timeout: 5m
 smtp_smarthost: 'smtp.51os.club:25'
 smtp_from: 'amos'
 smtp_auth_username: 'amos@51os.club'
 smtp_auth_password: 'Mypassword'
 smtp_hello: '51os.club'
 smtp_require_tls: false
 wechat_api_url: 'https://qyapi.weixin.qq.com/cgi-bin/'
 wechat_api_secret: 'SGGc4x-RDcVD_ptvVhYrxxxxxxxxxxOhWVWIITRxM'
 wechat_api_corp_id: 'ww419xxxxxxxx735e1c0'

templates:
- '*.tmpl'

route:
  group_by: ['job', 'severity']
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 12h
  receiver: default
  routes:
  - receiver: wechat
    continue: true
    match:
      alertname: Watchdog

receivers:
- name: 'default'
  email_configs:
  - to: '10xxxx1648@qq.com'
    send_resolved: true
- name: 'wechat'
  wechat_configs:
  - send_resolved: false
    corp_id: 'ww419xxxxxxxx35e1c0'
    to_party: '13'
    message: '{{ template "wechat.default.message" . }}'
    agent_id: '1000003'
    api_secret: 'SGGc4x-RDcxxxxxxxxY6YwfZFsO9OhWVWIITRxM'
```
我这里添加了两个接收器，默认的通过邮箱进行发送，对于 Watchdog 这个报警我们通过 webhook 来进行发送，这个 webhook 就是wechat。

### **自定义的redis的监控RedisUnavailable**
![image.jpg](/media/202408/9.3.163023388_image7.png) 然后使用在创建一个templates文件，这个文件是发微信消息的模板wechat.tmpl：
```
{{ define "wechat.default.message" }}
{{- if gt (len .Alerts.Firing) 0 -}}
{{- range $index, $alert := .Alerts -}}
{{- if eq $index 0 -}}
AlertTpye: {{ $alert.Labels.alertname }}
AlertLevel: {{ $alert.Labels.severity }}

=====================
{{- end }}
===Alert Info===
Alert Info: {{ $alert.Annotations.message }}
Alert Time: {{ $alert.StartsAt.Format "2006-01-02 15:04:05" }}
===More Info===
{{ if gt (len $alert.Labels.instance) 0 -}}InstanceIp: {{ $alert.Labels.instance }};{{- end -}}
{{- if gt (len $alert.Labels.namespace) 0 -}}InstanceNamespace: {{ $alert.Labels.namespace }};{{- end -}}
{{- if gt (len $alert.Labels.node) 0 -}}NodeIP: {{ $alert.Labels.node }};{{- end -}}
{{- if gt (len $alert.Labels.pod_name) 0 -}}PodName: {{ $alert.Labels.pod_name }}{{- end }}
=====================
{{- end }}
{{- end }}

{{- if gt (len .Alerts.Resolved) 0 -}}
{{- range $index, $alert := .Alerts -}}
{{- if eq $index 0 -}}
AlertTpye: {{ $alert.Labels.alertname }}
AlertLevel: {{ $alert.Labels.severity }}

=====================
{{- end }}
===Alert Info===
Alert Info: {{ $alert.Annotations.message }}
Alert Start Time: {{ $alert.StartsAt.Format "2006-01-02 15:04:05" }}
Alert Fix Time: {{ $alert.EndsAt.Format "2006-01-02 15:04:05" }}
===More Info===
{{ if gt (len $alert.Labels.instance) 0 -}}InstanceIp: {{ $alert.Labels.instance }};{{- end -}}
{{- if gt (len $alert.Labels.namespace) 0 -}}InstanceNamespace: {{ $alert.Labels.namespace }};{{- end -}}
{{- if gt (len $alert.Labels.node) 0 -}}NodeIP: {{ $alert.Labels.node }};{{- end -}}
{{- if gt (len $alert.Labels.pod_name) 0 -}}PodName: {{ $alert.Labels.pod_name }};{{- end }}
=====================
{{- end }}
{{- end }}
{{- end }}
```
现在我们先删除原来的 alertmanager-main secret，然后再基于alertmanager.yaml和wechat.tmpl创建alertmanager-main secret
```
kubectl delete secret alertmanager-main -n monitoring
kubectl create secret generic alertmanager-main --from-file=alertmanager.yaml --from-file=wechat.tmpl -n monitoring
```
上面的步骤创建完成后，很快我们就会收到一条wechat消息,同样邮箱中也会收到报警信息：

![image.jpg](/media/202408/9.3.163023388_image8.png) 再次查看 AlertManager 的配置信息可以看到已经变成上面我们的配置信息了