[root@k8s-master01 30-Prometheus]# kubectl get prometheusrules -n monitoring
NAME                              AGE
alertmanager-main-rules           315d
grafana-rules                     315d
kube-prometheus-rules             315d
kube-state-metrics-rules          315d
kubernetes-monitoring-rules       315d
node-exporter-rules               315d
prometheus-k8s-prometheus-rules   315d
prometheus-operator-rules         315d

kubectl get prometheusrules -n monitoring node-exporter-rules -oyaml

apiVersion: monitoring.coreos.com/v1  #指定资源所属的 API 组和版本。
kind: PrometheusRule  #指定 Kubernetes 资源类型。
metadata:
  name: my-custom-alerts  #指定资源的名字是my-custom-alerts
  namespace: monitoring #资源所在的命名空间
  #labels:  #定义该资源的标签，必须匹配 Prometheus 的 ruleSelector，不然Prometheus不会加载该资源，因为Prometheus中定义的是 ruleSelector: {}，表示匹配所有，所以这里不写也可以。
    #prometheus: k8s
    #role: alert-rules
spec:    #是资源的期望状态，是 PrometheusRule 的核心配置。它描述要创建哪些规则组和具体规则。
  groups:  #定义规则组列表
  - name: my-node-alerts  #组名，自定义，同一 PrometheusRule 内唯一
    rules:  # 定义具体规则的列表
    - alert: InstanceDown  #报警的名字
      expr: up{ job="node-exporter"} == 0  #Expression的缩写，表达式，触发报警的核心逻辑（固定语法，PromQL 查询语言）
      for: 5m  #持续时间，这个异常状态持续了5分钟还没有恢复,告警才从pending变为firing,才真正触发报警
      labels:  # # 定义报警携带的标签（会传给 Alertmanager，用于路由）
        severity: critical  # 调度中心就是靠这些标签来决定发给谁的。
        team: ops
      annotations:  # 定义报警的详细描述文本
        summary: "实例 {{ $labels.instance }} 宕机"  #定义该报警简要说明
        description: "该实例已经失去连接超过 5 分钟，请立即检查。"  #定义该报警的详细说明

# Prometheus Operator 提供的 PrometheusRule CRD 的 API 版本。
# 集群中必须已安装 prometheusrules.monitoring.coreos.com CRD。
apiVersion: monitoring.coreos.com/v1

# 声明这是一个 PrometheusRule 资源，用于定义告警规则或记录规则。
kind: PrometheusRule

# Kubernetes 对象的通用元数据。
metadata:
  # 当前 PrometheusRule 对象的名称。
  # 必须在 monitoring 命名空间内唯一，不需要与 Prometheus 或 ServiceMonitor 同名。
  name: my-custom-alerts

  # 当前资源所在的 Kubernetes 命名空间。
  # 该命名空间必须被 Prometheus CR 的 spec.ruleNamespaceSelector 选中。
  namespace: monitoring

  # 当前 Kubernetes 对象的标签。
  # 这些标签用于匹配 Prometheus CR 的 spec.ruleSelector，
  # 不会自动成为告警事件的标签。
  #
  # 如果 Prometheus 的 ruleSelector 要求以下标签，则必须取消注释。
  # 如果 ruleSelector: {} 并且命名空间也在选择范围内，通常可以省略。
  # labels:
  #   prometheus: k8s
  #   role: alert-rules

# PrometheusRule 的规则定义。
spec:
  # 规则组列表，可以按基础设施、组件或业务拆分成多个规则组。
  groups:
    # 规则组名称，用于在 Prometheus 中识别和管理这一组规则。
    # 不需要匹配其他 Kubernetes 资源名称，建议保持清晰且尽量唯一。
    - name: my-node-alerts

      # 当前规则组中的规则列表。
      # 使用 alert 字段的是告警规则；使用 record 字段的是记录规则。
      rules:
        # 告警名称。
        # 告警触发后会生成 alertname="InstanceDown" 标签，
        # Alertmanager 可以根据 alertname 进行路由、分组或静默。
        - alert: InstanceDown

          # PromQL 告警表达式。
          # up=0 表示 Prometheus 最近一次抓取该目标失败。
          # job="node-exporter" 必须与 Prometheus 中真实的 job 标签值一致。
          # 可通过 count by (job) (up) 查询实际 job 标签。
          expr: up{job="node-exporter"} == 0

          # 表达式连续成立 5 分钟后，告警才从 pending 进入 firing。
          # 用于过滤短暂网络抖动、进程重启等瞬时故障。
          for: 5m

          # 附加到告警实例上的标签，并发送给 Alertmanager。
          # 应与 Alertmanager 的 route、inhibit_rules 和静默规范保持一致。
          labels:
            # 告警严重级别。该值不是 Prometheus 固定枚举，
            # 但必须与组织的告警分级和 Alertmanager 路由配置一致。
            severity: critical

            # 告警责任团队。Alertmanager 可以通过 team="ops" 路由到运维团队。
            team: ops

          # 供通知接收者阅读的告警说明。
          # 通常由 Alertmanager 通知模板读取，不建议用于路由。
          annotations:
            # 告警简要摘要。
            # $labels.instance 来自 expr 查询结果中的 instance 标签。
            summary: "Node Exporter 采集目标 {{ $labels.instance }} 不可达"

            # 告警详细描述。加入 job 和 instance，方便快速定位目标。
            # “抓取失败”不一定代表主机宕机，也可能是网络或 exporter 故障。
            description: "Prometheus 已连续 5 分钟无法抓取 job={{ $labels.job }}、instance={{ $labels.instance }}，请检查目标状态、Node Exporter、网络和抓取配置。"

cat >blackbox-rule.yaml<<EOF
apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
  name: blackbox
  namespace: monitoring
  labels:
    prometheus: k8s
    role: alert-rules
spec:
  groups:
  - name: blackbox-exporter
    rules:
    # 🔴 规则 1：域名完全不可访问 (致命级别)
    - alert: WebsiteDown
      expr: probe_success{ job="web-probe" } == 0
      for: 1m
      labels:
        severity: critical
        team: web
      annotations:
        summary: "网站 {{ $labels.instance }} 无法访问 🚨"
        description: "该网站已连续 1 分钟无法连接 (当前状态值为 {{ $value }})，请立刻处理！"
    # 🟡 规则 2：访问延迟过高 (警告级别)
    - alert: HighLatency
      expr: probe_duration_seconds{ job="web-probe"} > 5
      for: 2m
      labels:
        severity: warning
        team: web
      annotations:
        summary: "网站 {{ $labels.instance }} 访问延迟过高 🐢"
        description: "该网站加载时间已超过 5 秒 (当前耗时为 {{ $value }} 秒)，请检查服务性能。"
EOF        

#创建
[root@k8s-master01 PrometheusRule]# kubectl create -f blackbox-rule.yaml
prometheusrule.monitoring.coreos.com/blackbox created

# 查看
[root@k8s-master01 PrometheusRule]# kubectl get prometheusrules.monitoring.coreos.com -n monitoring
NAME                              AGE
blackbox                          47s

# 指定 PrometheusRule 使用的 API 组和版本。
# 集群中必须安装 Prometheus Operator 及 PrometheusRule CRD。
apiVersion: monitoring.coreos.com/v1
# 指定 Kubernetes 资源类型,PrometheusRule 用于声明 Prometheus 告警规则和记录规则。
kind: PrometheusRule
# Kubernetes 资源的元数据。
metadata:
  # PrometheusRule 资源名称,在同一个命名空间内必须唯一。
  # 该名称不需要与 Prometheus、Blackbox Exporter 或 ServiceMonitor 的名称一致。
  name: blackbox
  # PrometheusRule 所在的 Kubernetes 命名空间。
  namespace: monitoring
  # Kubernetes 对象标签。
  # 这些标签用于匹配 Prometheus CR 的 spec.ruleSelector。
  # 它们与告警规则中的 labels 不同：
  # 1. metadata.labels：
  #    用于 Prometheus 选择和加载 PrometheusRule 资源。
  # 2. spec.groups[].rules[].labels：
  #    用于给告警添加标签，并传递给 Alertmanager 做路由、分组、静默和抑制。
  # 例如，Prometheus CR 如果配置为：
  # spec:
  #   ruleSelector:
  #     matchLabels:
  #       prometheus: k8s
  #       role: alert-rules
  #
  # 那么本资源必须具有下面两个标签。
  labels:
    # Prometheus CR 的 ruleSelector 需要匹配的标签。
    # 该值必须与 ruleSelector 中 prometheus 的值一致。
    prometheus: k8s
    # Prometheus CR 的 ruleSelector 需要匹配的标签。
    # 该值必须与 ruleSelector 中 role 的值一致。
    role: alert-rules
# PrometheusRule 的具体配置。
# spec 中定义要交给 Prometheus 加载的规则。
spec:
  # Prometheus 规则组列表。
  # 每个规则组由一个 name 和一个 rules 列表组成。
  groups:
    # 规则组名称。
    # 用于在 Prometheus 的 Rules 页面、API 和日志中标识该规则组。
    # 建议名称具有明确业务含义，并尽量避免在多个规则文件中重复。
    - name: blackbox-exporter
      # 当前规则组中的 Prometheus 规则列表。
      # 使用 alert 字段定义告警规则；
      # 使用 record 字段定义记录规则。
      rules:
        # 规则 1：网站或探测目标不可访问。
        - alert: WebsiteDown
          # PromQL 告警表达式。
          # probe_success 是 Blackbox Exporter 常见的探测结果指标：
          #   1 表示探测成功；
          #   0 表示探测失败。
          # 当前写法会匹配所有 probe_success == 0 的目标。
          # 如果 Prometheus 中还有其他类型的 Blackbox 探测任务，
          # 可能会把非网站探测目标也纳入该告警。
          # 如果只监控 web-probe，建议改为：
          # expr: probe_success{job="web-probe"} == 0
          # 其中 job 的实际值必须与 Prometheus 中的 job 标签一致。
          expr: probe_success{job="web-probe"} == 0
          # 表达式连续满足 1 分钟后，告警才进入 firing 状态。
          # 状态变化通常为：
          #   inactive -> pending -> firing
          # 如果探测失败持续时间不足 1 分钟，告警会恢复为 inactive，
          # 不会发送正式告警通知。
          for: 1m
          # 告警标签。
          # 这些标签会附加到生成的告警实例上，并发送给 Alertmanager。
          labels:
            # 告警严重级别。
            # critical 不是 Prometheus 强制规定的固定值，
            # 但必须与 Alertmanager 路由配置中的 matcher 保持一致。
            # 例如 Alertmanager 可以按以下条件路由：
            # severity="critical"
            severity: critical
            # 告警责任团队。
            # Alertmanager 可以根据 team="web" 将告警发送给 Web 团队。
            team: web
          # 告警注解。
          # annotations 主要用于生成通知标题、正文和排障链接。
          # 通常不用于 Alertmanager 路由匹配。
          annotations:
            # 告警简要描述。
            # $labels.instance 是当前告警时间序列中的 instance 标签值。
            # 对 Blackbox Exporter 来说，它通常代表被探测的目标地址，
            # 但最终值取决于 Prometheus 的 relabel_configs 配置。
            summary: "网站 {{ $labels.instance }} 无法访问 🚨"
            # 告警详细描述。
            # $value 是 PromQL 表达式当前的计算结果。
            # 对 probe_success == 0 来说，通常为 0。
            # 该内容通常会被 Alertmanager 的邮件、企业微信、钉钉、
            # 飞书或其他通知模板引用。
            description: "该网站已连续 1 分钟无法连接，当前 probe_success 值为 {{ $value }}，请检查网站服务、Blackbox Exporter、网络连通性和 DNS。"
        # 规则 2：网站访问延迟过高。
        - alert: HighLatency
          # PromQL 告警表达式。
          # probe_duration_seconds 是 Blackbox Exporter 常见的探测耗时指标，
          # 单位是秒。
          #
          # > 5 表示探测耗时超过 5 秒。
          # job="web-probe" 用于只匹配网站探测任务。
          # 该 job 标签值必须与 Prometheus 中实际采集到的标签一致。
          expr: probe_duration_seconds{job="web-probe"} > 5
          # 访问延迟必须连续超过 5 秒并持续 2 分钟，
          # 告警才会进入 firing 状态。
          #
          # 该配置可以减少偶发的高延迟或网络瞬时抖动造成的误报。
          for: 2m
          # 告警标签。
          # 这些标签会传递给 Alertmanager，
          # 可用于根据严重程度和责任团队进行告警路由。
          labels:
            # 告警严重级别。
            # 此处设置为 warning，表示需要关注但通常不属于立即中断业务的故障。
            # Alertmanager 必须使用相同的值进行匹配。
            severity: warning
            # 告警责任团队。
            # 与 WebsiteDown 使用相同的 team 值，
            # 表示这两类告警都由 Web 团队负责处理。
            team: web
          # 告警注解。
          # 用于描述告警内容、当前状态和处理方向。
          annotations:
            # 告警简要标题。
            # $labels.instance 表示发生高延迟的探测目标。
            summary: "网站 {{ $labels.instance }} 访问延迟过高 🐢"
            # 告警详细描述。
            # $value 是当前探测耗时，单位为秒。
            # 由于表达式条件是 > 5，因此这里的值应大于 5。
            description: "网站探测耗时已超过 5 秒，当前耗时为 {{ $value }} 秒，请检查网站服务性能、网络延迟、DNS 和 Blackbox Exporter。"

[root@k8s-master01 PrometheusRule]# kubectl create -f basic-role.yaml
prometheusrule.monitoring.coreos.com/database-monitor-alerts created

[root@k8s-master01 PrometheusRule]# kubectl get prometheusrules.monitoring.coreos.com -n monitoring
NAME                              AGE
database-monitor-alerts           23s