部署概述
本方案面向企业内网，构建高可用监控平台（Prometheus/Grafana/Alertmanager），通过双节点冗余、nginx+keepalived 提供 VIP 入口（10.0.10.10），并实现安全合规（AppArmor、TLS/HSTS、RBAC/只读、审计归档）、系统调优（inotify、max_map_count、nofile）、稳定存储与离线备份（独立 SSD + NAS）。监控与管理 VLAN 分离，exporter 接入采用内部 mTLS，防火墙精细化控制端口访问。
建议的拓扑（示例）
- 节点：mon-a（10.0.10.11），mon-b（10.0.10.12）
- VIP：10.0.10.10（VRRP）
- 网络：VLAN-管理（管理源访问 443/3000），VLAN-监控（Prometheus/Alertmanager 访问 9090/9093，exporter 监听 9100/9797）
- 入口：nginx（443）终止 TLS，反代 Prometheus(9090)、Alertmanager(9093)、Grafana(3000)，并提供 HSTS、RBAC 门禁
环境要求
- 硬件
- 每节点：CPU ≥ 8 核；内存 32 GB；系统盘 150 GB；数据盘 2 TB SSD（ext4，直挂 Prometheus 数据）
- 操作系统与基础组件
- Ubuntu Server 22.04 LTS（启用 AppArmor 默认配置）
- containerd 或 Docker CE 24 + Compose 插件
- keepalived、chrony、logrotate、ufw（或企业统一防火墙）
- certbot（如需公有证书）或本地 CA（建议）
- 运行组件与版本
- Prometheus 2.x、Alertmanager 0.27+、Grafana 10+、node_exporter（建议 1.6+ 启用 TLS）、blackbox_exporter、nginx
- 网络与端口
- 对外入口：443（nginx）
- 后端：9090(Prometheus)、9093(Alertmanager)、9094(AM 集群通信)、3000(Grafana)、9100(node_exporter)、9797(blackbox)、161/udp(SNMP)、22(SSH)
- 安全与合规
- TLS 强制 + HSTS；内部 mTLS（exporter 接入）
- RBAC 与只读角色；审计日志归档到 NAS
- 系统调优
- fs.inotify.max_user_watches 提升、vm.max_map_count 提升、ulimit nofile=65536、时钟同步（chrony）
部署步骤
-
规划与前置准备
1.1 划分 VLAN：管理网与监控网分离，分配 mon-a/mon-b 业务 IP 和 VRRP VIP（10.0.10.10）
1.2 DNS/主机名：为 mon-a/mon-b/VIP 配置 A 记录（可选）
1.3 存储挂载：在两节点将 2TB SSD 挂载至 /data/prometheus（ext4，noatime）
-
基础系统与安全基线
2.1 更新与基础包：安装 keepalived、chrony、logrotate、ufw、ca-certificates
2.2 安装 Docker CE 24 与 Compose 插件（或使用 containerd，保持镜像签名校验）
2.3 启用 AppArmor：保持默认 docker-default；不关闭 AppArmor
2.4 系统参数调优（持久化到 /etc/sysctl.d/99-monitoring.conf）
- fs.inotify.max_user_watches = 1048576
- vm.max_map_count = 262144
- net.core.somaxconn = 1024
- vm.swappiness = 10
生效后验证 sysctl -a 显示正确值（注意遵循变更窗口与回退计划）
2.5 ulimit：为 docker 服务与容器设置 nofile=65536（在 /etc/security/limits.d/monitoring.conf 或 Compose ulimits）
2.6 时间同步：chrony 指向企业 NTP，确保两节点时钟一致（偏差 <100ms）
-
证书体系与密钥管理
3.1 内部 CA（推荐）
- 生成/导入企业级根 CA 与中间 CA
- 为 nginx（VIP 域名/主机名）签发服务器证书（SAN 包含 VIP/域名）
- 为 Prometheus 客户端签发 mTLS 客户端证书（用于抓取 node_exporter/blackbox）
- 为 node_exporter/blackbox_exporter 签发服务器证书（各节点或通配）
说明：私钥妥善保管，文件权限 600，禁止外发；在容器内以只读挂载。
3.2 公有证书（可选）
- 若外网入口需要，使用 certbot 申请并自动续期；强制 HTTPS 与 HSTS
3.3 证书分发与撤销
- 使用企业秘钥管理流程分发，保留吊销列表（CRL）与到期提醒（<30天预警）
-
防火墙与网络访问控制（以 UFW 为例，按企业策略调整）
- 默认拒绝入站，允许必要端口与网段
- 管理子网（例：10.0.20.0/24）仅允许 443、3000
- 监控子网（例：10.0.30.0/24）允许 9090、9093、9094
- 受监控主机开放来自监控子网的 9100/9797
- 限制外网入站；出口仅允许通知渠道（邮件网关/ChatOps），DNS/NTP
- 对 22(SSH) 仅开放到堡垒机网段
-
目录结构与 Compose 工程（两节点一致）
- /opt/monitoring/
- docker-compose.yml
- prometheus/
- prometheus.yml
- rules/（录制与告警规则）
- certs/（ca.crt，client.pem，client.key）
- data/（挂载到 /data/prometheus）
- alertmanager/
- alertmanager.yml
- templates/
- data/
- grafana/
- nginx/
- nginx.conf
- certs/（vip.crt，vip.key，ca.crt）
- logs/
- exporters/
- node_exporter_web.yml
- blackbox_web.yml
-
keepalived 配置与健康检查（主备）
6.1 在 mon-a/mon-b 安装 keepalived（系统服务，非容器）
6.2 使用 VRRP 提供 VIP 10.0.10.10；track_script 检查 nginx 监听 443 健康；发生故障自动漂移
-
组件配置与启动
7.1 Prometheus
- 双实例独立抓取相同 targets；开启 WAL 压缩、合理保留周期；暴露 /federate（为未来联邦上层聚合）
7.2 Alertmanager
- 两实例集群（9094 gossip）；路由、接收器、抑制策略一致；告警去重与静默共享
7.3 Grafana
- 身份认证、RBAC、只读 Viewer；禁用匿名；behind nginx 强制 HTTPS/HSTS
- HA 注意：若不引入外部数据库（PostgreSQL），采用 nginx 粘性会话 + 单节点写入，故障时会话丢失。若需强一致 HA，建议接入企业 PostgreSQL（见运维建议）
7.4 node_exporter 与 blackbox_exporter
- 启用 TLS 与 mTLS，Prometheus 使用客户端证书抓取
7.5 nginx
- 反向代理 Prometheus/Alertmanager/Grafana；TLS1.2/1.3、HSTS、严格安全头；对 Prometheus/Alertmanager 管理 API 进行门禁（仅读）
7.6 logrotate
- 对 nginx、Prometheus、Alertmanager、Grafana 日志按日轮转并归档到 NAS
7.7 chrony
- 验证时钟同步；配置源为企业 NTP
-
备份与恢复
- Prometheus：停机窗口进行冷备（复制 /data/prometheus），或经变更审批临时开启 admin API 执行快照后复制；备份至离线 NAS
- Grafana：备份 grafana.db（或外部 DB）；备份 grafana.ini、dashboards、provisioning
- Alertmanager：备份 data（静默、通知状态）、配置与模板
- Nginx：备份证书与配置；审计日志归档
- 定期演练恢复流程，校验可用性与一致性
配置示例
- docker-compose.yml（两节点）
version: "3.9"
services:
prometheus:
image: prom/prometheus:v2.49.0
restart: always
user: "1000:1000"
command:
- "--config.file=/etc/prometheus/prometheus.yml"
- "--storage.tsdb.path=/prometheus"
- "--storage.tsdb.retention.time=30d"
- "--storage.tsdb.wal-compression"
- "--web.enable-lifecycle" # 不启用 admin API，避免破坏性操作
- "--web.external-url=https://monitor.example.com/prometheus"
volumes:
- ./prometheus/prometheus.yml:/etc/prometheus/prometheus.yml:ro
- ./prometheus/rules:/etc/prometheus/rules:ro
- /data/prometheus:/prometheus
- ./prometheus/certs:/etc/prometheus/certs:ro
ports:
- "9090:9090"
ulimits:
nofile: 65536
alertmanager:
image: prom/alertmanager:v0.27.0
restart: always
command:
- "--config.file=/etc/alertmanager/alertmanager.yml"
- "--cluster.listen-address=0.0.0.0:9094"
- "--cluster.peer=10.0.10.11:9094"
- "--cluster.peer=10.0.10.12:9094"
- "--web.external-url=https://monitor.example.com/alertmanager"
volumes:
- ./alertmanager/alertmanager.yml:/etc/alertmanager/alertmanager.yml:ro
- ./alertmanager/templates:/etc/alertmanager/templates:ro
- ./alertmanager/data:/alertmanager
ports:
- "9093:9093"
- "9094:9094"
grafana:
image: grafana/grafana:10.4.5
restart: always
environment:
- GF_SERVER_ROOT_URL=https://monitor.example.com/grafana
- GF_SERVER_SERVE_FROM_SUB_PATH=true
- GF_SERVER_PROTOCOL=http
- GF_AUTH_ANONYMOUS_ENABLED=false
- GF_SECURITY_ALLOW_EMBEDDING=false
- GF_SECURITY_COOKIE_SECURE=true
- GF_AUTH_DISABLE_LOGIN_FORM=false
- GF_USERS_DEFAULT_THEME=light
# 生产中使用企业秘密管理注入管理员密码，勿写入文件
# - GF_SECURITY_ADMIN_PASSWORD=__SET_BY_SECRET__
volumes:
- ./grafana/grafana.ini:/etc/grafana/grafana.ini:ro
- ./grafana/data:/var/lib/grafana
ports:
- "3000:3000"
ulimits:
nofile: 65536
node_exporter:
image: prom/node-exporter:v1.6.1
restart: always
command:
- "--web.config.file=/etc/node_exporter/web.yml"
- "--path.rootfs=/host"
volumes:
- ./exporters/node_exporter_web.yml:/etc/node_exporter/web.yml:ro
- "/:/host:ro,rslave"
network_mode: host
pid: host
blackbox_exporter:
image: prom/blackbox-exporter:v0.24.0
restart: always
command:
- "--web.config.file=/etc/blackbox/web.yml"
- "--config.file=/etc/blackbox/blackbox.yml"
volumes:
- ./exporters/blackbox_web.yml:/etc/blackbox/web.yml:ro
- ./exporters/blackbox.yml:/etc/blackbox/blackbox.yml:ro
ports:
- "9797:9797"
nginx:
image: nginx:1.25-alpine
restart: always
ports:
- "443:443"
volumes:
- ./nginx/nginx.conf:/etc/nginx/nginx.conf:ro
- ./nginx/certs:/etc/nginx/certs:ro
- ./nginx/logs:/var/log/nginx
depends_on:
- prometheus
- alertmanager
- grafana
ulimits:
nofile: 65536
networks:
default:
driver: bridge
- keepalived.conf（mon-a/mon-b 分别配置优先级）
vrrp_script chk_nginx {
script "/usr/local/sbin/check_port.sh 443"
interval 2
fall 3
rise 2
}
vrrp_instance VI_1 {
state MASTER
interface <your-nic> # 示例：ens160
virtual_router_id 51
priority 150
advert_int 1
authentication {
auth_type PASS
auth_pass __SET_BY_SECRET__
}
virtual_ipaddress {
10.0.10.10/24 dev <your-nic>
}
track_script {
chk_nginx
}
}
- mon-b 示例（优先级 100，state BACKUP）：
vrrp_instance VI_1 {
state BACKUP
interface <your-nic>
virtual_router_id 51
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass __SET_BY_SECRET__
}
virtual_ipaddress {
10.0.10.10/24 dev <your-nic>
}
track_script {
chk_nginx
}
}
- check_port.sh（只读探测，不做破坏性操作）
#!/usr/bin/env bash
# 用于 keepalived track_script，检测本机TCP端口是否在 LISTEN
PORT="$1"
ss -ltn | awk '{print $4}' | grep -q ":$PORT" && exit 0 || exit 1
- nginx.conf（反向代理 + TLS/HSTS + 粘性会话）
user nginx;
worker_processes auto;
events { worker_connections 4096; }
http {
# 安全头与TLS参数
server_tokens off;
add_header Strict-Transport-Security "max-age=63072000; includeSubDomains; preload" always;
add_header X-Content-Type-Options nosniff;
add_header X-Frame-Options SAMEORIGIN;
add_header Referrer-Policy strict-origin-when-cross-origin;
upstream grafana_upstream {
# 粘性会话（仅在未使用外部DB时建议）
ip_hash;
server 127.0.0.1:3000 max_fails=3 fail_timeout=30s;
}
upstream prometheus_upstream { server 127.0.0.1:9090; }
upstream alertmanager_upstream { server 127.0.0.1:9093; }
server {
listen 443 ssl http2;
server_name monitor.example.com; # 替换为 VIP FQDN
ssl_certificate /etc/nginx/certs/vip.crt;
ssl_certificate_key /etc/nginx/certs/vip.key;
ssl_trusted_certificate /etc/nginx/certs/ca.crt;
ssl_protocols TLSv1.2 TLSv1.3;
ssl_ciphers HIGH:!aNULL:!MD5;
# Grafana
location /grafana/ {
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-Proto https;
proxy_pass http://grafana_upstream/;
}
# Prometheus（只读门禁：不暴露 admin API，不允许管理变更）
location /prometheus/ {
proxy_set_header Host $host;
proxy_set_header X-Forwarded-Proto https;
proxy_pass http://prometheus_upstream/;
# 可选：限制方法
if ($request_method !~ ^(GET|HEAD|OPTIONS|POST)$) { return 405; }
}
# Alertmanager
location /alertmanager/ {
proxy_set_header Host $host;
proxy_set_header X-Forwarded-Proto https;
proxy_pass http://alertmanager_upstream/;
}
access_log /var/log/nginx/access.log main;
error_log /var/log/nginx/error.log warn;
}
}
- prometheus.yml（mTLS 抓取 exporters，规则与保留）
global:
scrape_interval: 15s
evaluation_interval: 30s
external_labels:
cluster: "monitoring-ha"
instance: "${HOSTNAME}"
rule_files:
- /etc/prometheus/rules/*.yml
scrape_configs:
- job_name: 'node_exporter'
scheme: https
tls_config:
ca_file: /etc/prometheus/certs/ca.crt
cert_file: /etc/prometheus/certs/client.pem
key_file: /etc/prometheus/certs/client.key
insecure_skip_verify: false
static_configs:
- targets:
- "node1.example.com:9100"
- "node2.example.com:9100"
- "127.0.0.1:9100" # 本机
relabel_configs:
- source_labels: [__address__]
target_label: instance
- job_name: 'blackbox'
metrics_path: /metrics
scheme: https
tls_config:
ca_file: /etc/prometheus/certs/ca.crt
cert_file: /etc/prometheus/certs/client.pem
key_file: /etc/prometheus/certs/client.key
static_configs:
- targets:
- "10.0.10.11:9797"
- "10.0.10.12:9797"
# 对外联邦（供上层聚合拉取），不主动互拉避免环路
# 可按需增加：
# - job_name: 'snmp'（通过 snmp_exporter 或静态抓取外部组件）
- alertmanager.yml（集群 + 通知路由）
global:
resolve_timeout: 5m
smtp_smarthost: "smtp.example.com:587" # 企业邮件网关
smtp_from: "alerts@example.com"
smtp_auth_username: "__SET_BY_SECRET__"
smtp_auth_password: "__SET_BY_SECRET__"
smtp_require_tls: true
route:
receiver: 'mail-default'
group_by: ['alertname', 'cluster', 'instance']
group_wait: 30s
group_interval: 5m
repeat_interval: 3h
receivers:
- name: 'mail-default'
email_configs:
- to: "noc@example.com"
inhibit_rules:
- source_match:
severity: 'critical'
target_match:
severity: 'warning'
equal: ['alertname', 'instance']
- grafana.ini（关键安全与代理设置）
[server]
root_url = https://monitor.example.com/grafana
serve_from_sub_path = true
protocol = http
domain = monitor.example.com
enforce_domain = true
[security]
admin_user = admin
cookie_secure = true
strict_transport_security = true
# 密码通过环境变量或秘密管理注入，不写入配置文件
[auth]
disable_login_form = false
anonymous_enabled = false
signout_redirect_url = /grafana/login
[users]
allow_sign_up = false
auto_assign_org = true
auto_assign_org_role = Viewer
[log]
mode = console
level = info
- node_exporter_web.yml（启用 TLS/mTLS）
tls_server_config:
cert_file: /etc/node_exporter/tls/server.crt
key_file: /etc/node_exporter/tls/server.key
client_auth_type: RequireAndVerifyClientCert
client_ca_file: /etc/node_exporter/tls/ca.crt
basic_auth_users: {}
- blackbox_web.yml（启用 TLS/mTLS）
tls_server_config:
cert_file: /etc/blackbox/tls/server.crt
key_file: /etc/blackbox/tls/server.key
client_auth_type: RequireAndVerifyClientCert
client_ca_file: /etc/blackbox/tls/ca.crt
basic_auth_users: {}
- blackbox.yml（基本探测模块示例）
modules:
http_2xx:
prober: http
timeout: 5s
http:
preferred_ip_protocol: ip4
tcp_connect:
prober: tcp
timeout: 5s
- logrotate（示例）
/opt/monitoring/nginx/logs/*.log {
daily
rotate 14
compress
missingok
notifempty
dateext
sharedscripts
postrotate
/bin/kill -USR1 $(cat /var/run/nginx.pid 2>/dev/null) 2>/dev/null || true
endscript
}
验证检查
- 基础环境
- 两节点系统参数（sysctl/ulimit）已生效；chrony 与 NTP 同步偏差 < 100ms
- AppArmor 已启用；Docker 使用默认 profile
- 网络与防火墙
- VIP 10.0.10.10 可在主节点上绑定；故障漂移到备节点
- 管理子网仅能访问 443/3000；监控子网仅能访问 9090/9093/9094；出口限制生效
- TLS 与证书
- 组件健康
- Prometheus /metrics 可访问（经反代路径 /prometheus/）
- Alertmanager 页面 /alertmanager/ 集群 peers 显示 2/2
- Grafana 登录成功；匿名访问被拒绝；默认用户仅 Viewer 权限
- HA 行为
- 停止主节点 nginx 或拔网线，VIP 1-3s 内漂移，入口恢复
- 停止任一 Prometheus，另一个仍抓取与查询可用；Alertmanager 告警去重正常
- 日志与备份
- nginx、组件日志按日轮转；审计日志归档到 NAS（可读且保留策略符合规范）
- 执行一次离线备份并完成恢复演练，验证数据一致性
故障排除
| 症状 | 可能原因 | 解决方案 |
| --- | --- | --- |
| VIP 不漂移或漂移缓慢 | keepalived track_script 未命中、网络丢包、优先级相同 | 检查 check_port.sh 返回码；调低 advert_int；确认优先级配置；排查 NIC/ARP |
| Grafana 反代 404 或静态资源丢失 | 未启用子路径或 root_url 配置错误 | 检查 grafana.ini 的 root_url 与 serve_from_sub_path；nginx location /grafana/ 末尾斜杠 |
| Prometheus Targets DOWN | 证书不匹配、CA 未分发、mTLS 客户端证书过期 | 验证 SAN；检查 tls_config 文件路径；轮转证书并重载 |
| Alertmanager peers 显示 1/2 | 9094 端口被防火墙拦截 | 放行监控 VLAN 到 9094；确认 cluster.peer 地址可达 |
| nginx 报错 “no live upstreams” | 后端容器未启动或健康检查失败 | 查看容器日志；确认端口映射与依赖；恢复后 reload nginx |
| Prometheus 查询卡顿或OOM | 超长查询、保留周期过大、并发高 | 缩短 retention；优化记录规则；限制 Grafana 查询时间范围；增加内存 |
| 证书校验失败 | 链不完整、客户端未信任 CA | 配置 ssl_trusted_certificate；向客户端分发 CA |
| 时钟偏差导致告警异常 | NTP 不稳或时区错误 | 调整 chrony 源；统一时区为 UTC 或企业标准；重启 chrony 验证 |
运维建议
- 变更管理与合规
- 所有配置改动走审批；保留审计记录；关键证书与密钥使用企业级秘密管理
- 容量与性能
- Prometheus 数据盘 SSD 保持 20% 以上可用空间；根据指标基数调整 scrape_interval 与 retention（如 15s/30d 起）
- 按季度回顾 TSDB 体量与查询耗时，必要时分层（recording rules）或引入上层联邦聚合
- 备份与恢复
- 每日增量、每周全量备份到离线 NAS；每季度演练恢复
- Prometheus 建议冷备为主；如需在线快照，须临时开启 admin API，完成后关闭
- 证书与密钥轮转
- 服务器/客户端证书在到期前 30 天轮转；维护 CRL/OCSP；更新后执行组件无损重载
- 安全加固
- 定期升级到最新稳定版本；启用安全头；对外入口限制速率（nginx limit_req）
- Grafana：禁用匿名，最小权限原则；使用组织与团队角色管理
- Prometheus/Alertmanager：仅内网访问；不暴露管理 API
- 监控自身
- 增加对监控平台自身探针（blackbox HTTP 2xx，端口可达、证书过期时间）与告警（节点不可达、抓取失败率、告警通道失败）
- HA 强化建议（可选）
- 若需 Grafana 强一致 HA：引入企业 PostgreSQL（高可用实例），配置 grafana.ini 使用 postgres；共享插件与 provisioning；取消 ip_hash，改为轮询
- keepalived 增加多健康项（Prometheus/Alertmanager 端口、文件系统可用率）以降低误切换
- 日常维护
- 日志轮转与审计归档（按日）；清理过期快照与旧证书；检查时钟同步；季度进行 AppArmor 与 Docker 安全基线复核
注意
- 禁止在生产中执行不受控的破坏性命令（例如删除 TSDB、关闭防火墙/安全模块）
- 所有密码、密钥、auth_pass 使用企业秘密管理注入；不要硬编码在配置或版本库
- 在变更窗口进行服务重启或备份；制定回退方案并预演
如需，我可以根据您实际的网段、域名与证书颁发流程，细化 firewall 规则与证书生成命令，或提供 PostgreSQL 版 Grafana HA 配置模板（符合企业治理标准）。
