备份与整库恢复方案概述（PostgreSQL，数据库：finance_prod_pgsql）
目标
方案选型与原则
- 备份类型：物理完全备份（base backup）+ WAL归档，用于整库恢复与7天内PITR。
- 备份工具：WAL-G（面向对象存储的PostgreSQL物理备份与WAL归档工具，支持S3，易于脚本化与生命周期管理）。
- 一致性策略：备份时开启备份模式并归档必要WAL；确保恢复时可根据需求重放到最新或指定时间点。
- 存储与生命周期：S3标准存储保留30天；第31天起转入冷归档（建议Glacier Instant Retrieval）持续90天；WAL仅保留7天。
一、备份架构与配置
- PostgreSQL关键参数（postgresql.conf）
- wal_level = replica
- archive_mode = on
- archive_command = 'envdir /etc/wal-g/env wal-g wal-push %p'
- max_wal_senders ≥ 3（确保备份期间WAL可安全归档）
- 备注：archive_command 由WAL-G接管WAL上传到S3。
- WAL-G环境变量（/etc/wal-g/env）
- WALG_S3_PREFIX=s3://backup/prod/finance-pg
- AWS_REGION=<区域>
- AWS_ACCESS_KEY_ID=<密钥ID>
- AWS_SECRET_ACCESS_KEY=<密钥>
- 可选：WALG_S3_SSE=aws:kms（或AES256）以启用S3加密；如用KMS，配置相应IAM权限。
- 目录与权限
- PGDATA=/var/lib/postgresql/data（示例路径，以实际环境为准）
- /etc/wal-g/env 仅对postgres用户可读（0600）
二、自动化脚本
- 每日全量备份（物理备份）
文件：/usr/local/bin/pg_full_backup.sh
内容：
#!/usr/bin/env bash
set -euo pipefail
export PGDATA=${PGDATA:-/var/lib/postgresql/data}
export WALG_S3_PREFIX="s3://backup/prod/finance-pg"
确保环境变量可用
if [ ! -d /etc/wal-g/env ]; then
echo "Missing /etc/wal-g/env" >&2
exit 1
fi
触发全量备份
envdir /etc/wal-g/env wal-g backup-push "$PGDATA"
记录结果
date -u +"%Y-%m-%dT%H:%M:%SZ Backup completed" >> /var/log/pg/backup.log
- 保留与清理策略
文件：/usr/local/bin/pg_backup_retention.sh
内容：
#!/usr/bin/env bash
set -euo pipefail
保留最近30个全量备份（每日一次≈30天）
envdir /etc/wal-g/env wal-g delete retain 30 --confirm
删除7天之前的WAL（按时间）
CUTOFF="$(date -u -d '-7 days' +'%Y-%m-%dT%H:%M:%SZ')"
envdir /etc/wal-g/env wal-g delete before --wal --date "$CUTOFF" --confirm
可选：清理旧的临时对象或不完整备份
envdir /etc/wal-g/env wal-g delete target "LATEST" --find-full --confirm
- 定时任务（cron）
- 全量备份：0 2 * * * postgres /usr/local/bin/pg_full_backup.sh
- 保留与清理：30 3 * * * postgres /usr/local/bin/pg_backup_retention.sh
三、S3生命周期与冷归档
建议对S3 Bucket: backup 配置Lifecycle，前缀：prod/finance-pg/。
示例配置（lifecycle.json）：
{
"Rules": [
{
"ID": "BaseBackups-Transition-After-30Days",
"Filter": { "Prefix": "prod/finance-pg/basebackups_005/" },
"Status": "Enabled",
"Transitions": [
{ "Days": 30, "StorageClass": "GLACIER_IR" }
],
"Expiration": { "Days": 120 }
},
{
"ID": "WAL-Expire-After-7Days",
"Filter": { "Prefix": "prod/finance-pg/wal_005/" },
"Status": "Enabled",
"Expiration": { "Days": 7 }
}
]
}
应用命令：
aws s3api put-bucket-lifecycle-configuration
--bucket backup
--lifecycle-configuration file://lifecycle.json
说明：
- basebackups_005 与 wal_005 为WAL-G默认目录；若自定义，请同步调整前缀。
- 冷归档采用 Glacier Instant Retrieval，便于在归档期内快速检索；若使用标准 Glacier/Flexible Retrieval 或 Deep Archive，则恢复前需发起对象取回任务，增加恢复时延。
四、整库恢复方案（物理全库）
目标：将 finance_prod_pgsql 所在的PostgreSQL集群恢复到最新可用状态或指定备份时间点。物理恢复为“整集群”（包含所有数据库与全局对象），非单库级恢复。
前置条件
恢复步骤（到最新可用状态）
- 准备环境
- 安装PostgreSQL与WAL-G。
- 创建目录：mkdir -p /var/lib/postgresql/data; chown -R postgres:postgres /var/lib/postgresql/data
- 配置 /etc/wal-g/env（与备份一致的S3参数与密钥）。
-
拉取最近的全量备份
sudo -u postgres bash -c '
export PGDATA=/var/lib/postgresql/data
envdir /etc/wal-g/env wal-g backup-fetch "$PGDATA" LATEST
'
-
配置恢复
- 在 $PGDATA/postgresql.auto.conf 增加：
restore_command = 'envdir /etc/wal-g/env wal-g wal-fetch %f %p'
recovery_target = 'latest'
- 创建恢复信号文件：
touch $PGDATA/recovery.signal
-
启动实例并重放WAL
systemctl start postgresql
观察日志，等待“database system is ready to accept connections”。
-
验证
- 检查数据一致性与可用性：psql -c "SELECT now();"
- 校验控制信息：pg_controldata $PGDATA | grep -E 'Database system identifier|Latest checkpoint'
- 应用层回归检查（例如关键表记录数、业务健康检查）。
恢复到备份时间点（不重放后续WAL）
- 将 recovery_target 改为 'immediate'，其余步骤相同。此模式恢复到备份完成时的一致状态，不包含备份后产生的事务。
注意事项
- WAL仅保留7天，故支持7天内的PITR；超出7天的恢复只能回到各自备份时间点。
- 若所需的备份已转至Glacier IR，读取会有微小延迟；若使用非即时检索的冷归档等级，需先在S3执行取回操作，待对象恢复到可访问状态后再执行 backup-fetch。
- 物理整库恢复会覆盖目标PGDATA，且恢复的是整个集群（包含模板库、所有用户库与全局配置）；若有单库级恢复需求，应采用逻辑备份（pg_dump/pg_restore），该不在本方案范围内。
运维与监控
- 备份作业与清理脚本需记录日志并纳入告警（备份失败、WAL归档中断、S3访问失败等）。
- 周期性演练恢复（至少季度一次），验证在标准存储与冷归档场景下的恢复时效与步骤正确性。
- 监控archive_command成功率与滞后；建议采集pg_stat_archiver指标。
安全与合规
- 使用S3端到端加密（SSE-KMS）与IAM最小权限访问。
- 备份与恢复脚本仅对postgres用户授权执行。
- 在生命周期与删除策略下，确保满足企业数据保留与合规要求（30天热备可快速恢复，额外90天冷归档便于审计与灾备）。
