数据备份规范

增量备份流程文档（B2B CRM：PostgreSQL + 文件存储附件 + ElasticSearch，多租户，审计日志长期保留）

1. 目标与范围

• 目标：为多租户 B2B CRM 系统建立每日增量备份与可审计的灾备流程，满足 RTO ≤ 2 小时、RPO ≤ 10 分钟，支持顺序恢复（数据库→附件库→搜索索引）、单租户与点时间恢复（PITR）。
• 范围：PostgreSQL（客户与销售机会）、文件存储（附件）、ElasticSearch（搜索索引）、审计日志（长期保留）；本地备份仓库、私有云对象存储（加密，生命周期：30 日热、90 日冷）、异地副本（灾备与审计取证）。

2. 系统与数据特性

• 多租户架构：租户隔离可能为“schema/表分区/tenant_id 字段”三类之一。备份与恢复流程需支持租户级数据精确抽取与回放。
• 数据类型与可恢复性：
  • PostgreSQL：权威业务数据，必须满足 RPO≤10 分钟（依赖 WAL 连续归档与/或流复制）。
  • 附件库（文件存储）：与业务数据关联，需与数据库一致性点对齐；支持增量与近实时变更捕获以缩短 RPO。
  • ElasticSearch：派生索引数据；恢复优先级低于数据库与附件。默认通过快照恢复 + 必要时自数据库重建，确保整体 RTO。
  • 审计日志：需长期保留，不得被覆盖或删除（需不可变/WORM 策略或等效技术手段）。

3. 角色与职责

• 数据治理负责人（DGO）：制定政策与合规标准；审批保留周期、访问控制；监督演练与改进。
• DBA/备份管理员（DBA/BA）：设计与执行数据库增量备份、WAL 归档、链完整性校验、PITR；维护工具（如 pgBackRest/Barman）。
• 存储管理员（SA）：管理本地备份仓库与对象存储仓库；实现加密、版本化、生命周期策略；异地副本同步。
• 安全与合规官（SO）：密钥管理、访问审计、WORM/不可变策略检查、跨地域合规审查（如数据域、监管要求）。
• 应用负责人（App Owner）：在恢复演练中进行应用一致性验证；协调租户沟通与窗口。
• 监控与SRE团队（SRE）：运行健康监控、告警、容量与性能优化；恢复演练自动化。
• 审计负责人（Audit）：审计日志的保留、取证流程与访问审批。

4. 备份策略总览

• 备份类型：增量备份（数据库、附件、索引），每日执行；数据库同时进行持续日志归档。
• 存储位置：
  • 本地备份仓库：用于快速回退与快速恢复（优先读取，保障 RTO）。
  • 私有云对象存储（加密）：生命周期策略为 30 日热存储、90 日冷存储；启用对象版本化与不可变（WORM）策略用于审计。
  • 异地副本：数据库与附件近实时复制；ElasticSearch 可按快照复制；用于灾备与取证。
• 恢复顺序：数据库 → 附件库 → ElasticSearch。
• RTO/RPO 保障：
  • 数据库：持续 WAL 归档（archive_mode=on；archive_command 可靠传输；archive_timeout ≤ 300 秒）与/或流复制至异地；每周基线（Base）+ 每日增量（差异）备份，结合 WAL 实现 PITR。
  • 附件：每日增量备份 + 文件变更日志（journal）与近实时同步（≤10 分钟批次）到本地与异地；确保与数据库在同一恢复点一致。
  • ElasticSearch：每日增量快照；若索引变化频繁且需严格 RPO，可提升快照频率（建议每小时）；默认策略为从数据库重建差量以满足整体 RTO。
  • 审计日志：独立不可变归档与异地副本，优先保证可用性与完整性。

5. 变更跟踪与增量链管理

• PostgreSQL：
  • 工具建议：pgBackRest 或 Barman（支持全量/差异/增量、WAL 归档、对象存储仓库、校验与并行恢复）。
  • 链策略：每周基线（全量/差异）+ 每日增量；持续 WAL 归档（与对象存储/本地仓库双写）。
  • WAL 管理：设置 archive_timeout ≤ 300 秒，确保低变更速率下也能按 5 分钟切段归档；启用 wal_compression 以降低体积；监控 WAL 传输延迟与缺失段。
  • 链封顶：通过定期新的基线备份（例如每周）缩短增量链长度；超过保留期的链自动过期。
• 附件库（文件存储）：
  • 每日增量：基于快照/内容寻址（如 restic/borg）或 rsync + 硬链接策略，记录文件级变更。
  • 近实时变更捕获：启用文件系统变更日志（例如 inotify + 变更队列）或存储自带的快照 send/receive（如 ZFS/Btrfs/LVM）每 ≤10 分钟增量推送到本地与异地仓库，支持点时间近似恢复。
  • 一致性：在执行数据库 PITR 恢复到时间点 T 后，附件库恢复到不晚于 T 的最近增量快照；对 T 与附件快照的差异进行比对，补齐/回滚以保持引用一致。
• ElasticSearch：
  • 使用内置快照/恢复（Snapshot/Restore）到本地与对象存储仓库；快照为增量。
  • 每日快照满足常规恢复；如业务需更紧 RPO，调整为更高频次快照；否则由数据库事件重建索引补齐。
• 审计日志：
  • 采用追加写与不可变存储（对象版本化 + 保留锁定）；备份链长期保留，不与业务数据同链封顶。
• 链完整性校验：
  • 每月对 PostgreSQL 基线 + 增量 + WAL 全链进行校验（校验和、缺段检查、可恢复性测试）。
  • 对附件与 ES 快照进行完整性扫描与抽样恢复验证。
  • 输出问题与改进清单。

6. 加密与访问控制

• 传输加密：所有备份传输使用 TLS；WAL/快照上传使用双向认证（mTLS 或签名）。
• 静态加密：
  • 本地仓库：卷级或文件级加密（例如 LUKS/eCryptfs）；备份工具内置加密（如 AES-256）。
  • 对象存储：服务器端加密（SSE-KMS 或 SSE-C）或客户端加密；启用不可变（WORM）策略用于审计日志与关键备份集。
• 密钥管理：由 SO 管理于企业 KMS/HSM；密钥轮换 ≥ 年度；密钥访问基于最小权限与双人审批。
• 访问控制：
  • 备份与恢复操作需要双人审批（DBA + SO）；使用分离角色与审计日志。
  • 备份仓库按环境隔离（生产/测试）；禁止直接访问生产数据备份于开发环境。
  • 多租户数据访问须按租户授权清单控制；租户级恢复需要租户负责人审批。

7. 保留与归档策略

• 本地备份仓库：保留最近 14–30 日（视容量与 RTO 优先级），滚动过期。
• 私有云对象存储：热 30 日、冷 90 日；启用对象版本化与生命周期规则；冷归档可转低频访问层。
• 异地副本：数据库与附件近实时复制，保留最近 30–90 日的增量链与关键基线；ES 保留每日快照 30 日。
• 审计日志：长期保留（建议 ≥ 3–7 年，依监管与合同要求），启用不可变（WORM）；受法务保留（legal hold）时暂停生命周期过期。
• 数据删除与租户退出：按数据治理政策执行受控清理；保留法务要求的最小必要集（审计日志可继续保留）。

8. 合规检查

• 数据分类与加标签：数据库表、附件、索引、审计日志标注敏感级别与租户归属；备份元数据包含时间点、租户范围、加密状态。
• 加密有效性：检查仓库加密开启、KMS 密钥状态与轮换记录；验证不可变策略生效。
• 访问审计：每月审查备份访问与恢复操作日志；异常告警与根因分析。
• 跨地域合规：异地副本位置符合数据驻留与行业监管（如金融、医疗）；必要时采用区域隔离与脱敏镜像。
• 隐私与最小化：审计日志不包含不必要的敏感内容；索引与备份元数据不泄露 PII。
• 业务连续性文件化：恢复剧本、演练记录、问题清单与整改跟踪闭环管理。

9. 演练与恢复流程（通用）

• 恢复前准备：
  • 变更冻结窗口与租户通知；确认目标时间点 T 与范围（全局/单租户）。
  • 为避免脏写，应用只读或停机；记录当前事务与队列状态。
• 数据库恢复（PITR）：
  • 在隔离环境从最近基线 + 增量恢复制作库；回放 WAL 至 T；校验校验和与日志完整性。
  • 验证租户数据计数、关键一致性（外键、唯一约束）。
• 附件库恢复：
  • 恢复至不晚于 T 的最新快照；应用从近实时变更队列中回放至 T；校验与数据库引用一致（散列比对、缺失/孤儿文件检测）。
• ElasticSearch 恢复：
  • 从最近快照恢复；若快照滞后于 T，执行自数据库增量重建（消费事件日志或批量重建），确保在整体 RTO 内完成。
• 验证与切换：
  • 执行端到端核查（租户样本数据、关键查询、附件打开、搜索结果一致性）。
  • 切换生产至恢复环境或将恢复数据合并回现网（按变更策略）。
• 演练：
  • 每月进行一次全链演练（含租户样本）；记录耗时、瓶颈与问题清单；跟踪整改并二次验证。

10. 租户级恢复指导

• 场景与约束：
  • 单租户数据恢复需在不影响其他租户前提下进行；支持时间点恢复（T）与租户范围过滤。
• 步骤（推荐流程）：
  1. 隔离恢复库：
     • 使用 PostgreSQL PITR 在隔离实例恢复至时间点 T（基线 + 增量 + WAL）。
     • 只读模式下进行数据抽取准备。
  2. 租户数据抽取：
     • 架构为 schema/分区：使用 pg_dump/pgBackRest 选择性导出对应 schema/分区。
     • 架构为 tenant_id 列：在隔离库中通过 COPY/FDW/逻辑导出按 tenant_id 过滤的表数据（需维护主外键依赖顺序，优先导出主表，后导出关联表）。
     • 建立租户对象清单（表列表、约束、序列、索引），确保依赖完整。
  3. 租户附件恢复：
     • 基于租户目录或租户标识的文件路径/元数据，按快照 + 近实时变更日志回放至 T。
     • 执行散列校验与“孤儿/缺失”检测，与数据库引用对齐。
  4. 租户索引恢复：
     • 对租户相关索引分片或文档集合执行快照恢复或增量重建（从数据库抽取的租户数据重建）。
  5. 合并与验证：
     • 在生产库中为目标租户进入维护窗口（锁定或只读）；导入租户数据（事务批次、幂等脚本、防止二次写入冲突）。
     • 再建索引与序列校准；执行业务校验（记录数、关键查询、附件打开、搜索一致性）。
  6. 收尾：
     • 恢复租户服务；生成恢复报告、审计记录与问题清单。
• 注意事项：
  • 租户数据与附件路径/标识必须可枚举与可映射（建议实现附件与租户的元数据索引）。
  • 严格执行双人审批与最小化导入；对涉及其他租户的共享对象谨慎处理。

11. 监控与持续优化

• 监控指标：
  • 备份成功率与耗时、吞吐（并行度）、链长度、压缩率。
  • WAL 归档时延、缺段告警、PITR 可达性（最近可恢复时间点）。
  • 附件增量队列积压、近实时同步延迟（目标 ≤ 10 分钟）。
  • ElasticSearch 快照耗时与恢复耗时；重建速率（文档/秒）。
  • 存储容量、对象数、生命周期过期率；加密与不可变策略状态。
• 告警与自动化：
  • 归档/快照失败即时告警；RPO 超阈告警（WAL 延迟 > 10 分钟、附件同步延迟 > 10 分钟）。
  • 每月自动化链完整性校验与抽样恢复；自动生成演练报告与问题清单。
• 持续优化：
  • 调整基线频率以缩短恢复时间；优化并行恢复与 I/O。
  • 对高变更租户实施更高频次附件同步或租户专属快照。
  • ES 索引重建管道与映射优化，提高恢复重建速度。
  • 压缩与去重策略优化，降低存储与网络成本。

12. 变更管理与配置基线

• 架构/模式变更：在发布前更新备份与恢复脚本、租户数据抽取清单与依赖顺序；执行一次变更后演练。
• 配置建议（示例级别）：
  • PostgreSQL：archive_mode=on；archive_command 可靠传输到本地与对象存储；archive_timeout ≤ 300s；wal_compression=on；备份工具启用校验与并行。
  • ElasticSearch：注册快照仓库（本地与对象存储），每日定时快照；恢复脚本与索引重建流水线版本化。
  • 附件库：启用快照（ZFS/Btrfs/LVM）或内容寻址备份（restic/borg）；近实时变更捕获队列（≤10 分钟批次）与回放脚本。
  • 对象存储：SSE-KMS 加密、版本化与生命周期策略；关键备份集启用不可变（WORM）锁定。
• 文档与审计：所有操作脚本、配置与执行日志入库；审计访问与变更保留 ≥ 3 年。

13. 恢复时间与一致性保障要点

• RTO ≤ 2 小时：
  • 优先使用本地仓库恢复（并行 I/O、按数据集分步恢复）；数据库与附件并行准备，严格执行恢复顺序。
  • 控制增量链长度（每周基线）；提升网络与磁盘吞吐。
• RPO ≤ 10 分钟：
  • 数据库：持续 WAL 归档 + archive_timeout ≤ 300s；异地流复制作为兜底。
  • 附件：近实时增量同步（≤10 分钟）与快照；若无存储级日志，需实现变更队列与周期性同步。
  • ElasticSearch：如不提升快照频率，默认通过自数据库重建满足业务连续性（索引非权威数据）。
• 一致性点对齐：以数据库时间点 T 为主，附件回放至 T，索引基于 T 的数据重建或快照恢复后增量补齐。

14. 月度校验与演练输出

• 校验内容：备份链完整性（PostgreSQL/WAL、附件快照、ES 快照）、加密与不可变状态、访问审计。
• 演练流程：选定 1–2 租户进行端到端恢复演练（含 PITR 与租户级导入）；测量耗时与差错。
• 产出：问题改进清单（工具配置、并行度、链长度、脚本幂等性、权限与审批、监控阈值），下月跟踪闭环。

本流程在不改变“每日增量备份”前提下，通过数据库 WAL 连续归档与附件近实时增量同步，确保 RPO≤10 分钟；通过本地仓库优先恢复与并行优化，确保 RTO≤2 小时。ElasticSearch 作为派生数据，默认以快照恢复与自数据库重建满足整体恢复目标；在业务要求更严 RPO 时，应提高快照频率并评估存储与性能影响。所有恢复均严格遵循“数据库→附件→索引”的顺序与一致性校验。

差异备份与恢复治理流程（制造设备监控与告警平台）

一、范围与数据对象

• 数据范围：
  • 时序数据库（TSDB）原始采集数据：设备传感器点位的时序样本、分片/段文件、写前日志（WAL）、索引元数据。
  • 规则引擎与告警配置：规则模板、阈值、动作与路由、依赖字典、版本历史。
  • 告警历史：触发记录、状态流转、处置备注、关联事件标识。
• 场景特点：
  • 边缘网关批量上报，站点网络偶发不稳定。
  • 中心部署于总部私有云对象存储（启用版本化与跨区域复制）。
  • 备份类型：差异备份；备份频率：每周；存储位置：边缘站点本地备份磁盘 + 私有云对象存储 + 定期离线介质归档。

二、角色与职责

• 数据所有者（制造运营/OT）：数据分类分级、保留与合规要求定义，变更审批。
• 数据平台负责人/DBA：备份策略落地、TSDB与规则库备份/恢复执行与验证。
• 站点IT/备份操作员：边缘备份作业调度与健康监控、脱机应急方案执行。
• 安全与合规官（GRC）：加密与访问控制、审计日志、离线介质管理与链路可追溯。
• SRE/运维监控团队：备份/恢复SLO监控、容量与性能优化、演练组织与缺陷闭环。

三、备份与灾备架构

• 边缘站点：
  • 本地TSDB与规则引擎运行；备份落地至本地备份磁盘。
  • 启用网关“存储转发”（store-and-forward）：本地持久化队列，断网自动积压，恢复后去重重放。
• 中心私有云：
  • 对象存储桶启用版本化与跨区域复制（至少两地）；备份包采用不可变保留策略（WORM/保留锁）用于合规留存。
• 离线介质：
  • 定期生成合规归档（离线磁带/光盘/离线硬盘），全程记录链路与交接（chain-of-custody）。

四、调度窗口与频率

• 差异备份周窗口：每周日 02:00–04:00 站点当地时间，业务低谷期；对高写入站点采用分批滚动窗口，避免集中I/O峰值。
• 基线全量备份（为差异备份提供参照）：每月首个周日 01:00 执行，并在新站点上线/重大版本升级后追加一次。
• 变更日志捕获（非“备份”，用于满足RPO）：TSDB写前日志（WAL）归档/切片与规则变更事件，每1–5分钟上传至对象存储的灾备日志桶，作为RPO收敛手段；此过程不改变“备份频率为每周”的约束。

五、差异备份流程（边缘与中心协同）

• 通用原则：
  • 差异定义：相对“上次全量备份”的变更块/段、索引元数据差异、配置变更集与告警新增记录。
  • 一致性点：对TSDB采用快照一致性（文件系统快照或数据库一致性检查点），冻结备份视图后计算差异。
  • 备份包组成：差异数据段、索引差异、规则与字典变更包、告警历史增量、校验清单（manifest）、哈希校验（SHA-256）、元数据（生成时间、基线标识、范围）。
• 时序数据库（TSDB）：
  1. 触发一致性检查点，暂停索引重建与批量压缩任务（控制在≤30秒），确保可还原的事务边界。
  2. 基于上次全量备份标识，扫描分片/段文件与索引元数据，生成差异清单（changed blocks/segments）。
  3. 打包差异段与索引差异，附带WAL截断位置（LSN）与分片版本。
  4. 校验：本地计算哈希并生成manifest；随机抽样段文件进行读取校验。
  5. 加密封装（AES-256-GCM），在边缘存储加密副本；通过TLS传输至对象存储。
• 规则引擎配置与字典：
  1. 导出规则库当前版本与自上次全量以来的变更历史（版本号、变更人、审批单号）。
  2. 生成差异包（JSON/YAML），包含依赖字典与路由策略变更。
  3. 校验并签名；记录配置基线指纹。
• 告警历史：
  1. 以事件ID或时间窗口为边界，导出新增/变更记录。
  2. 去重策略：事件ID+发生时间+源设备ID的复合键，避免重放后重复。
• 传输与落地：
  • 边缘：差异包先落地至本地备份磁盘；完成校验后异步上传至对象存储（断点续传）。
  • 中心：对象存储对差异包启用版本化与跨区域复制；写入完成后生成接收侧校验与可用性标记。

六、保留策略

• 边缘站点本地备份磁盘：
  • 保留最近2个全量（约2个月）+最近8个周差异；滚动淘汰，磁盘使用率>80%触发清理最旧差异。
  • 灾备日志（WAL归档与规则变更事件）保留7天，容量受控。
• 总部私有云对象存储：
  • 周差异保留52周；月全量保留12份；启用WORM保留锁（合规期内不可删除/修改）。
• 离线介质（合规与长期留存）：
  • 按季度归档：提取当季度首个全量与最后一个周差异，连同校验清单写入离线介质。
  • 合规保留期建议7年（如无更严格法规要求时），到期后按销毁流程执行。

七、加密与访问控制

• 加密：
  • 备份包与灾备日志在静态存储采用AES-256，传输采用TLS 1.2+。
  • 密钥管理使用集中式KMS/HSM；密钥轮换至少每12个月一次；离线介质密钥采用双人双控保管。
• 访问控制：
  • 最小权限原则：备份写入角色（边缘）与读取恢复角色（中心）分离；恢复操作需双人审批。
  • 对象存储桶策略：仅允许备份服务账户写入；恢复账户只读；启用MFA-Delete（如供应商支持）。
  • 审计：所有备份、恢复、删除、密钥操作记录至不可变审计日志并保留≥1年。

八、合规要求

• 数据分类分级：规则配置与告警历史为系统高价值配置/运营数据；时序原始数据为生产运营数据。若包含人员信息则标记为受限数据并执行更严格访问控制。
• 数据主权与传输合规：跨区域复制满足数据跨境/本地化要求；在策略中标注数据驻留区域与审批流程。
• 不可变留存与销毁：按保留策略执行WORM；到期后遵循合规销毁，保留销毁证明。
• 离线介质管理：建立台账、资产标签、封装签名、交接记录；年度盘点核对与抽检可读性。

九、恢复策略与步骤（满足RTO ≤1小时、RPO ≤5分钟）

• 恢复优先顺序：告警规则 → 时序索引 → 原始数据。
• 合并恢复方法：仅使用“最近差异包 + 上次全量”进行主恢复，之后触发边缘网关补报以收敛至RPO。
• 恢复流程（中心侧，站点同构）：
  1. 环境准备：新建隔离恢复空间与只读挂载对象存储；加载密钥与校验清单。
  2. 恢复规则引擎配置（目标≤10分钟）：
     • 应用上次全量配置包 → 合并最近差异配置 → 验证依赖字典与路由。
     • 开启规则引擎服务，先以“干运行”验证无语法/依赖错误，再切换生产。
  3. 恢复时序索引（目标≤15分钟）：
     • 还原上次全量索引元数据 → 合并差异索引段。
     • 触发并行索引校正与缺失段重建（限速，避免影响后续数据载入）。
  4. 恢复原始数据（目标≤25–30分钟，视数据量并行度）：
     • 还原全量数据段 → 合并差异数据段；校验段哈希与manifest一致性。
     • 启动TSDB并加载至读写模式，开启后台压缩/归档。
  5. RPO收敛（目标≤5分钟）：
     • 启用边缘网关补报：指令网关重放最近30分钟积压队列，系统以事件ID去重，确保最多5分钟数据缺口被填补。
     • 同步灾备日志的WAL归档边界，对比事件序列，确认无缺段。
  6. 验证与放行：
     • 运行一致性校验：样本数量、分片覆盖率、索引命中率、告警规则命中对比、端到端告警触发演练。
     • 数据治理签字：DBA与GRC联合确认后放行给业务。

十、演练与一致性校验

• 半年度全栈演练：
  • 包含边缘+中心联合恢复、网关补报、告警全链路验证。
  • 目标指标：实际RTO、实际RPO、差异数据恢复完整度、告警规则命中一致性≥99.5%。
• 一致性校验内容：
  • 清单比对（manifest vs 还原文件树）、段哈希、索引元数据版本、规则配置指纹、告警样本抽样比对。
• 演练产出：
  • 缺陷清单、改进项、风险与缓解计划；在30天内完成整改闭环。

十一、监控与优化

• 监控项：
  • 备份成功率、校验失败率、上传重试次数、对象存储复制滞后、边缘磁盘利用率、差异包大小趋势、灾备日志延迟。
  • 恢复演练SLO：RTO/RPO实际值与目标偏差。
• 优化策略：
  • 差异包块级去重与压缩（如ZSTD）以控制体积。
  • 并行度与节流：根据站点I/O与网络带宽动态调整并行文件数与限速。
  • 基线更新频率评估：差异包膨胀或恢复耗时接近上限时，提高全量频率（例如每两周一次）。

十二、站点级脱机应急方案

• 触发条件：广域网中断、中心不可达或对象存储不可用。
• 脱机模式措施：
  • 网关继续本地持久化数据队列（≥12小时容量）；TSDB与规则引擎维持本地运行与告警。
  • 按周窗口照常执行本地差异备份至站点备份磁盘并校验。
• 应急出站：
  • 若网络恢复延迟>24小时，使用加密离线介质导出最近全量与最新差异包及校验清单，按链路交接送达中心。
  • 恢复后由中心导入离线备份并触发补报；对离线介质进行回收与台账更新。
• 数据治理控制：
  • 脱机期间所有操作记录在本地审计日志，网络恢复后上报中心审计系统；恢复放行需双人审批。

十三、风险与缓解

• 差异包持续增大导致RTO风险：
  • 提高全量频率或采用分片基线更新；启用更强压缩与去重。
• 站点磁盘容量不足：
  • 监控阈值与自动清理策略；临时扩容或分批备份。
• 灾备日志延迟导致RPO压力：
  • 调整归档频率至≤2分钟；优化网络QoS与限速策略。
• 人为误操作：
  • 强制双人审批与变更窗口；只读恢复演练环境验证后再切换生产。

本流程在不改变“差异备份类型与每周频率”的前提下，通过一致性检查点、差异包与基线全量合并恢复、边缘补报与灾备日志归档，确保在大多数故障场景下达到RTO≤1小时、RPO≤5分钟的恢复目标，并形成可审计、可演练、可优化的闭环数据治理体系。