制定数据备份流程

数据湖备份流程（数据治理版）

1. 目的与适用范围

• 目的：建立标准化、可审计、可恢复的数据湖备份流程，确保关键数据资产的可用性、完整性、合规性与业务连续性。
• 范围：覆盖数据湖中的原始与加工数据（对象存储/表级数据）、元数据（目录/血缘/权限）、治理规则与策略、流式作业状态、作业编排与配置等。

2. 角色与职责

• 数据所有者（Data Owner）：定义数据分级、保留期、RPO/RTO；批准恢复点选择。
• 数据管家（Data Steward）：维护数据目录、血缘、标签与敏感性标记；核对备份覆盖率。
• 平台管理员（Data Platform Admin）：设计与实施备份架构、作业编排、监控与演练。
• 安全与合规（Security/Compliance）：审查加密、不可变性、访问控制与跨境合规；管理法律保留（Legal Hold）。
• 业务连续性负责人（BCM/DR）：组织恢复演练与切换演练；评估RPO/RTO达标情况。
• 审计与风险管理：审阅审计轨迹与证据；跟踪例外与整改。

3. 术语与对象

• 备份类型：全量、增量、时间点快照（PITR）、跨区域复制、归档。
• 表格式：Delta Lake（_delta_log）、Apache Iceberg（metadata.json/manifest/snapshot）、Apache Hudi（.hoodie timeline）。
• 元数据：数据目录（Hive/Glue/统一目录）、元数据库（RDBMS）、权限/策略（策略引擎/目录级权限）、血缘（OpenLineage/Atlas）。
• 流式状态：Flink/Spark Streaming checkpoint、offset。
• RPO/RTO：恢复点目标/恢复时间目标。
• 不可变存储：WORM/Object Lock/变更保护；法律保留：Legal Hold。

4. 策略设计（治理基线）

• 数据分级与RPO/RTO（示例基线，需经治理委员会批准）：
  • 等级A（关键）：RPO 15–60分钟；RTO ≤ 4小时；在线保留≥90天，归档≥3–7年（依合规）。
  • 等级B（重要）：RPO ≤ 24小时；RTO ≤ 24小时；在线保留≥60天，归档≥1–3年。
  • 等级C（一般）：RPO ≤ 72小时；RTO ≤ 72小时；在线保留≥30天，归档按成本优化。
• 地理与拓扑：
  • 主存储开启版本控制与跨可用区冗余。
  • 跨区域复制至少一份；涉及数据主权或跨境要求时，遵循当地法规与公司跨境策略。
• 安全与合规：
  • 传输与静态加密（KMS/自管密钥）；密钥轮换≥12月，恢复时验证密钥可用性。
  • 启用不可变性（WORM/Object Lock）与删除保护，关键数据启用MFA删除或等效控制。
  • 在备份目标保留数据标签（敏感级别、合法基础、保留到期）与访问策略上下文。
• 生命周期与成本：
  • 在线层（热）：满足RPO/RTO；归档层（冷）：满足法定保留且成本优化；定义分层与迁移规则。
  • VACUUM/清理策略与备份窗口对齐，避免被过早清理的文件影响恢复。
• 变更管理：
  • 备份策略、保留期、敏感性标记的变更需走变更流程与影响评估；记录审计。

5. 备份对象清单（不遗漏项）

• 数据与日志：
  • 原始区（Bronze）、清洗区（Silver）、汇总区（Gold）对象数据与版本。
  • 表格式事务日志：Delta _delta_log、Iceberg元数据与manifest、Hudi .hoodie timeline。
  • 物化视图、派生数据集与辅助索引（如存在）。
• 元数据与治理工件：
  • 数据目录/元数据库（如Hive/Glue/统一目录）及其模式、分区、统计信息。
  • 权限与策略（目录级授权、数据屏蔽/细粒度访问控制规则）。
  • 数据血缘与质量规则仓库（规则、阈值、豁免）。
• 平台与作业：
  • 流式作业checkpoint/offset。
  • 调度与编排元数据（如DAG、历史运行记录、连接配置，不含敏感凭据明文）。
  • 基础配置与基础设施即代码（IaC）仓库副本（对恢复环境重建必要）。

6. 一致性与可恢复性控制

• 表级一致性：
  • Delta：备份数据文件与_delta_log；设置deletedFileRetentionDuration/logRetentionDuration ≥ 备份延迟+安全裕度；VACUUM保留期≥7天（或合规要求）。
  • Iceberg：保留最近N个快照≥备份窗口；备份当前metadata.json、manifest与引用数据文件，确保快照可回放。
  • Hudi：对timeline、file slices与增量日志进行一致性复制；保留min/max commits覆盖备份间隔。
• 写入冻结策略（按需）：
  • 关键表在备份窗口使用快照机制或短暂静默写入；或通过事务快照导出实现无停机一致性。
• 对象列举与校验：
  • 生成对象清单（manifest），包含对象键、版本ID、大小、校验和、最后修改时间、标签；用作对账与恢复基线。
  • 使用提供方校验和（如CRC/MD5/多段校验和）或应用层哈希进行完整性验证。

7. 操作流程（SOP）

• 前置检查
  • 变更与窗口审批：确认备份窗口、影响范围、目标RPO/RTO、冻结策略。
  • 配额与成本：检查目标端容量、写入速率限制、费用预算。
  • 安全基线：验证加密、不可变性、访问权限（最小权限、分离职责）、日志审计开启。
• 执行阶段
  • 步骤1：生成备份基线清单
    • 对象存储：按数据分级与表清单生成manifest。
    • 表格式：记录每张表的快照ID/commit版本/事务时间点。
  • 步骤2：触发表快照（如适用）
    • 通过表引擎的稳定快照能力固定一致性视图。
  • 步骤3：数据复制/导出
    • 对象级：复制对象及其版本、标签、ACL/元数据至目标（跨区/冷存）。
    • 表级：确保事务日志与数据文件同步；保持原有路径结构。
  • 步骤4：备份元数据与治理工件
    • 目录/元数据库：执行数据库快照与逻辑导出；包含模式、分区、统计。
    • 权限与策略：导出策略定义与绑定关系；记录版本。
    • 血缘与质量规则：导出图谱/事件与规则配置。
    • 流式状态：复制checkpoint/offset到备份位置。
  • 步骤5：完整性与对账
    • 样本与全量结合的校验：对象数量、总字节数、随机抽样校验和、关键表全量校验和。
    • 事务一致性检查：表快照可打开、事务日志可回放。
  • 步骤6：加密与不可变性确认
    • 验证目标端加密到位，WORM/Legal Hold策略按分级应用。
  • 步骤7：记录与审计
    • 记录执行日志、清单哈希、异常与处置、工单与审批链路；归档到审计仓。
• 例外处理
  • 失败重试策略（指数退避、断点续传）。
  • 部分失败的回滚或标记隔离，避免污染备份窗口。
  • 重大偏差（RPO违反）需发起事件与根因分析。

8. 调度与频率（建议）

• 等级A：事务日志/增量每15–60分钟；每日一次合成点时间点快照；周全量校验。
• 等级B：每日增量；周或双周全量。
• 等级C：每2–3日增量；月全量或仅元数据+关键分区。
• 元数据与策略：每日快照+变更触发备份。
• 流式状态：与作业checkpoint周期一致或每次作业升级前后强制备份。

9. 恢复与演练

• 恢复准备
  • 选择恢复点：按RPO与业务时间点；核对法律保留与合规约束。
  • 环境隔离：在隔离命名空间/账户/目录中执行还原演练；使用脱敏或受控访问。
• 恢复顺序
  • 步骤1：恢复对象与表数据到目标位置（保持路径/版本）。
  • 步骤2：恢复元数据库/目录与权限策略；重新注册表。
  • 步骤3：恢复表状态至指定快照/commit；验证事务可回放。
  • 步骤4：恢复流式checkpoint（如需重放）。
  • 步骤5：数据质量与一致性校验（行数、分区数、关键度量、哈希、抽样查询）。
• 验证与回切
  • 性能与RTO评估；关键查询对比；审计日志完整性检查。
  • 变更冻结解除与受控回切（只读验证→受控写入）。
• 演练频率
  • 等级A季度演练，等级B半年度，等级C年度；每次架构重大变更后附加演练。
• 演练证据
  • 恢复时间、恢复点、校验结果、偏差与改进项，提交审计。

10. 监控与度量

• 过程指标：备份成功率、平均/95分位时长、吞吐、失败重试次数。
• 结果指标：RPO/RTO达标率、覆盖率（对象/表/元数据）、校验通过率、演练通过率。
• 风险指标：不可变策略覆盖率、密钥轮换及时性、保留到期合规性、成本越界。
• 告警：RPO/RTO违约、校验失败、容量不足、不可变策略失效、复制落后。

11. 安全与合规控制

• 访问控制：最小权限；分离职责（备份操作与密钥管理分离）；服务账号专用。
• 加密：端到端加密；密钥托管与轮换；恢复时验证密钥可访问。
• 不可变与法律保留：对关键数据启用WORM/Legal Hold；删除/覆盖需多方审批。
• 数据主权与跨境：遵守适用法规（如GDPR、CCPA、PIPL等）；跨境复制需合规评估与备案（如适用）。
• 隐私与脱敏：演练或开发环境恢复需脱敏或策略性屏蔽；访问全程审计。
• 审计：保留执行日志、访问日志、策略版本与审批记录，满足法定保存期限。

12. 成本与优化

• 分层存储：热层满足RTO；冷层与归档层依据访问模式与合规期配置。
• 生命周期策略：过期数据自动转冷与删除；与保留策略一致。
• 压缩与小文件治理：优化列式存储、合并小文件，降低备份与恢复成本与时间。
• 选择性备份：对可重算数据记录重算配方与输入引用，减少冗余备份。

13. 变更与版本管理

• 将备份配置、清单模板、策略与运行脚本纳入版本控制；拉取请求与代码审查。
• 任何保留期、RPO/RTO、不可变策略的变更需风险评估与批准。
• 记录每次流程发布说明与回滚方案。

14. 文档与记录

• 备份策略说明书、对象清单、运行手册、恢复手册、演练记录、偏差与整改报告。
• 清单与校验报告的哈希值与时间戳证据。
• 审计可追溯链路：工单、审批、执行日志、告警与处置。

15. 常见控制要点检查清单

• 存储已启用版本控制、跨区复制、不可变性与加密。
• 表格式保留期配置与备份窗口一致；未被清理任务提前删除。
• 元数据库、权限、血缘、质量规则已纳入备份范围。
• 生成并存档对象清单与校验报告；完成对账。
• 定期恢复演练并通过；RPO/RTO指标达标。
• 法律保留与跨境合规已审查并落地。
• 成本在预算内，生命周期策略生效。

该流程提供面向数据治理的端到端备份标准，覆盖策略、执行、验证与审计全环节。实施时请结合具体平台能力（对象存储、表格式、编排与目录服务）进行参数化配置，并以最小可行范围先行试点，再逐步扩展到全数据域。

备份人事档案库流程（数据治理版）

1. 目的与适用范围

• 目的：确保人事档案库（含结构化与非结构化人事数据）的可用性、完整性、保密性与合规性，支持业务连续性和审计追溯。
• 适用范围：覆盖公司内所有人事档案相关系统与存储位置，包括人力资源核心系统（HRIS）、薪酬与考勤系统、电子档案管理系统、文件共享盘、对象存储及其元数据与索引。

2. 术语

• RPO：最大可接受数据丢失时间窗口。
• RTO：最大可接受业务恢复时间。
• 全量/增量/差异备份：按数据变更范围不同的备份类型。
• 应用一致性快照：确保备份时应用与数据库处于一致状态的快照。
• 不可变备份（WORM）：在保留期内不可更改或删除的备份副本。
• 法律保全（Legal Hold）：因调查或诉讼冻结相关数据删除的措施。

3. 角色与职责

• 数据所有者（HR负责人）：确定数据分类与保留期限，批准恢复请求与跨境/跨域存储。
• 数据托管方（IT基础设施/备份管理员）：设计与执行备份、恢复、加密、监控与容量管理。
• 信息安全（安全负责人/DPO/隐私官）：定义访问控制、密钥管理、不可变策略与合规检查。
• 法务与合规：确认保留与删除要求、处理法律保全与审计配合。
• 内审/数据治理办公室：定期审计流程有效性与控制指标。

4. 合规与治理要求

• 合法性与最小化：仅备份为业务、审计或法定义务所需的人事数据，不备份临时文件与无业务价值数据。
• 数据驻留与跨境：备份存储位置应符合适用法律和公司数据驻留策略；涉及跨境传输必须满足适用法规与内部审批。
• 权利请求处理：对更正/删除等请求，备份集一般不直接修改；通过生产系统执行，再由备份保留策略在到期时清除，若有法律保全则暂缓。
• 保留与销毁：依据法务批准的“人事档案保留表”配置备份保留期；期满后按标准执行不可逆销毁并保留销毁证明。
• 第三方/云服务：供应商需满足等效安全控制、数据加密、不可变与审计可见性，并签署数据处理协议。

5. 数据范围与分级

• 备份对象：
  • 结构化：HRIS、薪酬、社保、公积金、绩效、考勤等数据库与日志。
  • 非结构化：人事电子档案（合同、身份证明、体检报告、离职材料等）及其索引与元数据。
  • 配置与审计：应用配置、访问控制清单、审计日志、目录服务相关映射。
• 分级建议：
  • 最高敏感（S3）：身份证件号、联系方式、家庭住址、银行账户、薪酬、健康与背景审查信息。
  • 高敏（S2）：绩效评估、培训记录、合同条款等。
• 在非生产/演练恢复场景必须脱敏或以隔离区验证，不得暴露S3数据给无授权人员。

6. 备份策略与架构

• 目标值（示例，需与业务确认）：
  • 关键系统（HRIS/薪酬）：RPO ≤ 4小时，RTO ≤ 24小时。
  • 次关键（档案影像库）：RPO ≤ 24小时，RTO ≤ 48小时。
• 3-2-1-1-0 原则：
  • 至少3份副本，2种不同介质/存储，1份异地，1份离线或不可变，0个未解决的校验错误。
• 备份类型与频率（示例）：
  • 数据库：每周全量、每日差异、事务日志/归档日志滚动备份（间隔根据RPO设定）。
  • 文件/对象存储：每周全量、每日增量；关键目录启用快照与版本控制。
• 一致性与窗口：
  • 使用数据库原生一致性快照或备份挂起/恢复机制，文件系统使用VSS等方式。
  • 安排低峰时段作业窗口，结合变更冻结策略。
• 加密与密钥管理：
  • 传输加密：TLS 1.2+；静态加密：AES-256或等效。
  • 使用集中式KMS/HSM管理密钥，实施最小权限与双人审批的密钥轮换与销毁。
• 不可变与防篡改：
  • 对关键人事数据启用对象锁/WORM策略；对备份控制平面启用多因素与分权管理。
• 数据驻留与网络：
  • 异地备份在同一合规辖区内或经审批的合规云区域；跨域传输使用专线或加密隧道。
• 容量规划与重复数据删除：
  • 启用重删与压缩；按保留策略预测12个月容量曲线并月度复核。

7. 标准作业流程（SOP） 7.1 前置准备

• 建立资产清单：系统、数据源、库/目录、敏感级别、所有者、RPO/RTO。
• 配置备份策略模板并与HR/法务确认保留与不可变参数。
• 创建备份账户（最小权限、专用凭证）、密钥与访问控制列表。
• 建立监控与告警（作业失败、校验失败、容量阈值、不可变策略变更）。

7.2 备份执行（自动调度为主）

• 作业触发：按计划或变更后手动触发基线备份。
• 预检：
  • 校验源系统健康、作业窗口、快照代理状态、剩余空间与网络带宽。
  • 检查是否存在法律保全标记并记录。
• 创建应用一致性快照/导出：
  • 数据库进入备份一致性状态，执行全量/差异/日志备份。
  • 文件与对象采用快照或清单驱动的增量扫描。
• 传输与存储：
  • 通过加密通道传输至主备份库；复制至异地库与不可变存储。
• 校验与签名：
  • 生成与验证校验和；记录备份集哈希与元数据（时间、范围、版本、不可变到期日）。
• 完成与记录：
  • 更新作业日志、审计记录、容量与版本清单；发送成功/失败通知。

7.3 校验与加固

• 自动校验：完成后立即进行完整性校验；每日抽样校验历史备份。
• 反恶意篡改检查：启用不可变策略变更的双人批准与审计。
• 脱敏控制：将任何用于测试/分析的恢复限定在隔离区并应用脱敏规则。

7.4 保留与到期处理

• 根据保留表设置不同数据集的保留期与版本数。
• 到期清理：
  • 自动到期删除或过期清除；生成销毁日志与报告。
  • 若有法律保全，延长到期并记录原因与终止条件。

7.5 失败与例外处理

• 重试策略：网络/暂时性错误自动重试3次；持久错误升级至值班工程师。
• 事件升级：关键系统连续失败或不可变策略异常，1小时内升级至安全与数据所有者。
• 变更回滚：因变更导致的备份失败，按变更管理流程回滚并重启作业。

8. 恢复与演练流程 8.1 恢复分级

• 级别1：单文件/单记录恢复（SLA：≤4小时审批与恢复）。
• 级别2：库/应用实例恢复（SLA：按RTO）。
• 级别3：站点级灾难恢复（SLA：按DR方案）。

8.2 恢复审批与执行

• 提交工单：说明业务场景、数据范围、时间点、敏感级别与紧急程度。
• 审批链：数据所有者与安全审批；法律保全与权利请求冲突需法务确认。
• 恢复到隔离区验证：核对校验和与业务校验脚本；病毒扫描与完整性检查。
• 切换与回填：
  • 生产环境变更窗口内执行切换。
  • 记录恢复点、影响范围与用户通知。
• 事后记录：恢复报告（时间线、成功/失败、偏差、改进项）。

8.3 定期演练

• 演练频率：关键系统至少每半年一次；档案影像库至少每年一次。
• 场景：不同时间点恢复、跨介质恢复、不可变副本回退、权限最小化验证。
• 评估：对照RPO/RTO与数据完整性指标，形成改进计划。

9. 监控、审计与报告

• 监控指标：
  • 备份成功率、重试率、校验通过率、不可变覆盖率、容量利用率。
  • 恢复演练达标率、平均恢复时间、偏差原因分布。
• 审计日志：
  • 记录备份/恢复/删除/策略变更/密钥操作；集中存储与防篡改。
• 报告：
  • 月报提交数据所有者、信息安全与内审；异常项需闭环整改。

10. 变更管理与评审

• 策略变更（频率、保留、不可变、跨域存储）需走变更流程并进行风险评估与回滚预案。
• 年度评审：结合业务变化、合规要求与审计发现更新流程与控制点。

11. 媒介与密钥生命周期管理

• 介质管理：标识、加密、受控存放、借用登记与到期销毁（粉碎/消磁/认证销毁）。
• 密钥管理：生成、分发、轮换、吊销与备份；关键操作实施双人控制与审计。

12. 数据主体权利与法律保全处理

• 权利请求：
  • 在生产系统完成更正/删除；备份通过到期清除实现最终删除。
  • 如需立即避免恢复后再现，标记“逻辑删除名单”，恢复流程中强制再应用。
• 法律保全：对相关备份集施加冻结标签与不可变延展；解除后恢复正常保留周期。

13. 安全事件与应急

• 勒索/篡改事件：
  • 断开受影响源，验证不可变副本完好性，从最近安全恢复点在隔离区恢复并验证后上线。
• 通报与取证：保留日志与证据链，按事件响应流程通报。

14. 记录与文档清单（最少保留）

• 资产与数据清单、RPO/RTO矩阵、备份策略与参数、密钥台账、审计与作业日志、恢复与演练报告、到期销毁证明、例外与法律保全记录。

15. 关键控制点与KPI（示例）

• 控制点：
  • 关键数据启用不可变/WORM；备份账号最小权限；密钥双人控制；恢复需审批；定期演练达标。
• KPI：
  • 每月备份成功率≥99%；完整性校验通过率=100%；关键系统半年至少1次成功演练；不可变覆盖率=100%（关键数据集）。

附注

• 以上流程需与公司信息安全策略、数据保留与销毁政策、供应商管理政策及适用法律法规（如个人信息保护与数据安全相关要求）保持一致。具体保留期限、驻留地区与跨境要求由法务与数据所有者最终确认。