数据质量审计清单生成

Data Quality Audit Checklist for Raw Order Line Items

1. Scope and Field Inventory

• Confirm a clear data dictionary for raw order line items, including:
  • Primary keys: order_id, order_line_id (or composite key).
  • Foreign keys: customer_id, product_id/SKU, store_id, warehouse_id, price_list_id, promo_code_id, tax_code_id, return_ref_line_id (if applicable).
  • Measures: quantity, unit_price, discount_amount, tax_amount, line_total, currency_code, exchange_rate (if multi-currency).
  • Dates/times: order_date, payment_date, ship_date, cancellation_date, return_date, ingestion_timestamp.
  • Status codes: order_status, line_type (sale/return/cancel), fulfillment_status.
  • Provenance: source_system_id, batch_id, change_type (insert/update/delete), record_version, load_timestamp.

2. Ingestion and Reconciliation Controls

• Record counts:
  • Compare source row counts vs ingested row counts per batch/date; set thresholds for acceptable variance.
  • Verify no unexpected drops or spikes; investigate variances beyond threshold.
• Idempotency:
  • Ensure ingestion is idempotent; repeated loads do not create duplicates.
• Hash totals:
  • Reconcile sums (e.g., sum(quantity), sum(line_total)) with source batch control totals; define tolerance (e.g., ±0.1%).
• Delta logic:
  • Validate incremental loads against source change data (change_type, record_version); no missing updates.

3. Schema and Structural Validations

• Data types and lengths:
  • Enforce strict typing (e.g., quantity integer/decimal, monetary fields decimal with currency-specific precision).
  • Validate max/min field lengths for identifiers and codes.
• Nullability:
  • Confirm required fields are non-null: order_id, order_line_id, product_id, quantity, unit_price, currency_code, order_date.
• Encoding and formatting:
  • Ensure consistent character encoding (UTF-8).
  • Trim leading/trailing whitespace; normalize case where applicable (codes often uppercase).
• Enumerations:
  • Validate against controlled code lists: order_status, line_type, fulfillment_status, shipping_method, UOM_code.
• Date/time:
  • Validate ISO 8601 formats; persist time zone explicitly or normalize to UTC.
  • Disallow invalid dates and impossible times (e.g., 2025-02-30).

4. Uniqueness and Duplicate Detection

• Primary key uniqueness:
  • Enforce uniqueness on (order_id, order_line_id).
• Duplicate rows:
  • Detect exact duplicates across all fields; quarantine or deduplicate using record_version and load_timestamp.
• Fuzzy duplicates:
  • Optional: detect potential duplicates from cross-channel merges (same order_id with different source_system_id); define resolution strategy.

5. Referential Integrity

• Master data links:
  • customer_id exists and is active/effective at order_date.
  • product_id/SKU exists, active, and effective at order_date; UOM_code compatible with product.
  • store_id, warehouse_id, tax_code_id, price_list_id, promo_code_id exist and are valid.
• Returns and adjustments:
  • return_ref_line_id points to an existing line; cumulative returned_quantity <= original ordered quantity.

6. Domain and Value Validations

• Quantity:
  • Sale lines: quantity > 0.
  • Returns/negative adjustments: quantity < 0 only if line_type indicates return/adjustment.
• Pricing and amounts:
  • unit_price >= 0; discount_amount >= 0; tax_amount >= 0.
  • currency_code is a valid ISO 4217 code; enforce currency-specific decimal precision.
• Line totals:
  • Validate line_total calculation: line_total = round(quantity * unit_price - discount_amount + tax_amount, currency_precision).
  • Define acceptable tolerance for rounding (e.g., ≤ 0.01 in currency units).
• Exchange rates:
  • If present, exchange_rate > 0; base_currency amounts reconcile within tolerance.
• Product codes:
  • Validate SKU/UPC/GTIN formats against known patterns; no illegal characters.

7. Cross-Field Consistency Rules

• Discounts:
  • If discount_amount > 0, promo_code_id or discount_reason must be present and valid.
• Taxes:
  • If tax_amount > 0, tax_code_id must be valid; tax_rate consistent with jurisdiction and product taxability.
• Status transitions:
  • Ensure sequence: CREATED -> PAID -> FULFILLED; CANCELLED/RETURNED allowed only after CREATED or after FULFILLED for returns.
• Dates:
  • order_date <= payment_date <= ship_date; cancellation_date >= order_date.
  • No future dates beyond an allowed buffer (e.g., ingestion_timestamp + 1 day).

8. Completeness Checks

• Field completeness:
  • Define minimum acceptable completeness per critical field (e.g., product_id 100%, quantity 100%, unit_price 99.9%, currency_code 100%).
• Order-level coherence:
  • Header-to-line consistency: number_of_lines at header equals count of lines; header totals (subtotal, tax, discount, grand_total) reconcile to sum of line items within tolerance.
• Optional fields:
  • Monitor optional fields critical for downstream processes (e.g., UOM_code, warehouse_id) and trend their completeness.

9. Reasonableness and Outlier Detection

• Distributions:
  • Detect outliers for quantity, unit_price, line_total using robust thresholds (e.g., outside 1st–99th percentile or z-score > 3).
• Business limits:
  • Enforce maximum reasonable quantity per line and price ceilings by category; configurable per business rules.
• Trend anomalies:
  • Monitor day-over-day changes in counts and monetary sums; flag anomalies beyond set percentage (e.g., ±20%).

10. Timeliness and Freshness

• Arrival SLA:
  • Measure latency from event time (order_date) to ingestion_timestamp; set thresholds (e.g., ≤ 2 hours for realtime, ≤ 24 hours for batch).
• Refresh cadence:
  • Confirm batch schedules executed; alert on missed windows.

11. Localization and Formatting

• Numeric formatting:
  • Validate decimal separators; ensure monetary fields are stored as numeric (no currency symbols).
• Address and regional fields:
  • If present on lines, validate country codes (ISO 3166-1 alpha-2) and postal code formats per country.

12. Lineage and Auditability

• Provenance:
  • Persist source_system_id, batch_id, extraction_timestamp, change_type, record_version.
• Change tracking:
  • Maintain history (SCD2 or equivalent) for corrections; no destructive overwrites without audit trail.
• Reproducibility:
  • Store rule versions and execution timestamps; ensure results are reproducible.

13. Monitoring, KPIs, and Scorecards

• KPIs per dimension:
  • Accuracy: % of lines passing computational checks (line_total, tax).
  • Completeness: % non-null for critical fields.
  • Consistency: % passing cross-field rules.
  • Validity: % conforming to domain/enumeration constraints.
  • Uniqueness: % unique primary keys.
  • Timeliness: % meeting arrival SLA.
  • Referential integrity: % of foreign keys resolved.
• Thresholds and severity:
  • Define pass/fail thresholds and severity levels for each KPI (e.g., critical, high, medium).
• Dashboards:
  • Maintain daily/weekly scorecards; trend over time; auto-alert on threshold breaches.

14. Exception and Issue Management

• Whitelisted exceptions:
  • Document permissible anomalies (e.g., negative unit_price for promotional credits) tied to line_type.
• Quarantine:
  • Route failed records to quarantine with reason codes; support reprocessing post-fix.
• Root cause analysis:
  • Log incidents; categorize (schema change, master data gap, ingestion failure); track corrective actions and SLAs to resolution.

15. Test Artifacts and Evidence

• Sampling:
  • Random and stratified samples (by source_system_id, channel, currency) for manual verification.
• Reconciliation reports:
  • Store batch-level reconciliation outputs and rule pass/fail counts.
• Audit logs:
  • Persist execution logs, rule outcomes, and remediation actions.

16. Acceptance Criteria (Go/No-Go)

• Minimum standards before downstream consumption:
  • Primary key uniqueness: 100%.
  • Referential integrity: ≥ 99.9% resolved foreign keys.
  • Computational consistency (line_total, tax): ≥ 99.9% pass rate.
  • Critical field completeness: ≥ 99.5%.
  • Timeliness: ≥ 98% within SLA.
  • Duplicate rate: ≤ 0.05%.
  • Outlier review: 100% of flagged records triaged within SLA.

Implementation Notes

• Define rules declaratively (rule_id, name, description, severity, check logic, threshold, exception criteria).
• Automate validations in the ingestion pipeline; fail fast on schema violations, quarantine on content rules.
• Version control rule changes; communicate upstream/downstream impacts.
• Schedule periodic audits for master data (customers, products, codes), as their quality directly affects order line integrity.

数据质量审计清单（适用于财务记录）

1. 审计范围与对象

• 记录范围：总账、应收、应付、固定资产、现金与银行、税务相关明细与汇总层。
• 系统范围：源ERP/子系统、ETL/集成层、数据仓库/数据湖、报表与分析层。
• 时间范围：明确审计期间（会计期间/结账周期），识别期初、期末及跨期数据。

2. 治理与职责

• 是否存在数据治理组织与职责分工（数据所有者、数据管理员、数据使用者）及RACI矩阵。
• 数据质量政策、标准与作业指导书是否齐全、版本受控、可追溯。
• 变更管理：数据结构、规则、接口、主数据变更是否经过评审与审批，留存变更记录。

3. 元数据与数据血缘

• 数据字典完整：字段定义、类型、长度、允许值、业务含义、是否必填、主键/外键说明。
• 血缘可追溯：从报表指标回溯至源交易，标注转换逻辑、汇总口径与过滤条件。
• 规则文档化：计算公式、汇率来源、税额算法、容差定义均有明确文档并与实现一致。

4. 访问与审计控制

• 最小权限访问控制：按角色分配读/写/审批权限；敏感字段（PII、银行账号）受控。
• 审计日志：对主数据、凭证、关键字段更新留痕（人、时间、前后值、原因）。
• 非生产环境数据脱敏：脱敏策略与执行记录存在，抽测验证脱敏有效性。

5. 数据质量维度与阈值

• 维度定义：完整性、准确性、一致性、有效性、唯一性、及时性、完整账性（参照外键/关系完整性）。
• 阈值设定：为关键字段设定可量化指标（例如：关键字段缺失率<0.5%；对账差异=0；延迟<4小时）。
• 评分与追踪：建立数据质量评分与趋势监控，定义告警阈值与升级路径。

6. 参考数据与主数据

• 参考数据一致：科目表、组织层级、币种、税码、会计期间、支付条款、汇率表有唯一权威来源。
• 主数据有效期与状态控制：供应商/客户/资产在有效期内且状态可过账；失效值不得参与交易。
• 版本管理：参考数据变更留痕并有生效日期控制；历史回溯可复现。

7. 数据采集与加载控制

• 完整性对账：接口/批量加载的记录数、总金额、分币种小计与源系统对账一致。
• 幂等与去重：基于自然键或业务键（如凭证号+行号+账簿+期间）防重复加载。
• 截止期控制：会计期间关闭后禁止新增/修改影响期内余额的数据。

8. 模块化检查清单与规则示例 A. 总账与凭证

• 借贷平衡：每笔凭证借方合计=贷方合计。
• 科目有效性：科目存在、可过账、允许的辅助核算维度齐全（成本中心、项目等）。
• 期间与日期：凭证日期与过账期间匹配，不早于锁账日，不晚于当前结账策略允许范围。
• 币种与汇率：交易币与本位币金额换算使用授权汇率表；重算误差在定义阈值内。
• 唯一性：凭证号+行号+账簿+期间唯一，无重复。
• 冲销逻辑：冲销凭证与原凭证行一一对应，金额相反，日期/期间合规。
• 凭证说明与附件：必填字段非空，附件或支持性文件齐备。

B. 应付（AP）与发票

• 供应商有效性：供应商ID存在且状态非冻结/停用。
• 三方匹配：采购订单—收货—发票数量与金额在容差内；不允许超额发票。
• 发票号唯一：同一供应商发票号不得重复；发票日期不晚于入账日X天。
• 税额与税码：税额按税码重算一致；税码来源与政策一致。
• 付款条款：到期日=发票日+条款；现金折扣计算正确。

C. 应收（AR）与收款

• 客户有效性：客户状态可开票；信用额度与授信有效期校验。
• 发票状态流转：开票—收款—核销—作废有合法路径；核销金额总和=收款金额。
• 重复检测：客户+金额+日期+参考号等组合键重复率在阈值内。

D. 固定资产（FA）

• 资产主数据：资产编号唯一，分类、地点、使用状态有效。
• 折旧规则：方法/寿命/残值符合政策；折旧试算与总账一致（容差内）。
• 处置与转移：有完整业务凭据，账单据与明细可回溯。

E. 现金与银行

• 银行对账：银行对账单余额、未达项明细与总账余额调节后差异为0或在授权范围内。
• 支票/付款编号唯一：作废与跳号有记录。

F. 税务相关

• 税码有效期、税率来源权威；进销项税额计算误差在阈值内。
• 申报口径与台账可从明细回溯，汇总与报表一致。

9. 横向字段级质量检查

• 完整性：主键、必填字段（金额、币种、日期、科目、业务实体）缺失率低于阈值。
• 有效性：数据类型、长度、格式、枚举值白名单校验（日期格式、币种ISO代码等）。
• 一致性：字段间逻辑（借贷标识与金额正负、含税/未税金额与税额关系）一致。
• 唯一性：自然键/业务键无冲突；重复记录检出率在阈值内。
• 准确性：与权威参考（汇率、税率、主数据）对比一致；抽样对原始单据核对。
• 及时性：从源事件到可用数据的时延符合SLA；延迟告警与补数机制有效。
• 完整账性：外键存在性（科目、供应商、客户、资产引用均可解析），无孤儿记录。

10. 对账与勾稽关系

• 子账对总账：AP、AR、FA子账余额与对应总账控制科目一致。
• 期初期末滚动：期初=上期期末；期末=期初+本期发生（考虑汇率、调整、重分类）。
• 试算平衡：借贷平衡；财务报表勾稽（资产=负债+所有者权益；净利润与留存收益变动一致）。
• 明细到汇总：明细汇总值与报表口径一致，过滤与汇总规则一致且可复算。

11. 异常处理与数据清洗

• 异常分类：结构性（类型/长度）、业务规则、参考数据、接口/重复、人工录入。
• 优先级与SLA：对财报关键路径异常设定高优先级与修复时限。
• 修复流程：定位根因、拟定清洗规则、回填与重跑、二次验证、关闭并留痕。
• 变更可追溯：记录前后值、责任人、时间戳、依据文档。

12. 监控与预警机制

• 自动化校验作业：覆盖关键实体与字段，按日/按期运行；失败重试与依赖控制。
• 告警与升级：阈值、渠道（邮件/工单/消息）、升级路径、24x7或业务时段定义。
• 仪表板与指标：质量得分、缺失率、重复率、对账差异、延迟分布、趋势与分系统对比。
• 质量事件管理：登记、归因、纠正/预防措施（CAPA）、复盘。

13. 抽样与测试方法

• 抽样策略：统计抽样（置信度、误差率）与高风险定向抽样结合（高金额、异常科目、跨期、手工分录）。
• 证据核对：与合同、采购订单、发票影像、收付款回单、银行对账单、固定资产卡片逐笔核对。
• 可复现性：抽样规则、样本清单与核对结论留存。

14. 文档与证据留存

• 审计脚本、规则清单、运行日志、对账报表、截图/导出文件归档。
• 版本化管理：规则库、元数据、参考数据版本与生效日期记录完整。

15. 运行与可用性相关控制（与数据完整性相关）

• 任务依赖与失败恢复：保证加载与校验的原子性，避免部分落地。
• 备份与恢复演练：用于证明数据可恢复性，防止因故障导致的数据丢失或不完整。

16. 合规对齐与内控映射

• 与企业会计政策、内控框架（如COSO）和审计需求映射关键数据质量控制点。
• 数据保留与销毁：满足政策与审计取证要求；日志与凭证保全周期明确。

17. 交付物与整改跟踪

• 审计报告：范围、方法、发现、影响评估、量化指标、风险评级、整改建议。
• 行动计划：责任人、措施、计划完成日期、验证标准。
• 基线与目标：建立数据质量基线与改进目标，按期复审与复测。

附：关键字段必填建议清单（示例）

• 凭证：账簿、期间、凭证号、行号、科目、币种、金额、借贷标识、过账日期、业务实体（公司/成本中心/项目）。
• AP发票：供应商ID、发票号、发票日期、币种、未税金额、税额、税码、采购订单号（如适用）、收货单号（如适用）、付款条款。
• AR发票：客户ID、发票号、发票日期、币种、金额、税码、到期日、销售订单/合同号（如适用）。
• 固定资产：资产编号、分类、资本化日期、成本、残值、寿命、折旧方法、地点/使用部门。

执行建议

• 先进行差距评估，优先覆盖高风险模块（总账、AP、AR）与对账链路。
• 以规则库驱动自动化校验，建立异常工单闭环与度量体系。
• 每期结账前后分别运行关键校验，确保出报表前完成纠错与复核。