verify-data：一个端到端的数据验数Agent Skill

在数据开发团队中，每张数据表上线前或迭代后，都需要回答一个核心问题：这个表的数据到底准不准？传统的手工验数方式一直存在几个典型痛点：覆盖度不够（大多数开发者只跑总量对比SQL，漏掉维度逐项对比、CUBE完整性检查等关键项）、基准表选错（凭感觉选一张名字差不多的表做基准，口径完全不同）、代码理解偏差（没看懂JOIN膨胀逻辑，验数SQL复刻了同样的bug）、结论无依据（主观判断缺乏评审级证据链）和沉淀成本高（验数SQL散落各处，换人换分区又要从头来）。这些痛点直接影响数据质量的最后一道防线。

概述

verify-data正是为解决这些痛点而生的端到端数据验数Agent Skill。开发者只需用自然语言说一句话，它就能自动完成从表结构获取、基准表发现、代码逻辑分析、验数SQL生成、执行到报告发布的全流程。这将传统手工验数从"手写多条SQL+人工比对"升级为"一句话触发+评审级证据输出"的自动化流程。核心价值体现在四个方面：效率提升（从2-4小时压缩到30分钟）、覆盖度提升（10类标准化SQL模板确保验证全面）、智能决策（基准表自动发现与降级策略）以及证据链产出（结构化评审级报告）。

架构设计与核心能力

系统支持5种验数场景自动识别：S1新模型上线（单研发表无基准表）、S2迭代验数（DEV vs PROD对比）、S3日常监控、S4业务质疑、S5口径迁移。其中10类标准化SQL模板覆盖总量对比、数据质量、维度逐项对比、CUBE完整性、汇总行一致性等关键项，特别是SQL 9（关联膨胀检测）和SQL 10（日期维度关联校验）在实际评审中被验证是最高频退回原因。当无基准表或部分覆盖时，系统不会放弃验证，而是自动选择4种降级策略，确保任何表都能给出有意义的结论。

五大验数场景与降级策略

在设计中，有4条不可逾越的红线：禁止跳过SQL生成直接手写跑数、禁止靠字段名猜映射、禁止降级策略仅跑数据一致性SQL就出报告、必须对所有JOIN做膨胀率验证。这些红线从机制上防止系统在边缘场景犯错。实践中总结的踩坑经验同样珍贵：CUBE汇总行的NULL不是Bug（GROUPING SETS的标准行为）、浮点精度不要较真（内置1e-6容忍度判定）、DWD重算同构只能自证执行一致（必须追加代码审查和独立构造V类证实SQL）。这些经验被编码进系统的判断逻辑，确保不会重复犯错。

设计原则与踩坑经验

展望未来，verify-data的演进方向聚焦三个维度：一是极致体验，从"等30分钟"到"无感验数"，引入异步执行+主动通知机制，支持"一键到底"静默模式；二是平台融合，与数据研发平台发布流水线深度集成，让验数成为数据上线的标准质量门禁；三是智能进化，从当前"按模板执行验证并输出结论"升级为"理解数据"，具备全链路根因定位、可信度量化评分和增量验数等能力。

如有侵权，请联系删除。