{"name":"数据工程","id":"数据技术-数据工程","content":"# 数据工程\n\n## 本质\n\n> 数据工程维护组织的派生数据状态：每个数据产物都是源数据、变换逻辑与时间共同决定的结果，并成为下游的输入。源数据不受控、逻辑持续变化、错误被持久化并沿依赖传播，三者使派生状态天然趋向不可信；数据工程的机制都在回答同一个问题——如何让派生状态可约束、可验证、可重建。\n\n**数据工程是构建与维护数据系统和流程的工程学科：将来自不受控源系统的原始数据，持续转化为可信、一致、可被下游使用的信息。**\n\n组织持续用数的能力是数据工程的长期产出，该产出同时依赖[数据治理](/数据技术/数据治理.md)提供的所有权、标准与制度。\n\n### 派生状态模型\n\n任一数据产物可表示为：\n\n$$\nD^{(t)} = f_{v}\\left(S^{(\\le t)},\\ D_{\\text{up}}^{(t)}\\right)\n$$\n\n| 符号 | 含义 | 工程属性 |\n|---|---|---|\n| $S^{(\\le t)}$ | 截至时刻 $t$ 的源数据 | 由源系统按其业务目标产生，数据团队无控制权 |\n| $f_{v}$ | 版本为 $v$ 的变换逻辑 | 随口径变更、缺陷修复持续演化，且可能追溯生效 |\n| $D_{\\text{up}}^{(t)}$ | 上游派生产物 | 产物被持久化并复用，依赖关系构成 DAG |\n| $t$ | 时间 | 事件时间与处理时间分离，迟到数据使\"某时刻的状态\"需要显式定义 |\n\n与在线服务的根本差异在于错误的形态：服务的错误多为瞬时的，修复代码即止损；派生状态的错误是持久的，修复代码之后还须修复已产出的状态及其全部下游。\"修代码不等于修数据\"是数据工程难以直接套用软件交付实践的原因。\n\n### 约束、失效与机制\n\n| 根本约束 | 不处理时的失效形态 | 工程回应 | 机制要点 | 事实源 |\n|---|---|---|---|---|\n| 输入不受控：源系统对下游没有义务，其 schema 是未经约定的接口 | schema 漂移与语义静默变化，下游在结构校验通过的情况下产出错误结果 | **约束输入** | 将隐式依赖转为显式接口；接口按生产级用途建立，由消费需求驱动 | [数据集成](/数据技术/数据集成.md)、[数据建模](/数据技术/数据建模.md) |\n| 错误持久且传播：运行成功不蕴含数据正确，错误产物成为下游输入 | 扩散面随依赖深度放大，发现越晚修复越贵 | **验证输出** | 对数据本身做断言，以消费方可见的交付单元定义可靠性目标；陈旧优于错误，异常时阻断而非继续产出 | [数据质量](/数据技术/数据质量.md)、[数据运维](/数据技术/数据运维.md) |\n| 逻辑随时间变化：口径变更、缺陷修复、迟到数据要求改写历史 | 历史结果不可解释，重算结果与原结果不一致，修复引入新错误 | **重建状态** | 可复现 = 不可变输入 + 版本化逻辑 + 确定性变换；重跑必须安全（结果幂等），而非被禁止 | [数据处理](/数据技术/数据处理.md)、[数据建模](/数据技术/数据建模.md) |\n\n三项机制相互依赖：没有验证，无从知道何时需要重建；没有可重建能力，验证发现的问题只能靠人工修补；没有输入约束，验证与重建会被源端变更持续消耗。\n\n### 价值目标：三种成本\n\n派生状态模型回答\"凭什么成立\"，价值目标回答\"优化什么\"：\n\n> **持续、低成本地将数据转化为可被组织使用的确定性价值**\n\n这一目标拆解为三种成本：\n\n1. **流动成本**（系统到系统）：数据从产生到可用的代价\n2. **理解成本**（人到数据）：使用者正确理解并信任数据的代价\n3. **协作成本**（人到人）：生产者、加工者与消费者之间对齐的代价\n\n可信的派生状态是三种成本优化的前提，而不是与之并列的另一个目标：状态不可信时，流动越快错误扩散越快，越容易理解则误用越广，协作越密则单点错误的影响面越大——降本努力会放大损失。\n\n| 机制 \\ 成本 | 流动 | 理解 | 协作 |\n|---|---|---|---|\n| 约束输入 | 主：减少源端变更引发的修复与重跑 | 次：字段语义随接口固定 | 主：生产者与消费者的义务显式化 |\n| 验证输出 | 次：异常前置拦截，减少返工 | 主：可信度可观察，使用者无需自行核验 | 次：问题定位有共同证据 |\n| 重建状态 | 主：故障修复与口径变更的代价可控 | 主：历史结果可按逻辑版本解释 | 次：变更不再需要全员协调停机 |\n\n### 适用边界\n\n* **何时值得投入**：只有被保存下来、反复使用的产物才需要三项机制。探索分析和一次性取数用完即弃，不必建接口约定，也不必保证能重算；产物被复用得越少，投入就越少。\n* **投入多少**：看两个量——有多少下游依赖它（扩散面），出错会造成多大损失（错误代价），两者乘积越大投入越多。核心共享产物三项机制全做，长尾产物只保留最基本的校验。[数据建模](/数据技术/数据建模.md)评估模型变更风险用的也是这两个量。\n* **何时做不到**：\n  * 变换带随机性（采样、调用生成式模型）：同样的输入重算会得到不同结果。此时只能退到\"可追溯\"——保留当时的数据版本、逻辑版本和运行记录，出问题能查清结果怎么来的，但不保证重算结果一致。\n  * 合规要求删除原始数据：重算的前提是原始数据一直保留，被删掉的部分就无法再重算；原始存储因此必须支持按条件删除。\n  * 流式数据：数据持续到达，不存在\"这批数据已经到齐\"的时刻，无法像批处理那样整批重算，只能重放日志并配合状态快照恢复，见[流处理](/数据技术/流处理.md)。\n* **安全限制**：校验和重算都要读数据，这些读取同样遵守最小权限——每一步只读它直接依赖的上游产出；中间表和临时文件里的敏感数据按同等标准保护，见[合规与安全](/数据技术/合规与安全.md)。\n* **何时修改本模型**：如果事故复盘中反复出现归不进三类约束的根因（例如单纯由资源不足或成本限制导致的失败），说明模型漏掉了某类约束，需要补充。\n\n## 五层职责模型\n\n> 分层把变化节奏与控制权不同的部分隔离开，由层间接口吸收变化；派生状态的三项机制沿这些接口落位。\n\n分层隔离变化的通用原理与完整逻辑分层见[数据架构](/数据技术/数据架构.md)。本节只回答数据工程的增量问题：每层的变化由谁控制、在哪里被吸收、三项机制由哪一层承担。\n\n### 五层与变化来源\n\n| 层 | 核心问题 | 主要变化来源 | 控制权 | 对应数据架构分层 |\n|---|---|---|---|---|\n| 价值层 | 数据如何产生业务影响 | 业务策略与用例 | 业务方；是数据工程的需求来源，不属于其职责 | — |\n| 服务层 | 数据如何被安全、稳定地消费 | 消费方与访问模式 | 与消费方共同约定 | 数据服务层 |\n| 处理层 | 数据如何被变换与建模 | 业务口径 | 数据团队；口径决策权归治理 | 语义层 |\n| 集成层 | 数据如何进入系统 | 源系统 schema 与接口 | 不受控 | 接入与传输层 |\n| 基础设施层 | 存储与计算如何稳定运行 | 存储计算形态、计算引擎、云平台 | 数据团队或平台团队 | 存储层、计算层 |\n\n* 每层的核心问题长期不变，回答它的技术持续换代。业务口径的变化慢于源系统和计算引擎，因此口径归处理层、引擎归基础设施层：换引擎不应改动口径，按业务结构划分数据的依据见[数据建模](/数据技术/数据建模.md)。\n* 控制权决定应对方式：不受控的变化（集成层）只能在边界上拦截，受控的变化（处理层）可以通过版本化管理。\n\n### 层间接口：变化在哪里被吸收\n\n| 边界 | 隔离的变化 | 接口形态 | 接口被绕过时 |\n|---|---|---|---|\n| 源系统 → 集成层 | 源端 schema 与语义变更 | 源端接口约定，或防御性摄取 | 源端变更直达模型，下游静默出错 |\n| 集成层 → 处理层 | 原始格式与业务语义的差异 | 不可变的原始数据层 | 摄取时混入业务逻辑，口径变更需要重新摄取 |\n| 处理层 → 基础设施层 | 计算引擎与存储换代 | SQL、开放表格式等标准接口 | 口径用引擎专有接口实现，换引擎等于重写口径 |\n| 处理层 → 服务层 | 内部模型重构 | 稳定的数据服务出口 | 消费方直接读内部表，内部重构即破坏下游 |\n\n\"接口被绕过时\"一列可用作诊断信号：出现即说明分层只停留在命名上。\n\n### 三项机制的分层落位\n\n| 机制 | 集成层 | 处理层 | 服务层 | 基础设施层 |\n|---|---|---|---|---|\n| 约束输入 | 主：源端边 | 辅：语义随版本冻结 | 主：消费边 | — |\n| 验证输出 | 辅：入口检测结构漂移 | 主：单元级与模型级断言 | 主：按交付单元的端到端验证 | — |\n| 重建状态 | 主：原始数据持久保留 | 主：版本化逻辑与结果幂等 | — | 前提：廉价的不可变存储与可重放计算 |\n\n三项机制都跨越多层，但每层承担的部分不同，且都依赖上一节的接口：接口缺失的层，对应机制无处落地。\n\n### 代价与边界\n\n* 每多一层，就多一次存储、一跳延迟和一个需要维护的接口。探索期或小团队可以合并层（如在同一数仓内完成摄取与变换），但源端边与消费边两个接口不宜省略：它们隔离的是数据团队无法控制的变化。\n* 安全合规与治理是作用于各层的外部约束，见[合规与安全](/数据技术/合规与安全.md)与[数据治理](/数据技术/数据治理.md)。\n\n## 生命周期：状态的修正与终结\n\n> 五层模型描述职责在空间上的划分，生命周期描述一份派生状态在时间上的轨迹：它被产出后仍要被修正，最终要被终结；这两段轨迹决定了派生状态的长期可信度与成本。\n\n### 三段轨迹\n\n> 生成 → 流动 → 沉淀 → 建模 → 服务 → 反馈修正（回流上游）→ 退役\n\n| 段 | 阶段 | 派生状态的变化 | 划分依据 |\n|---|---|---|---|\n| 产出 | 生成、流动、沉淀、建模、服务 | 源数据进入系统，逐级派生为可消费的产物 | 建模与其他变换分开：语义建模承担口径一致性，变化节奏慢于变换实现，对应五层模型中\"口径归处理层、引擎归基础设施层\" |\n| 修正 | 反馈修正 | 已产出的状态被重算或更正 | 派生状态的错误是持久的，产出之后必须存在一条回到上游的修正路径 |\n| 终结 | 退役 | 原始数据被删除，派生产物被下线 | 只增不减时，存储、计算与验证成本持续累积；合规删除也要求明确的终点 |\n\n### 反馈修正：错误如何被纠正\n\n修正是一条与数据流方向相反的路径，每一步依赖不同的前置能力：\n\n| 步骤 | 动作 | 依赖 | 失效形态 |\n|---|---|---|---|\n| 发现 | 识别产出偏离预期 | 验证输出；消费方反馈渠道 | 由消费方先发现，错误已被用于决策 |\n| 定位 | 沿依赖回溯根因所在的产物与逻辑版本 | [数据血缘](/数据技术/数据血缘.md)；运行记录 | 依赖人工排查，修复对象找错 |\n| 修正 | 修复源端数据或变换逻辑 | 版本化逻辑 | 覆盖旧逻辑，历史结果无法按原口径解释 |\n| 重建 | 重算受影响的分区及其全部下游 | 不可变输入、结果幂等；血缘给出影响面 | 只修根节点，下游仍保留错误结果；或重跑造成重复 |\n| 通知 | 告知消费方受影响范围与更正时间 | 消费边接口；交付单元定义 | 消费方不知数据已变，系统内外结果不一致 |\n\n* 定位与重建依赖同一份依赖图：血缘越完整，重建范围越精确；血缘缺失时只能扩大重算范围，或接受遗漏。\n* 派生状态一旦流出系统（报表导出、对外披露），系统内重建无法覆盖外部副本；此时以更正记录代替改写历史。\n\n### 退役：状态如何终结\n\n| 对象 | 触发 | 派生状态特有的约束 |\n|---|---|---|\n| 原始数据 | 保留期届满；合规删除请求 | 删除须沿依赖传播到所有派生产物，否则数据在下游残留；删除范围内不再可重建 |\n| 派生产物 | 消费方消失或长期无访问；维护与验证成本超过其价值 | 下线前确认无下游依赖，经消费边通知并给出迁移期；直接删除会破坏未登记的消费方 |\n\n* 下线判断依赖三个信号：最近访问时间、下游依赖数、计算与验证成本。三者都来自血缘与[元数据](/数据技术/元数据管理.md)；信号缺失时只能保守保留，长尾产物因此只增不减。\n* 保留期限与删除的合规要求见[合规与安全](/数据技术/合规与安全.md)，冷热分层的成本模型见[数据存储](/数据技术/数据存储.md)，存储成本治理见[数据运维](/数据技术/数据运维.md)。\n\n## 机制展开\n\n约束只说明派生状态为何不可信，三项机制也只给出应对方向；本章展开每项机制成立所依赖的条件、条件被破坏时的失效形态以及投入的取舍。这些条件不随工具更替而改变，可直接用于评估新工具和定位故障。\n\n### 约束输入：依赖边上的接口\n\n派生状态的每条依赖边都是一个接口：上游产物是下游的输入，约束输入的机制因此适用于 DAG 的每一条边。两类边的风险最高：\n\n| 依赖边 | 接口失控的形态 | 机制 | 事实源 |\n|---|---|---|---|\n| 源端边：源系统 → 数据平台 | 直接读取生产库 schema，源系统按业务需要修改结构与语义，下游静默出错 | 由消费需求驱动的源端接口约定，变更前感知影响面 | [数据集成](/数据技术/数据集成.md) |\n| 消费边：数据平台 → 外部消费方 | 消费方直接依赖内部表，内部重构即破坏下游 | 数据服务：以稳定出口隔离内部实现 | [数据中台](/数据技术/数据中台.md) |\n\n接口由三个要素构成，缺一则约束失效：\n\n* **结构**：字段、类型、粒度。结构校验最容易自动化，也最容易给出虚假安全感。\n* **语义**：口径、单位、主题归属。列名不变而语义改变是最隐蔽的破坏形态，语义须随版本冻结；主题域与口径的权威来源见[数据建模](/数据技术/数据建模.md)，口径决策权与 Owner 归属见[数据治理](/数据技术/数据治理.md)。\n* **承诺**：新鲜度、质量目标、访问边界。\n\n适用边界：接口约束只对生产级用途建立。探索期数据的价值未经验证，提前约束会把研发成本转嫁给尚不存在的消费方。仅由生产方定义的接口常因生产方不了解下游用途而失效，接口内容应由消费需求驱动、由生产方维护。\n\n### 验证输出：对数据本身断言\n\n任务运行成功只证明代码执行完毕，不证明数据正确；验证必须作用于产出的数据，而非执行过程。验证按范围分三级，每级只能捕获特定类别的错误：\n\n| 范围 | 捕获 | 漏检 |\n|---|---|---|\n| 单元级：单个变换 | 逻辑缺陷 | 输入漂移、跨阶段的字段假设 |\n| 模型级：单个产物 | 粒度、主键、口径约束被破坏 | 上下游语义不一致 |\n| 端到端：从源到消费 | 跨阶段的隐含假设失配、交付延迟 | 定位困难，需血缘辅助 |\n\n各阶段分别达标不蕴含端到端正确，可靠性目标因此以消费方可见的交付单元（如某一时间分区的产物）定义。失败按形态处置：\n\n* **延迟**：上游未就绪时下游等待或沿用上一版本——陈旧优于错误。\n* **损坏**：阻断继续产出，从已知良好的状态恢复，或修正后重建。何种异常阻断、何种仅告警，须事先约定。\n\n投入按关键产物与用例分级，不追求全量覆盖。质量维度定义见[数据质量](/数据技术/数据质量.md)，监控与告警体系见[数据运维](/数据技术/数据运维.md)，SLO 的通用概念见[可观测性](/软件工程/架构/系统设计/可观测性.md)。\n\n### 重建状态：让重跑安全\n\n口径变更、缺陷修复、迟到数据都要求改写已产出的历史，重建能力决定这些修正的代价。可重建依赖四个条件：\n\n| 条件 | 含义 | 破坏时的后果 |\n|---|---|---|\n| 不可变输入 | 原始数据落地后持久保留、不被改写 | 修正后无法回到原始事实重算 |\n| 版本化逻辑 | 口径变更视为逻辑新版本，按生效期区分新旧口径，而非覆盖旧逻辑 | 重算历史时误用新口径 |\n| 确定性变换 | 相同输入与逻辑产出相同结果 | 重算结果与原结果不可比 |\n| 结果幂等 | 产出以分区为单位整体覆盖，重复执行结果相同 | 重跑导致重复计数或残留状态 |\n\n结果幂等与执行去重是两个概念：执行去重阻止任务重复运行，结果幂等保证重复运行无害；重建依赖后者。\n\n代价与边界：\n\n* 不可变输入与快照以存储换取可解释性，前提是存储成本低于排障与返工的工程成本。\n* 分区依赖自身前一分区（历史依赖）会使重建链路随时间线性加深、无法并行，应尽量避免。\n* 迟到数据迫使在事件时间与处理时间之间选择分区依据：按处理时间分区保证产出不可变，代价是按事件时间查询时无法有效裁剪。\n* 批处理计算模型见[数据处理](/数据技术/数据处理.md)，时间轴取舍见[数据建模](/数据技术/数据建模.md)，流式场景的重放机制见[流处理](/数据技术/流处理.md)，调度层的执行语义见[任务调度系统](/数据技术/任务调度系统.md)。\n\n### 机制取舍：采用与降级信号\n\n三项机制的投入随\"下游扩散面 × 错误代价\"变化，任一机制都存在不值得全量投入的场景：\n\n| 机制 | 采用信号 | 降级信号 | 降级后的替代 |\n|---|---|---|---|\n| 约束输入 | 产物进入生产级用途；源端变更已引发事故；同一产物有多个消费方 | 探索期；生产方与唯一消费方同属一个团队；源系统为不可协商的第三方 | 防御性摄取：入口处检测结构漂移并隔离异常批次 |\n| 验证输出 | 产物服务外部消费方或决策；错误被发现的时间晚于被使用的时间 | 告警长期无人处置或以误报为主；断言维护成本超过其拦截的损失 | 收缩为少量端到端关键断言加异常检测；阻断降为告警 |\n| 重建状态 | 口径会追溯变更；存在迟到数据；历史结果用于对外披露或审计 | 变换不确定；全量快照的存储成本超过返工成本；合规要求删除原始数据 | 以可追溯代替可复现：保留逻辑版本与运行记录，修正以更正记录表达而非改写历史 |\n\n降级是对投入强度的调整，不是放弃对应约束：约束依然存在，只是由代价更低的方式承受其后果。\n\n## 演进：机制的成熟路径\n\n组织规模、协作复杂度与数据使用密度共同推高产物的\"下游扩散面 × 错误代价\"；当它超过实现某项机制的成本时，该机制从缺位转为必需，构成阶段迁移的动力。\n\n| 阶段 | 识别信号 | 机制状态 | 优先投入 | 过早投入的代价 |\n|---|---|---|---|---|\n| 项目驱动 | 需求逐个交付；口径散落在应用层；问题由消费方发现 | 三项机制缺位，靠人工修补 | 原始数据持久保留；核心产物的端到端验证 | 需求未稳定时建平台或全量接口约束，规范被绕过 |\n| 规模化 | 同一指标多处实现、结果不一；修复依赖个人 | 机制靠规范与评审执行 | 口径收敛；高扩散产物的接口约束；重跑安全 | 规范缺少工具卡点，执行成本随人数线性增长 |\n| 平台化 | 规范执行成本过高；同类管道重复实现相同机制 | 三项机制成为平台默认能力 | 接口登记、通用断言、安全重跑下沉为平台行为 | 平台先于共识，错误抽象被固化 |\n| 联邦化 | 中心团队成为交付瓶颈 | 领域团队自持产物与接口，平台提供机制，中心制定标准 | 领域所有权与统一标准 | 领域团队尚无维护能力时下放，质量责任悬空 |\n\n阶段划分是对多个组织案例的归纳，规模较小或直接采用托管服务的团队可能跳过中间阶段。平台化与联邦化的具体形态见[数据中台](/数据技术/数据中台.md)与[数据网格](/数据技术/数据网格.md)。\n\n## 关联内容（自动生成）\n\n- [/数据技术/数据建模.md](/数据技术/数据建模.md) 事实源：主题域、口径权威来源、时间轴取舍与模型变更治理，本文\"约束输入·语义\"、\"重建状态\"与处理层引用其定义\n- [/数据技术/数据集成.md](/数据技术/数据集成.md) 事实源：源端接口约束的形态谱系，本文\"约束输入·源端边\"的分支展开\n- [/数据技术/数据质量.md](/数据技术/数据质量.md) 事实源：质量维度定义，本文\"验证输出\"引用其维度体系\n- [/数据技术/数据处理.md](/数据技术/数据处理.md) 事实源：批处理\"不可变输入、无副作用、可重放\"计算模型，本文\"重建状态\"的计算基础\n- [/数据技术/流处理.md](/数据技术/流处理.md) 分支：流式场景下以日志重放与状态快照实现重建，是\"重建状态\"在开放时间边界下的形态\n- [/数据技术/数据血缘.md](/数据技术/数据血缘.md) 支撑：依赖 DAG 的可见性决定扩散面评估、端到端验证的定位能力，以及\"反馈修正\"的重建范围与\"退役\"的依赖确认\n- [/数据技术/数据运维.md](/数据技术/数据运维.md) 事实源：监控、告警与成本治理，本文\"验证输出\"的运行侧落地与\"退役\"的存储成本依据\n- [/数据技术/数据架构.md](/数据技术/数据架构.md) 分支：分层隔离变化的原理与数据面、认知面、控制面的完整逻辑分层，是本文\"五层职责模型\"的对应基准\n- [/数据技术/数据治理.md](/数据技术/数据治理.md) 互补：数据工程提供系统与流程，数据治理提供口径决策权、所有权与制度\n- [/数据技术/合规与安全.md](/数据技术/合规与安全.md) 外部约束：最小权限限制验证与重建的数据访问；保留期限与删除的合规要求是\"退役\"的事实源\n- [/数据技术/数据中台.md](/数据技术/数据中台.md) 演进形态：平台化阶段三项机制下沉为默认能力，数据服务作为消费边的统一出口\n- [/软件工程/架构/系统设计/故障管理.md](/软件工程/架构/系统设计/故障管理.md) 跨域：通用故障治理中的\"数据类故障\"在派生状态场景下展开为\"反馈修正\"；差异在于错误随依赖持久扩散，修代码不等于修数据\n","metadata":"tags: ['数据技术', '软件工程', '架构设计']","hasMoreCommit":false,"totalCommits":6,"commitList":[{"date":"2026-11-05T11:25:57+08:00","author":"MY","message":"docs(data-engineering): 重构数据工程理论框架并完善相关技术文档","hash":"779cfe1fe2cf4d97ef65d5e637b3e095422c5e74"},{"date":"2026-02-12T14:07:03+08:00","author":"MY","message":"doc: 整理标签","hash":"290b3e8ad18f48832ac282290238d020fc030a88"},{"date":"2025-12-30T10:53:24+08:00","author":"MY","message":"docs(data-engineering): 更新数据工程文档标题","hash":"80d032500712956080cd5cf1a6ac66342b0c04ae"},{"date":"2025-12-30T10:50:43+08:00","author":"MY","message":"docs(data-engineering): 重构数据工程文档为方法论升维版本","hash":"802e3b4019465899bd3bf1892fdecc8fac6416ff"},{"date":"2024-06-06T20:14:51+08:00","author":"MY","message":"✏数据管理","hash":"e240a53961c71bd6bd9da6148e4230826573de51"},{"date":"2024-06-05T19:47:18+08:00","author":"MY","message":"📦数据管理","hash":"691dc7a05c78b6f64162f2138915ae6a41d45304"}],"createTime":"2024-06-05T19:47:18+08:00"}