什么算缺陷,什么算业务例外?
先定义允许的空值、季节性波动、重复容忍度和合法边界,再给异常贴标签。
Elysia Tools
导航
Workflow Playbook
对表格数据做质量剖析,识别重复、缺失、参照断裂、离群和值班时序异常,并把发现整理成可辩护的质量证据。
第一次接触这个流程?按步骤顺序来,从下面第一个工具开始。已经知道自己需要什么?直接跳到对应的步骤——本流程用到的全部工具都在下面的对比表里。
第一个工具: 数据质量画像师
专题
| 工具 | 用来做什么 | 分类 |
|---|---|---|
| 数据质量画像师 | 对 CSV 或 JSON 数据集进行质量画像,识别缺失值、重复行、格式漂移、类型推断和数值异常。 | Data Analysis |
| CSV / Excel 差异比对工具 | 比较两个 CSV 或 XLSX 数据源,导出包含行级、列级和单元格差异的 PDF 报告 | Data Processing |
| 数据去重工具 | 基于多列组合移除重复记录 | Data Processing |
| CSV过滤器 | 按列值过滤CSV数据,支持多个条件和运算符。支持12种过滤运算符,包括等于、包含、大于、小于和空值检查。 额外过滤器示例: [{"column": "年龄", "operator": "greater_than", "value": "25"}] [{"column": "状态", "operator": "equals", "value": "激活"}, {"column": "分数", "operator": "greater_equal", "value": "80"}] [{"column": "姓名", "operator": "contains", "value": "张"}, {"column": "邮箱", "operator": "is_not_empty"}] | Data Processing |
| 外键验证器 | 验证多个数据集之间的外键关系。非常适合检查数据完整性、查找孤立记录和确保相关表之间的引用一致性。 | Data Processing |
专题
| 边界值处理器 | 高级边界值处理工具,用于识别和处理数值数据中的最小值和最大值。完美适用于数据验证、范围检查、统计分析和数据预处理。 功能特点: - 多种边界检测方法(绝对值、百分位数、标准差) - 灵活处理策略(裁剪、删除、替换、变换) - 自定义范围验证 - 非对称边界处理 - 批量处理能力 - 综合边界统计 - 数据质量评估 - 可视化边界报告 常见用途: - 数据验证和质量控制 - 传感器数据范围检查 - 金融数据限制执行 - 统计数据预处理 - 机器学习特征工程 - 数据库约束验证 | Data Processing |
| 异常值检测器 | 使用多种统计方法检测数值数据中的异常值,包括IQR、Z-score和修正Z-score | Data Analysis |
| 箱线图生成器 | 生成箱线图进行统计分布分析,包含四分位数、须线和异常值检测 | Data Visualization |
| Z 分数计算器 | 根据原始值、数据集或手动输入的均值与标准差计算 Z 分数 | Math & Numbers |
| 截尾平均计算器 | 从低端和高端删除相同比例的数据后计算截尾平均 | Math & Numbers |
| 缩尾平均计算器 | 通过限制低端和高端极值后求平均来计算缩尾平均 | Math & Numbers |
| 数据插值器 | 高级数据插值工具,使用多种数学方法填补缺失值和生成数据点。完美适用于时间序列分析、数据补全、信号处理和科学计算。 功能特点: - 多种插值方法(线性、多项式、样条、三次) - 支持日期/时间的时间序列插值 - 前向填充和后向填充选项 - 最近邻插值 - 自定义插值参数 - 缺失值检测和报告 - 数据点生成和加密 - 同时支持多列处理 - 交互式插值预览 常见用途: - 传感器数据填补 - 金融数据补全 - 科学实验数据处理 - 时间序列预测准备 - 图像和信号处理 - 统计数据插补 | Data Processing |
| 时间序列异常检测器 | 上传 CSV 或 JSON 时间序列数据,基于 Z-Score 和 IQR 检测异常点,并输出带图表的报告 | Data Analysis |
对表格数据做质量剖析,识别重复、缺失、参照断裂、离群和值班时序异常,并把发现整理成可辩护的质量证据。
本指南将当前任务范围转化为可复核的交付结果。请保留源文件、中间产物和关键判断,让后续协作者能够理解检查了什么以及为什么这样处理。
在任何处理前保留原始导出文件并记录稳定行标识。
明确关键字段、业务阈值,以及外键校验所依赖的权威主数据表。
将调查副本与生产数据隔离,确保后续修复可回放。
决策点: 什么算缺陷,什么算业务例外?. 先定义允许的空值、季节性波动、重复容忍度和合法边界,再给异常贴标签。
决策点: 缺失值要修复还是只标记?. 只有在序列连续性有业务依据时才插补,否则应保留空值证据供人工复核。
决策点: 异常是单行问题还是整体漂移?. 先用逐记录规则识别重复和外键问题,再看整体分布是否出现系统性偏移。
先量化完整率、列分布、可疑取值模式和跨来源差异,再判断是否真的发生质量漂移。 使用 dataset-quality-profiler, csv-excel-diff-tool.
把重复记录、可疑切片、越界值和外键失配先分桶,避免把确定性规则错误与统计异常混在一起。 使用 data-deduplicator, csv-filter, data-foreign-key-validator, data-boundary-processor.
结合离群检测和稳健统计判断极端值究竟是脏数据、罕见真实事件,还是可接受但偏斜的业务行为。 使用 outlier-detector, box-plot-generator, z-score-calculator, trimmed-mean-calculator, winsorized-mean-calculator.
检查缺口和时间冲击,只在理由充分时插补,并为每段被调整的序列保留前后证据。 使用 data-interpolator, time-series-anomaly-detector.
工作流指南
先量化完整率、列分布、可疑取值模式和跨来源差异,再判断是否真的发生质量漂移。
把重复记录、可疑切片、越界值和外键失配先分桶,避免把确定性规则错误与统计异常混在一起。
结合离群检测和稳健统计判断极端值究竟是脏数据、罕见真实事件,还是可接受但偏斜的业务行为。
检查缺口和时间冲击,只在理由充分时插补,并为每段被调整的序列保留前后证据。
先定义允许的空值、季节性波动、重复容忍度和合法边界,再给异常贴标签。
只有在序列连续性有业务依据时才插补,否则应保留空值证据供人工复核。
先用逐记录规则识别重复和外键问题,再看整体分布是否出现系统性偏移。