当前首先要回答配置变更还是记录质量?
若要查缺失、修改或意外出现的配置键,走基线与环境比较路径;若问题是记录格式错误、缺失、重复或漂移,走日志和数据集分析路径。
Elysia Tools
导航
Workflow Playbook
固定 JSON 或 JSONL 输入,和基线或环境配置比较,解释质量信号,并交付有记录可追溯的规范化结果。
第一次接触这个流程?按步骤顺序来,从下面第一个工具开始。已经知道自己需要什么?直接跳到对应的步骤——本流程用到的全部工具都在下面的对比表里。
第一个工具: JSON格式化
专题
| 工具 | 用来做什么 | 分类 |
|---|---|---|
| JSON格式化 | 格式化和验证JSON数据 | Format Conversion |
| JSON差异美化 | 比较两个JSON对象并以可读格式显示它们的差异 | Converter |
| 环境配置差异可视化器 | 对 JSON、YAML、TOML 与 ENV 配置进行跨环境对比,高亮漂移项、缺失项,并给出清洗建议。 | Development |
| 结构化日志解析器 | 自动识别常见日志格式,提取核心字段并推断字段类型,支持导出为 JSON、CSV 或 SQL。 | Data Processing |
| 数据质量画像师 | 对 CSV 或 JSON 数据集进行质量画像,识别缺失值、重复行、格式漂移、类型推断和数值异常。 | Data Analysis |
| 数据规范化器 | 基于代码逻辑的数据格式规范化工具,使用程序化方法清理和标准化混乱数据 |
专题
| Data Processing |
| AI数据规范化器 | AI驱动的数据格式规范化工具,使用高级AI分析智能清理和标准化混乱数据 | Data Processing |
固定 JSON 或 JSONL 输入,和基线或环境配置比较,解释质量信号,并交付有记录可追溯的规范化结果。
本指南将当前任务范围转化为可复核的交付结果。请保留源文件、中间产物和关键判断,让后续协作者能够理解检查了什么以及为什么这样处理。
保留一份脱敏且未改动的 JSON 或 JSONL 原始副本,并标明其负责人。
提供获批准的基线,或要比较的具名环境配置包。
先写清哪些字段可被标准化,哪些值必须原样保留。
决策点: 当前首先要回答配置变更还是记录质量?. 若要查缺失、修改或意外出现的配置键,走基线与环境比较路径;若问题是记录格式错误、缺失、重复或漂移,走日志和数据集分析路径。
决策点: 清洗规则能否明确为确定性规则?. 映射、大小写、日期和空值处理已有定义时使用规则化规范化。只有面对异构文本或格式时才使用 AI 辅助,并逐项抽样复核建议的转换。
在不改变字段值的前提下格式化脱敏源文件,让审查者能对照保留的原始副本检查嵌套、数组、空值和可疑键。 使用 json-formatter.
先将格式化后的载荷与获批准基线比较,再隔离不同环境中的缺失键、变更值和新增项,避免把所有差异都误判为数据缺陷。 使用 pretty-json-diff, environment-config-diff-visualizer.
把 JSONL 或结构化事件解析为字段,并剖析完整性、重复行、推断类型、格式漂移和数值离群,区分真实模式与一次性差异。 使用 structured-log-analyzer, dataset-quality-profiler.
规则已明确时采用确定性清洗;模糊脏字段才使用辅助规范化,并抽样对照保留源文件,记录未解决的例外。 使用 data-normalizer, ai-data-normalizer.
工作流指南
在不改变字段值的前提下格式化脱敏源文件,让审查者能对照保留的原始副本检查嵌套、数组、空值和可疑键。
先将格式化后的载荷与获批准基线比较,再隔离不同环境中的缺失键、变更值和新增项,避免把所有差异都误判为数据缺陷。
把 JSONL 或结构化事件解析为字段,并剖析完整性、重复行、推断类型、格式漂移和数值离群,区分真实模式与一次性差异。
规则已明确时采用确定性清洗;模糊脏字段才使用辅助规范化,并抽样对照保留源文件,记录未解决的例外。
若要查缺失、修改或意外出现的配置键,走基线与环境比较路径;若问题是记录格式错误、缺失、重复或漂移,走日志和数据集分析路径。
映射、大小写、日期和空值处理已有定义时使用规则化规范化。只有面对异构文本或格式时才使用 AI 辅助,并逐项抽样复核建议的转换。