# 数据清洗器

清洗和标准化数据，修复拼写错误、标准化格式、移除重复项和填充缺失值

> 标准页面: https://test.elysiatools.com/zh/tools/data-cleaner

- **分类:** Data Processing

- **关键词:** 数据, 清洗, 标准化, 格式, 拼写, 修复, 规范化, 重复, 缺失

## 概述

数据清洗器是一款高效的数据预处理工具，支持快速修复拼写错误、统一日期与数字格式、去除重复记录、清理多余空白字符并填充缺失值。无论是 CSV、TSV、JSON 数组还是按行排列的纯文本，都能一键规范化并导出为所需格式。

## 输入项

- **输入数据** (textarea): 输入要清洗的数据，每行一条记录...
- **输入格式** (select)
- **修复拼写错误** (checkbox)
- **标准化数据格式** (checkbox)
- **移除重复记录** (checkbox)
- **填充缺失值** (checkbox)
- **去除空白字符** (checkbox)
- **移除空记录** (checkbox)
- **自定义分隔符** (text): CSV/TSV/SSV格式的自定义分隔符
- **输出格式** (select)
- **包含报告** (checkbox): Prepend a human-readable cleaning report before the data
- **文本大小写样式** (select)
- **日期格式标准化** (select)
- **数字格式标准化** (select)

## 适用场景

- 从不同系统导出表格后存在字段格式不一、日期混乱或数值带异形分隔符时
- 导入数据库或分析平台前需要剔除重复数据、空行并修剪前后多余空格时
- 需要将零散的文本记录或 JSON 数组快速标准化并转换为规整的 CSV 或格式化表格时

## 工作原理

- 粘贴原始文本并选择当前输入格式（如逐行、CSV、TSV、SSV 或 JSON 数组）及自定义分隔符
- 按需勾选清洗规则，包括去重、剔除空行、修剪空白、修复拼写、填充缺失值以及设置文本大小写
- 指定日期格式（如 YYYY-MM-DD、ISO 8601）和数字格式（如小数点、千分位逗号等标准化样式）
- 选择输出格式（CSV、格式化表格、JSON 或列表）并可勾选生成清晰的人类可读清洗报告

## 使用案例

- 销售线索清洗：合并去重客户名单，修剪多余空格并统一姓名英文大小写
- 财务账单规范化：统一各类不同账目中的日期写法与千分位数字格式
- 爬虫数据整理：过滤抓取结果中的空行与重复项，将松散文本转化为标准 CSV 表格

## 常见问题

### 支持哪些常见的输入与输出格式？

输入支持逐行文本、CSV、TSV、SSV 和 JSON 数组；输出支持 CSV、格式化表格、JSON 以及简单列表。

### 如何处理格式不统一的日期和数字？

在选项中指定目标日期格式（如 YYYY-MM-DD、ISO 8601）和数字样式（如 1,234.56 或 1234.56），工具会自动识别并统一转换。

### 勾选“包含报告”会输出什么内容？

勾选后，工具会在处理结果顶部添加一份清洗统计报告，直观展示移除的重复项、修复的错误及填补的数据量。

### 工具会如何处理文本两端的空格和空行？

开启“去除空白字符”会自动修剪字段前后的空格，开启“移除空记录”则会自动滤除没有任何内容的空白行。

### 输入特殊分隔符的文本时该如何配置？

若数据使用了竖线或分号等非标准符号，可以在“自定义分隔符”输入框中填入对应符号进行准确解析。

## 相关工具

- [BOM字符移除器](https://test.elysiatools.com/zh/tools/data-bom-remover): 从文本和文件内容中移除BOM（字节顺序标记）字符。非常适合清理有编码问题的文本文件、修复CSV导入和为处理准备数据。 功能特点： - 检测并移除UTF-8 BOM (EF BB BF) - 检测并移除UTF-16 BOM (FE FF 或 FF FE) - 检测并移除UTF-32 BOM (00 00 FE FF 或 FF FE 00 00) - 支持多种输入格式 - 可视化BOM字符显示 - 详细检测报告 - 支持批量文本处理 常见用途： - 修复CSV文件导入错误 - 清理文本文件编码问题 - 为JSON解析准备数据 - 修复XML解析问题 - 解决API数据编码冲突 - 标准化文本数据格式
- [重复列移除器](https://test.elysiatools.com/zh/tools/duplicate-column-remover): 使用灵活的检测策略从CSV数据中移除重复列。非常适合清理数据集、移除冗余信息和优化数据结构。 功能特点： - 检测相同标题的列 - 查找相同数据内容的列 - 支持大小写敏感/不敏感匹配 - 多种移除策略可选 - 保持数据完整性 - 支持大型数据集 - 快速高效的处理 常见用途： - 清理合并的数据集 - 移除冗余数据列 - 优化分析数据 - 为机器学习准备数据 - 减少文件大小和复杂度 - 标准化数据格式
- [表头删除器](https://test.elysiatools.com/zh/tools/header-remover): 从CSV数据中删除表头，创建无表头的干净文件。非常适合数据库导入、数据处理管道、API集成和需要无表头CSV格式的系统。 功能特点： - 从CSV数据中删除第一行（表头） - 删除多个表头行 - 删除表头前跳过空行 - 保持数据完整性 - 支持多种CSV分隔符 - 删除前预览 - 数据验证选项 - 批量处理能力 常见用途： - 为数据库导入准备数据 - 清理API响应数据 - 从导出文件中移除元数据 - 为机器学习创建无表头数据 - 为不使用表头的系统准备数据 - 从结构化文件中提取纯数据值
- [CSV 行去重工具](https://test.elysiatools.com/zh/tools/csv-deduplicate-rows): 支持上传 CSV 或直接粘贴 CSV 文本，按精确或模糊规则去重，并导出清洗后的 CSV。
- [数据去重工具](https://test.elysiatools.com/zh/tools/data-deduplicator): 基于多列组合移除重复记录
- [数据范围限制器](https://test.elysiatools.com/zh/tools/data-range-limiter): 将数值限制在指定范围内，通过裁剪、过滤或标记越界值。完美用于数据质量控制、传感器数据清洗、业务规则执行和数据预处理。 功能特点： - 范围裁剪（将值裁剪到最小/最大边界） - 范围过滤（移除越界行） - 范围标记（标记修改的值） - 每列范围配置 - 自动数值列检测 - 多种处理策略 - 详细修改报告 - 变更统计分析 - 业务规则执行 常见用途： - 传感器数据验证和清洗 - 机器学习输入准备 - 数据质量控制和验证 - 业务约束执行 - 异常值管理和控制 - 数据预处理管道
- [Z-Score标准化工具](https://test.elysiatools.com/zh/tools/data-zscore-normalizer): 使用Z-Score（标准分数）标准化数值数据，使数据均值为0，标准差为1。完美用于统计分析、机器学习特征预处理、异常检测和不同尺度数据比较。 功能特点： - Z-Score标准化（均值=0，标准差=1） - 稳健Z-Score选项（使用中位数和MAD） - 自定义缩放到目标范围 - 多列选择 - 自动数据类型检测 - 智能处理缺失值 - 保留非数值列 - 综合统计摘要 - 异常值检测和报告 常见用途： - 机器学习特征准备 - 统计假设检验 - 异常值检测和移除 - 不同单位数据比较 - 主成分分析（PCA）预处理
- [边界值处理器](https://test.elysiatools.com/zh/tools/data-boundary-processor): 高级边界值处理工具，用于识别和处理数值数据中的最小值和最大值。完美适用于数据验证、范围检查、统计分析和数据预处理。 功能特点： - 多种边界检测方法（绝对值、百分位数、标准差） - 灵活处理策略（裁剪、删除、替换、变换） - 自定义范围验证 - 非对称边界处理 - 批量处理能力 - 综合边界统计 - 数据质量评估 - 可视化边界报告 常见用途： - 数据验证和质量控制 - 传感器数据范围检查 - 金融数据限制执行 - 统计数据预处理 - 机器学习特征工程 - 数据库约束验证

## 示例

- [重复行示例](https://test.elysiatools.com/zh/samples/text-duplicate-line-samples): 用于测试重复行移除工具的各种重复行类型的示例文件
- [正则替换示例](https://test.elysiatools.com/zh/samples/regex-replace): 用于文本转换和数据清洗的常用正则替换模式集合
- [Windows 字符串处理 - C# 示例](https://test.elysiatools.com/zh/samples/windows-string-processing-csharp): Windows平台C#字符串处理示例，包括字符串操作、分割、连接、正则表达式和文本分析
- [CSV示例](https://test.elysiatools.com/zh/samples/csv-samples): 各种数据类型、大小和复杂度级别的CSV示例文件

## 相关内容

- [表格数据的清洗、整形与归一化](https://test.elysiatools.com/zh/hubs/tabular-data-cleanup-and-normalization): 把杂乱的表格数据做成可分析的——合并各源表为一张、剥掉破坏列匹配的 BOM 字符、只留要用的列、修拼写统一格式、按既定策略而非慌乱处理离群值、缩放或标准化数值，最后做范围限幅并给出交叉汇总表。
