Elysia Tools

在一个清晰的工作台里浏览工具、案例、可视化和主题指南。

热门分类

专题

语言
ZHDERUPTENFRES

Elysia Tools

导航

Workflow Playbook

分类数据集分层拆分、泄漏复核与交付

审查独立分类记录,固定随机种子与输入版本进行分层拆分,核对类别覆盖和泄漏风险,交付可追溯的训练、验证与测试数据。

该专题暂未做成一键运行模板。查看可运行专题 →

从这里开始

第一次接触这个流程?按步骤顺序来,从下面第一个工具开始。已经知道自己需要什么?直接跳到对应的步骤——本流程用到的全部工具都在下面的对比表里。

第一个工具: CSV 校验器

专题

本流程用到的工具对比

工具用来做什么分类
CSV 校验器校验 CSV 结构,检测畸形行、引号不配对和列数不一致Data Processing
数据质量画像师对 CSV 或 JSON 数据集进行质量画像,识别缺失值、重复行、格式漂移、类型推断和数值异常。Data Analysis
CSV数据分组器按指定列对CSV数据进行分组,支持聚合选项。非常适合按类别、日期或其他标准来总结和分析大型数据集。Data Processing
CSV列选择器通过列名或索引从CSV数据中选择特定列。非常适合从包含许多列的大型CSV文件中提取相关数据。Data Processing
CSV 行去重工具支持上传 CSV 或直接粘贴 CSV 文本,按精确或模糊规则去重,并导出清洗后的 CSV。Data Processing
文件哈希校验器计算文件的MD5/SHA1/SHA256哈希值,并与期望哈希值进行校验

专题

继续浏览相邻主题专题

Utilities
训练/测试集分层切分器读取 CSV/JSON 数据集,按目标列做分层抽样的 train/validation/test 切分(默认 70/15/15,随机种子可复现),或分层 k 折交叉验证;输出每折类别分布报告与偏差条、重复行泄漏检查、SMOTE 过采样预览(仅在训练折上做最近邻插值),并可导出各折 CSV 为 ZIP。Data Analysis
数据集不平衡检测与重采样检测 CSV 或 JSON 数据集中的类别不平衡,对比重采样策略,并预览平衡后的输出数据集Data Analysis

先定义预测单位,再选择随机种子

本工作流面向准备分类实验的数据分析师,交付边界是已批准的训练、验证、测试文件与可复现审查台账,不训练模型,也不认证数据没有偏差。先明确一条观测代表什么,以及预测时点真实可获得哪些信息。同一患者、用户、源文档、家庭或有先后关系的结果,不会因为占据不同数据行就变得独立。必须按主体或时间隔离时,应停止当前路线并使用合适的外部拆分方式;本工具没有分组或时间拆分控件。

确认上传授权,在保留受控来源映射的前提下删除不必要的敏感信息。检查缺失值、标签拼写和类别计数,空标签应先处理,不能悄悄变成一个新类别。拆分前校验实际 CSV:拆分器可能把短行补空、把超出表头宽度的单元格截掉。表头含糊或记录损坏时应先解决,成功导出不等于原字段全部保留。

类别计数时,给 CSV 分组器使用经过单独核对的简单标签单列表,不直接传入含多行特征文本或分隔符引号标签的复杂 CSV。它的解析器较基础;标签必须依赖复杂引号规则时,应改用适合的外部读取器并核对总数,不能为了适配解析而改名或合并标签。

审查重复,但不要删掉核对依据

用列选择器明确特征和标签结构,保留不参与预测的稳定记录键;不能上传该键时,另存经过授权的来源映射。唯一 ID 用来核对成员,不是模型输入。重复审查应在独立工作副本中对相关内容比较,避免唯一 ID 掩盖相同内容,同时保留每条记录的来源追溯。去重工具会删行,不应处理唯一原件,也不能自动接受模糊匹配。

重复测量可能是合法观测,此时问题往往是按行拆分不适用,而不是需要删除。相同内容标签冲突要判定原因,不能随意保留一条。确认属于意外副本后再在拆分前删除,记录保留键与理由。不要用全量数据拟合缺失值填补、缩放、特征选择或平衡策略;标签政策与固定入选条件先经批准,需要学习的变换只在训练数据上拟合。

冻结精确输入,核对真实分配

计算清理后精确输入的哈希,记录顺序、选定字段、目标列、工具版本、模式、比例、种子及分层和打乱设置。种子不能复现已经变化的输入或不同库的结果。本实现使用自己的随机数生成器,与 scikit-learn 种子相同也不代表成员相同。标准模式的测试比例是训练与验证之外的余量,要看真实整数分配,而不只看请求百分比。

例如独立的 100 条记录中两类分别为 80 与 20,70/15/15 方案可以把小类分为 14/3/3;但仅有两条记录的类别不可能覆盖三个子集。不能为了消除告警就合并科学含义不同的标签或关闭分层。可选分层 k 折生成训练验证对,各折训练成员相互重叠是正常现象,但每对内部必须隔离验证成员;该模式不生成独立最终测试集。

核对成员,封存评估数据再交付

下载并检查 ZIP,标准模式包括 train.csv、validation.csv、test.csv 和 split_report.json。重新统计类别,对照已批准输入核对来源键;标准拆分中每条入选原始记录应恰好出现一次,不能有未解释的遗漏或交叉。内置告警比较整行,唯一 ID 或轻微编辑会掩盖等价特征;主体、近副本和未来派生信息必须单独检查。JSON 报告不是完整的成员或跨集泄漏台账,还需留存页面告警和外部检查记录。

评估集保持原样,不平衡工具只接收训练副本;交叉验证实验则在每个训练折内部处理。拆分工具的 SMOTE 选项只是数值特征预览,不会把合成例子写进导出的拆分 CSV。整数编码和 ID 能解析为数字,也不代表适合连续插值。任何获批重采样都作为独立实验,不能通过改造测试分布让结果变好。校验并计算最终 CSV 哈希,本地留存文件、审查记录及未解决风险,记录键不得进入模型特征。来源、顺序或参数变化时建立新审核版本;统计分析和更广泛清理转入相关工作流。

开始前准备

  • 确认数据上传权限,明确预测目标与预测时点,保留原始提取件及稳定的记录到来源映射。
  • 先判断记录是否独立,识别重复主体、关联文档、时间顺序与近重复来源,再决定是否采用按行拆分。
  • 约定标签含义、类别覆盖要求、比例和评估集封存规则;准备记录输入版本、工具版本、参数及审核决定的本地台账。

工作流指南

交付可审计的分类数据划分,不把分层比例正确误当成没有数据泄漏

  1. 1

    检查数据并判断适用性

    校验 CSV 结构,分析缺失标签并按类别计数。核对预测单位和时间;若必须按主体或时间隔离而无法执行,应停止此路线。

  2. 2

    批准字段与重复处理

    选择特征和标签字段,同时保留非特征记录键或外部映射。用实际内容审查重复候选,不能只看唯一 ID;只删除确认的意外重复并留下决定。

  3. 3

    冻结输入并生成拆分

    对精确输入计算哈希,记录顺序与全部参数。执行固定种子的标准分层划分,导出 ZIP 并核对实际数量;可选 k 折只产生训练验证对,不提供独立最终测试集。

  4. 4

    复核成员与训练集备选方案

    重新统计标签、核对成员、检查告警及主体和内容交叉。评估集保持不变,只用训练副本比较不平衡策略;将 SMOTE 标为预览,不能当成已导出的增强训练数据。

  5. 5

    验证并归档交付

    校验每份最终 CSV,核对字段、数量和已批准成员。为精确文件计算哈希,本地保存文件、split_report.json 与独立复核记录;来源或参数改变后重新审批。

选择正确路径

这些行足够独立吗?

只有能合理说明记录独立时才采用此流程。同一用户多次记录、关联文档或未来预测可能需要工具外的分组或时间拆分;打乱和固定种子不建立这些边界。

每个类别样本够吗?

看实际类别数量,不只看比例。通过输入检查仍可能有类别在某个子集消失;应补充数据或修订评估方案,而不是关闭分层来消除告警。

保留训练分布还是尝试重采样?

先保留未经重采样的训练基线。仅在训练集或每个训练折内比较平衡策略,不处理全量数据或评估集;预览不证明模型效果提高。

完成标准

  • 已批准输入的行数、唯一有效表头、缺失标签处理与重复记录决定均明确,并有按行分层适用性的依据。
  • 记录输入哈希、顺序、选定列、精确目标列、种子、模式、比例及打乱和分层开关;实际子集数量和类别覆盖满足已批准方案。
  • 训练、验证、测试的来源成员已核对,没有未解释的交叉或遗漏;主体、近重复特征和时间风险在内置整行检查外另有复核证据。
  • 交付 CSV 能按预期列与行数解析,具有独立 SHA-256,并附拆分报告、成员台账、告警、人工批准及单独标记的训练集实验。
专题

数据质量与异常调查工作流

对表格数据做质量剖析,识别重复、缺失、参照断裂、离群和值班时序异常,并把发现整理成可辩护的质量证据。

专题

表格数据的清洗、整形与归一化

把杂乱的表格数据做成可分析的——合并各源表为一张、剥掉破坏列匹配的 BOM 字符、只留要用的列、修拼写统一格式、按既定策略而非慌乱处理离群值、缩放或标准化数值,最后做范围限幅并给出交叉汇总表。

专题

统计分析、检验与分布计算工具

汇总数值数据、衡量离散程度、比较组间差异、计算概率和置信区间,并用相关与回归分析变量关系。

首页
工具3212
案例593
可视化471
文件查看器103
专题239
标签333
图像、音频与视频657

图像、音频、视频处理、转换与优化工具

数学、日期与金融647

计算器、数值计算、日期逻辑、统计与金融工具

设计与颜色298

颜色、版式、图形、视觉样式与设计辅助工具

文本与写作209

写作、清洗、格式化、提取与文本分析工具

开发与 Web193

开发者工具、网络处理、Web 调试与自动化辅助工具

转换与编码175

格式、文件、压缩包、单位与编码转换工具

潜客测验发布与联系人交接
讣告、悼词与纪念卡的家属复核及交付
本地习惯记录的备份、恢复演练与分享前检查
长文改编 X 串文与 LinkedIn 帖子的事实复核与交付
Markdown 互动课件审校、离线演示与交付

© 2026 Elysia Tools. 保留所有权利。

文档价格关于我们服务条款隐私政策Cookie 政策联系我们

Data Processing

CSV 校验器

校验 CSV 结构,检测畸形行、引号不配对和列数不一致

Data Analysis

数据质量画像师

对 CSV 或 JSON 数据集进行质量画像,识别缺失值、重复行、格式漂移、类型推断和数值异常。

Data Processing

CSV数据分组器

按指定列对CSV数据进行分组,支持聚合选项。非常适合按类别、日期或其他标准来总结和分析大型数据集。

Data Processing

CSV列选择器

通过列名或索引从CSV数据中选择特定列。非常适合从包含许多列的大型CSV文件中提取相关数据。

Data Processing

CSV 行去重工具

支持上传 CSV 或直接粘贴 CSV 文本,按精确或模糊规则去重,并导出清洗后的 CSV。

Utilities

文件哈希校验器

计算文件的MD5/SHA1/SHA256哈希值,并与期望哈希值进行校验

Data Analysis

训练/测试集分层切分器

读取 CSV/JSON 数据集,按目标列做分层抽样的 train/validation/test 切分(默认 70/15/15,随机种子可复现),或分层 k 折交叉验证;输出每折类别分布报告与偏差条、重复行泄漏检查、SMOTE 过采样预览(仅在训练折上做最近邻插值),并可导出各折 CSV 为 ZIP。

Data Processing

CSV数据分组器

按指定列对CSV数据进行分组,支持聚合选项。非常适合按类别、日期或其他标准来总结和分析大型数据集。

Data Analysis

数据集不平衡检测与重采样

检测 CSV 或 JSON 数据集中的类别不平衡,对比重采样策略,并预览平衡后的输出数据集

Data Analysis

训练/测试集分层切分器

读取 CSV/JSON 数据集,按目标列做分层抽样的 train/validation/test 切分(默认 70/15/15,随机种子可复现),或分层 k 折交叉验证;输出每折类别分布报告与偏差条、重复行泄漏检查、SMOTE 过采样预览(仅在训练折上做最近邻插值),并可导出各折 CSV 为 ZIP。

Data Processing

CSV 校验器

校验 CSV 结构,检测畸形行、引号不配对和列数不一致

Utilities

文件哈希校验器

计算文件的MD5/SHA1/SHA256哈希值,并与期望哈希值进行校验