Elysia Tools

在一个清晰的工作台里浏览工具、案例、可视化和主题指南。

热门分类

专题

语言
ZHDERUPTENFRES

Elysia Tools

导航

Data Analysis

Nemenyi 临界差与 Friedman 排名图

· 最后更新:2026-08-26

Friedman 与 Iman-Davenport 检验(精确 p 值)、平均排名、Nemenyi 临界差与经典 CD 图(含无显著差异 clique),另可叠加对对照模型的 Bonferroni-Dunn。

执行

运行这个工具

填写表单、运行工具,并在同一页面查看结果。

案例

与这个工具匹配的案例

相关内容

继续查看相关工具与专题

由 Elysia Tools 团队编写

工具使用指南

详细了解工具的适用范围、支持能力及用户案例。

关键事实

分类
Data Analysis
输入类型
textarea, select, text
输出类型
html
案例覆盖
4
API 可用
是

概览

Nemenyi 临界差与 Friedman 排名图工具专为多算法在多数据集上的基准评估设计,可自动计算 Friedman 与 Iman-Davenport 检验统计量、各模型平均排名,并生成符合 Demšar 规范的临界差(CD)图及无显著差异分组连线,支持 Nemenyi 全两两对比与面向基线模型的 Bonferroni-Dunn 事后检验。

适用场景

  • 在多个基准数据集上对比 3 个及以上算法的分类或回归性能并需要严谨统计检验时。
  • 撰写学术论文或技术报告,需要绘制包含无显著差异 clique 连线的 Demšar CD 排名图时。
  • 评估新算法相较于既有基线对照模型(Control Baseline)是否存在统计学显著改进时。

使用方式

  1. 1输入包含数据集名称与各模型表现的得分矩阵(CSV 格式),并设定指标评价方向(越大越好或越小越好)。
  2. 2配置显著性水平 α(0.05 或 0.10)及事后检验方法(Nemenyi 全两两检验或针对基线的 Bonferroni-Dunn 检验)。
  3. 3系统按行计算模型排名,执行 Friedman 与 Iman-Davenport 假设检验以计算统计量与精确 p 值,并求得临界差 CD。
  4. 4自动生成平均排名表、成对比较显著性结论及可视化的 CD 排名图,并用横线连结无显著差异的模型组(cliques)。

常见用途

  • 学术论文基准对比:汇总多分类模型在公开数据集上的准确率或 AUC,一键输出标准 Demšar CD 图。
  • 工业模型选型评估:在多个业务测试集上横向对比多个候选模型的综合性能与统计稳定性。
  • 算法迭代回归验证:指定当前线上版本为对照模型,通过 Bonferroni-Dunn 检验确认新版本算法的提升是否显著。

示例

1. 多分类算法在基准数据集上的两两显著性评估

机器学习研究员

背景

在 12 个公开数据集上测试了 AdaBoost、SVM、kNN 与 C4.5 四种分类算法的准确率,需证明算法间是否存在显著性能差异并绘制图表。

问题

需要计算各模型平均排名、执行 Friedman 检验并生成标明无显著差异连线(cliques)的 Demšar CD 图。

如何使用

在得分矩阵中填入 12 个数据集与 4 种算法的准确率,指标方向选择“越大越好”,事后检验选择“Nemenyi”,显著性水平设为 0.05。

matrix: dataset, AdaBoost, SVM, kNN, C4.5\nd1, 0.95, 0.83, 0.76, 0.69\n...\nd12, 0.94, 0.75, 0.82, 0.68\ndirection: higher\nalpha: 0.05\nposthoc: nemenyi

结果

成功输出 Friedman 与 Iman-Davenport 统计量(p < 0.001),得到 CD = 0.957,并生成 AdaBoost 显著领先、SVM 与 kNN 形成连线 clique 的 CD 排名图。

2. 挑战者模型对比基线模型的 RMSE 显著性检验

算法工程师

背景

团队开发了 ChallengerA 与 ChallengerB 两个回归模型,在 8 个业务测试集上测试 RMSE,需验证它们是否显著优于现有 Baseline。

问题

RMSE 指标越小越好,且仅需对比两个新模型与 Baseline 的差异,无需进行所有模型间的多重全比较。

如何使用

输入 8 个数据集的 RMSE 数据,指标方向选择“越小越好”,检验方法选择“Bonferroni-Dunn”,并在对照模型栏填写“Baseline”。

matrix: dataset, Baseline, ChallengerA, ChallengerB\nd1, 0.152, 0.141, 0.149\n...\nd8, 0.158, 0.148, 0.144\ndirection: lower\nalpha: 0.05\nposthoc: bonferroni-dunn\ncontrol: Baseline

常见问题

输入的得分矩阵需要遵循什么格式?

采用 CSV 文本格式,第一行为表头(第一列为数据集列名,其余为各模型名称),后续每行为对应数据集上的数值得分。

指标方向“越大越好”与“越小越好”对计算有何影响?

指标方向决定了单数据集内排名的升降序规则,例如准确率越高排名越前(数字越小),而 RMSE 越低排名越前。

何时应该选择 Bonferroni-Dunn 而非 Nemenyi 检验?

当只需检验所有新模型与一个特定对照模型(Baseline)的差异时选择 Bonferroni-Dunn;当需要分析所有模型相互之间的两两差异时选择 Nemenyi。

CD 图中的横线连线(Clique)代表什么含义?

被同一横线连结的模型表示其平均排名差异小于临界差 CD,在设定的显著性水平 α 下差异不具有统计显著性。

工具中 Iman-Davenport 检验的作用是什么?

Iman-Davenport 检验是对经典 Friedman 卡方统计量的 F 分布修正,克服了原检验在数据集或模型数量较少时过于保守的缺陷。

首页
工具3212
案例593
可视化471
文件查看器103
专题239
标签333
图像、音频与视频657

图像、音频、视频处理、转换与优化工具

数学、日期与金融647

计算器、数值计算、日期逻辑、统计与金融工具

设计与颜色298

颜色、版式、图形、视觉样式与设计辅助工具

文本与写作209

写作、清洗、格式化、提取与文本分析工具

开发与 Web193

开发者工具、网络处理、Web 调试与自动化辅助工具

转换与编码175

格式、文件、压缩包、单位与编码转换工具

潜客测验发布与联系人交接
讣告、悼词与纪念卡的家属复核及交付
本地习惯记录的备份、恢复演练与分享前检查
长文改编 X 串文与 LinkedIn 帖子的事实复核与交付
Markdown 互动课件审校、离线演示与交付

© 2026 Elysia Tools. 保留所有权利。

文档价格关于我们服务条款隐私政策Cookie 政策联系我们
Python

Web Python 图像处理示例

Web Python 图像处理示例,使用 PIL/Pillow 包括读取、保存、缩放和格式转换

Java

Android Java 图像处理示例

Android Java 图像处理示例,包括图像读取保存、缩放和格式转换

Kotlin

Android Kotlin 图像处理示例

Android Kotlin 图像处理示例,包括图像读取保存、缩放和格式转换

Rust

Web Rust 图像处理示例

Web Rust 图像处理示例,包括图像读取保存、缩放和格式转换

Data Analysis

峰度分析器

分析数据峰度来衡量分布的"尾部性"并检测重尾或轻尾模式

Data Analysis

相关性分析器

高级相关性分析工具,计算变量之间的相关系数以衡量它们线性关系的强度和方向。完美适用于统计分析、金融建模、科学研究和数据探索。 功能特点: - 多种相关性方法(皮尔逊、斯皮尔曼、肯德尔) - 相关性矩阵生成 - 统计显著性检验(p值) - 置信区间计算 - 热图可视化 - 散点图矩阵生成 - 缺失值处理策略 - 异常值检测和处理 - 分组分析能力 - 详细统计报告 常见用途: - 金融市场分析和风险评估 - 科学研究和假设检验 - 客户行为和营销分析 - 医疗和医疗数据分析 - 质量控制和流程优化 - 教育绩效评估

Data Analysis

数据透视表生成器

从CSV/JSON数据生成交互式数据透视表,支持自定义行、列和值字段配置

Data Analysis

回归分析器

高级回归分析工具,执行线性回归分析、计算回归统计量和进行预测。完美适用于统计建模、趋势分析、预测和理解变量之间的关系。 功能特点: - 简单线性回归(y = mx + b) - 多元线性回归支持 - 回归系数计算 - 统计显著性检验 - R平方和调整R平方 - 残差分析和诊断 - 预测区间和置信区间 - 回归中的异常值检测 - 模型验证指标 - 可视化回归诊断 - 数据转换支持 常见用途: - 销售预测和趋势分析 - 金融建模和风险评估 - 科学研究和假设检验 - 质量控制和流程优化 - 营销分析和投资回报率分析 - 医学和生物研究

结果

生成基于 Baseline 的 Bonferroni-Dunn 临界差范围与成对显著性判定,图表直观展示两个挑战者模型均显著优于 Baseline。