Skills Engineering Robust Experimental Design for Graphics and CAD

Robust Experimental Design for Graphics and CAD

v20260724
jcadcg-experiments
A comprehensive guide for structuring robust, peer-review-proof experiments for journals focusing on Computer Graphics and CAD. It guides users on moving from research questions to actionable evidence, covering geometric metrics (Chamfer, Hausdorff), rendering quality, ablation studies, and mandatory visual evidence presentation to ensure scientific rigor.
Get Skill
138 downloads
Overview

《计算机辅助设计与图形学学报》实验设计与呈现

本技能帮助为《计算机辅助设计与图形学学报》(Journal of Computer-Aided Design & Computer Graphics, JCAD&CG) 搭建经得起外审的图形与几何证据。本刊是 CCF A 类图形学/CAD 方向中文月刊, 外审专家对图形证据(渲染质量、几何精度、可视化有效性、用户研究)的要求高于纯榜单分数: 每条主张都应绑定到可验证的图形/几何证据。核验见 resources/official-source-map.md (2026-07-09)。

一、从研究问题(RQ)出发

先把贡献拆成可检验的 RQ,例如:

  • RQ1:本方法在相同面片预算下几何误差是否低于最强基线?
  • RQ2:渲染质量(时序稳定性)是否更好?
  • RQ3:各模块(如特征项、穿透检测)各自贡献多少?(消融)
  • RQ4:开销(时间/显存)是否可接受?

每个 RQ 对应一组实验与一张表/图,结论与 RQ 一一对应。

二、图形学/CAD 常用评测指标

方向 常用指标
几何处理 Chamfer 距离、Hausdorff 距离、法向误差、体积/面积保持、特征保持率
渲染/图像合成 PSNR、SSIM、LPIPS、FID(生成)、时序稳定性、真实感主观评分
CAD/CAE/CAM 约束满足度、仿真精度、制造可行性、参数灵敏度
可视化/可视分析 任务完成时间/正确率、可扩展性、认知负荷(如 NASA-TLX)
VR/AR/MR 延迟、帧率、沉浸感/舒适度量表(如 SSQ 晕动)、交互效率
图像视频处理 定量指标 + 视觉对比、鲁棒性

报告指标时说明计算脚本、掩码、对齐方式,避免口径不一致导致的不可比。

三、公平比较的纪律

  • 相同预算/相同设置:面片预算、采样数、算力、训练数据、分辨率一致;否则注明并解释。
  • 最强可得基线:纳入相关工作中点名的强方法,不回避、不只比弱基线。
  • 多次运行:涉及随机性的方法报告均值±标准差(如 5 次),并说明种子。
  • 统计显著性:适用时用配对检验(如 p<0.05),尤其用户研究。

四、图形证据的呈现(本刊尤重)

  • 渲染对比图:并排展示本方法/基线/GT,统一视角、光照、分辨率、裁剪;标注关键差异区域 (放大框)。
  • 几何误差色图:用 colormap 可视化逐点误差,给出色标范围与单位。
  • 消融图表:逐个去掉模块,量化贡献。
  • 失败案例:诚实展示局限(如极端薄壁、异常输入),增强可信度。
  • 演示视频:动态结果(动画/交互/时序)用视频补充静态图无法体现的稳定性。

五、用户研究(可视化/VR/交互常见)

  • 说明被试人数、招募、任务设计、独立/被试内设计、量表
  • 报告统计口径与显著性;材料(问卷)去标识随补充材料提交。
  • 遵守伦理与知情同意;不泄露被试身份。

六、实验自查清单

  • 每个 RQ 有对应实验与结论,一一对应。
  • 指标选取贴合方向(几何/渲染/可视化/交互),计算脚本可复现。
  • 基线为最强可得、设置相同预算;差异已注明。
  • 随机性方法报告均值±标准差与种子;适用时有显著性检验。
  • 有渲染对比 + 几何误差色图 + 消融 + 开销(时间/显存)。
  • 诚实展示失败案例与局限。
  • 用户研究(若有)人数/设计/统计/伦理到位。

七、常见实验缺陷对照

缺陷 后果 修正
只有指标无视觉对比 外审质疑图形质量 补渲染对比与误差色图
基线不公平(不同预算) 结论被推翻 统一预算或明确说明
单次运行报最优 不可信 多次运行报均值±标准差
缺消融 贡献归因不清 逐模块消融
不报开销 实用性存疑 报时间/显存/可扩展性
回避失败案例 显得掩饰 诚实展示并解释

八、数据集与基准的选择

图形学/CAD 实验的说服力很大程度取决于数据与基准选得是否有代表性:

  • 覆盖多样性:几何处理选不同拓扑/尺度/噪声的模型;渲染选不同材质/光照/场景;CAD 选 不同复杂度的零件/装配。
  • 公开可得优先:尽量用领域公认的公开数据集/模型库,便于他人比较;自建数据说明构建 方式并尽量公开。
  • 规模适当:模型/场景数量足以支撑统计结论,避免"三个模型看着不错"。
  • 难例覆盖:纳入已知困难情形(薄壁、尖锐特征、遮挡、高噪声),检验鲁棒性。

九、结果表与图的呈现规范

呈现 规范
定量表 最优值加粗、次优可标注;同列同口径;给出均值±标准差与样本数
渲染对比图 统一视角/光照/分辨率/裁剪;标注方法名与关键差异放大框
几何误差色图 统一 colormap 与色标范围;标注单位;黑白可辨
消融图 逐模块去除对照;用同一指标定量呈现
开销图 时间/显存随规模变化曲线;标注硬件

十、把主张绑定到证据(自问三句)

  1. 我的每一条贡献主张,是否有一张具体的表或图直接支撑?
  2. 支撑证据的设置是否公平(相同预算、最强基线、相同数据划分)?
  3. 若审稿人质疑,我能否用新增图形证据(而非文字辩解)回应?(见 jcadcg-author-response)

十一、实验伦理与诚信

  • 不选择性报告(cherry-picking):展示代表性而非仅最优样例;失败案例照实给出。
  • 不隐藏不利指标(如开销大、某设置下变差);在局限中如实讨论。
  • 用户研究遵守知情同意与去标识;统计方法与多重比较校正如实说明。
  • 指标计算脚本与数据随复现包提供,保证可核验(见 jcadcg-reproducibility)。

十二、输出格式

[JCAD&CG 实验] 就绪 / 需加强
[RQ→证据] RQ1__→表/图__;RQ2__→__;RQ3(消融)__→__;RQ4(开销)__→__
[指标] 几何:__ 渲染:__ 可视化/交互:__(计算脚本可复现?是/否)
[公平性] 相同预算?最强基线?多次运行±std?显著性检验?(是/否)
[图形证据] 渲染对比/误差色图/消融/失败案例/演示视频(齐否)
[用户研究] 人数__ 设计__ 统计__ 伦理__(若无标注 N/A)
[待办] <逐条列出需补实验/证据>
Info
Category Engineering
Name jcadcg-experiments
Version v20260724
Size 6.99KB
Updated At 2026-07-28
Language