Skills Design & Creative Reproducibility Checklist for Graphics Papers

Reproducibility Checklist for Graphics Papers

v20260724
jcadcg-reproducibility
This guide provides a comprehensive checklist and systematic approach for enhancing the reproducibility of research in Computer Graphics and CAD. It addresses the inherent sensitivity of graphics and geometry results to environment variables, random seeds, rendering parameters, and data versions, ensuring that published results can be reliably replicated by reviewers and readers.
Get Skill
110 downloads
Overview

《计算机辅助设计与图形学学报》可复现性与实验可重复

本技能帮助为《计算机辅助设计与图形学学报》(Journal of Computer-Aided Design & Computer Graphics, JCAD&CG) 提升可复现性。本刊是 CCF A 类图形学/CAD 方向中文月刊,图形与几何结果对 环境、随机性与渲染管线高度敏感,"换台机器就复现不出"是常见风险。本技能把可复现动作沉淀为 清单,衔接 resources/code/README.md。核验见 resources/official-source-map.md (2026-07-09)。本刊是否有强制代码/数据可用性要求属 待核实,本技能给出无论政策 如何都应做到的自律标准。

一、图形学可复现的特殊性

图形/几何结果的可复现比一般机器学习更"脆",需额外固定:

  • 随机种子:采样、初始化、数据增强的随机源。
  • 硬件与驱动:GPU 型号、驱动、CUDA/图形 API 版本(浮点与光栅化差异会影响像素级指标)。
  • 渲染器/几何库版本:渲染管线、几何处理库(如网格库)版本;不同版本结果可能不同。
  • 渲染参数:采样数、光照、相机内外参、分辨率、色彩空间/gamma。
  • 数据集版本:网格/点云/纹理/视频的具体版本与预处理。

二、复现包结构(建议)

repro/
  README.md            # 一键复现说明、硬件与耗时
  requirements.txt     # 依赖与精确版本
  scripts/run_all.sh   # 从零到主结果表图
  configs/             # 每个实验的配置(种子/参数)
  data/README.md       # 数据获取方式(稳定托管链接) + 预处理
  results/             # 复现产物(渲染帧、误差、指标)

三、复现包冒烟测试

投稿前在干净环境跑一次:

python3 -m venv .venv && . .venv/bin/activate
pip install -r requirements.txt
bash scripts/run_all.sh
# 人工比对 results/ 与论文表6/图3、渲染帧、几何误差色图

要点:记录 GPU/驱动/渲染器版本与端到端耗时;把大数据(网格/纹理/视频)走稳定托管而非塞进 仓库。

四、指标计算的可复现

  • 几何误差(Chamfer/Hausdorff)、渲染质量(PSNR/SSIM/LPIPS)的计算脚本随包提供,说明 对齐方式、掩码、采样点数——这些细节直接决定数字可比性。
  • 论文图中的渲染帧应能由脚本重现;演示视频与正文数字口径一致。

五、数据与模型托管

  • 大数据/预训练模型用可分配 DOI 的归档(如 Zenodo 类) 或代码仓库 release,固定版本/ commit;避免"链接失效"。
  • 私有/受限数据说明获取途径与替代核验方式(如提供子集或合成数据)。
  • 数据许可与来源合规;第三方数据集注明出处与版本。

六、可复现自查清单

  • 固定随机种子并在配置中记录。
  • 记录 GPU/驱动/图形 API/渲染器/几何库版本与耗时。
  • 锁定数据集版本与预处理;大数据稳定托管。
  • 固定渲染参数(采样/光照/相机/分辨率/色彩空间)。
  • 提供指标计算脚本并说明对齐/掩码。
  • 干净环境跑通 run_all,产物对上论文表图。
  • 可用性声明与实际提供制品一致(见 jcadcg-artifact-evaluation)。

七、常见复现失败对照

问题 后果 修正
未固定种子/驱动 像素级指标复现不出 记录并固定全部随机与环境源
渲染参数缺失 渲染图不可重现 配置中固化相机/光照/采样
指标脚本未提供 数字不可比 随包提供计算脚本与口径
大数据塞仓库/链接失效 无法获取 稳定托管 + 固定版本
声明与制品不符 诚信风险 声明与实际一致,注明受限项

八、环境与参数记录清单(图形学专用)

把下列项写入复现包的 README/配置,是图形学论文可复现的最低门槛:

类别 需记录
硬件 GPU 型号与显存、CPU、内存
驱动/API GPU 驱动版本、CUDA/图形 API(OpenGL/Vulkan/DirectX/Metal)版本
软件 操作系统、Python/编译器版本、关键库(渲染器/几何库/深度学习框架)精确版本
随机 全局种子、各随机源(采样/初始化/增强)种子
渲染 相机内外参、光照、采样数、分辨率、色彩空间/gamma、渲染器设置
几何 网格分辨率、预处理(归一化/去重/修复)、误差计算采样点数
数据 数据集名称与版本、划分、预处理脚本
耗时 各主实验端到端时间、峰值显存

九、几何/渲染结果的容差与判定

  • 像素级/浮点级结果在不同硬件上可能有微小差异,属正常;在 README 中说明可接受容差 (如 PSNR 波动 < 0.1dB、几何误差相对差 < 1%),避免"数字不完全一致=复现失败"的误判。
  • 对确定性要求高的步骤(如几何拓扑操作)应尽量保证可复现;随机步骤报告多次运行统计而非单次。
  • 提供基准结果文件(reference results)供比对,脚本自动 diff 关键指标并给出通过/失败提示。

十、可复现的分级目标

级别 目标 说明
L1 结果可查 提供论文表图对应的结果文件 最低要求,便于核对
L2 可重跑 提供代码 + 配置,能重跑主结果 本技能的基本目标
L3 可复用 文档完善、接口清晰,他人可用于新数据 提升影响力

争取达到 L2 以上;若受限(如私有数据),至少 L1 并说明替代核验途径。

十一、与制品/投稿技能的衔接

  • 可复现产物打包与可用性声明 → jcadcg-artifact-evaluation;演示视频归属 → jcadcg-supplementary
  • 投稿前把复现包与稿件一并做双盲匿名核查 → jcadcg-submission;实验口径一致性 → jcadcg-experiments

十二、输出格式

[JCAD&CG 可复现] 就绪 / 需加强
[环境] 种子/GPU/驱动/渲染器/几何库版本已记录?(是/否)
[数据] 数据集版本锁定?大数据稳定托管?(是/否)
[渲染] 相机/光照/采样/分辨率固定?(是/否)
[指标] 计算脚本随包 + 对齐说明?(是/否)
[冒烟] 干净环境 run_all 通过、产物对上表图?(是/否)
[声明一致] 可用性声明与实际制品一致?(是/否 / 待核实政策)
[待办] <逐条列出需补的复现项>
Info
Name jcadcg-reproducibility
Version v20260724
Size 6.98KB
Updated At 2026-07-28
Language