技能 数据科学 学术论文代码数据可复现性准备

学术论文代码数据可复现性准备

v20260724
jcrd-artifact-evaluation
本技能提供了一套完整的学术论文代码与数据可用性(Reproducibility)的最佳实践指南。它指导用户如何为投稿准备可供审稿人核验的材料,涵盖了外审阶段的材料匿名化、撰写诚实可用性说明、规范目录结构、处理数据许可合规,以及录用后永久化归档的流程,确保研究结果的可复现性。
获取技能
365 次下载
概览

《计算机研究与发展》代码与数据可用性 (JCRD Artifact & Data Availability)

本技能帮助为《计算机研究与发展》(Journal of Computer Research and Development, JCRD) 稿件准备 代码与数据可用性材料。需先讲清现状:与部分英文会议不同,JCRD 作为中文期刊并未公开设立独立的 会议式 artifact-evaluation 徽章流程(如 Available/Functional/Reusable 之类的标章)——是否有此 要求以官网当期《投稿须知》为准(待核实)。因此本技能采用可迁移的最佳实践,让代码/数据既能 在双盲外审下被核验,又能在见刊后支撑复现。

一、现状与定位

  • JCRD 的核心是双盲多轮同行评审;代码/数据通常作为可复现性证据随稿或应审稿人要求提供, 而非独立评审对象(待核实当期是否有强制要求)。
  • 因此策略是:主动提供匿名可运行材料 + 诚实可用性说明,把「可复现」变成加分项而非被质疑项。
  • 具体徽章/流程若官网未公开,不臆造;只承诺你能兑现的可用性水平。

二、双盲下的匿名托管

外审阶段材料必须匿名:

# 打包前清除身份痕迹
grep -rniE 'university|@[a-z0-9.]+\.edu|课题组|实验室|作者姓名' artifact/ | head
find artifact/ -name '.git' -o -name '.DS_Store' | head      # 删除 .git 历史与系统文件
unzip -l artifact.zip | grep -Ei '/home/|/Users/|作者' | head
  • 匿名托管服务放代码/数据链接,去除仓库 owner、提交者、个人主页等可反查身份的信息。
  • README 与注释中不写单位、姓名、基金号;截图不含用户名。

三、可用性说明要诚实

在稿件中写一段代码/数据可用性说明

  • 说明提供什么(源码、脚本、预处理数据、模型权重)、在哪里(匿名/实名链接)、如何运行
  • 若因数据敏感/第三方许可不能公开,明确说明原因并给替代(合成样例、部分数据、申请方式)。
  • 避免「可向作者索取」式空头承诺——在双盲下也无法索取,且被视为弱项。

四、目录结构与 README

推荐结构:

artifact/
├── README.md            # 环境、依赖版本、一键运行、预期输出、目录说明
├── env/                 # requirements.txt / environment.yml / Dockerfile
├── data/                # 数据或获取脚本 + 数据说明(来源、许可、版本)
├── src/                 # 源码
├── scripts/             # 复现主结果与消融的脚本(对应论文表/图编号)
└── results/             # 预期输出样例或校验值

README 应让审稿人在不联系作者的前提下跑通主结果,并把脚本与论文中的表/图编号对应

五、许可与合规

  • 代码给明确开源许可(如 MIT/Apache-2.0);数据核对来源许可,第三方数据遵守其使用条款。
  • 涉及人类被试/隐私数据须脱敏并说明合规依据;涉及爬取数据说明合法性与来源。
  • 大模型相关材料记录模型标识与日期,缓存原始输出以保证可复现(见 jcrd-experiments)。

六、录用后永久化

  • 录用后把匿名链接换为实名永久归档(机构仓库或长期可访问地址),与终稿可用性说明一致。
  • 补回许可、作者与致谢信息,见 jcrd-camera-ready

七、专题稿件补充约定

  • 对口专题时,客座编辑或专题可能对补充材料/数据格式有统一约定(待核实当期)——按启事执行。
  • 大数据/系统类专题常期望更完整的可扩展性数据与真实工作负载说明。

八、逐周期复核

  • 官网当期是否对代码/数据可用性有强制要求或推荐(待核实)。
  • 专题的补充材料格式与提交方式(待核实)。

检查清单

  • 外审版材料匿名(无 .git 历史、无身份痕迹、匿名链接)。
  • 可用性说明诚实,提供什么/在哪里/如何运行清晰。
  • README 可让审稿人独立跑通主结果,脚本对应论文图表编号。
  • 数据来源、版本、许可交代清楚,敏感数据脱敏。
  • 录用后链接实名永久化,信息与终稿一致。

九、可用性成熟度分级(自评)

用一个简单分级自评材料成熟度,向更高级推进:

级别 特征 差距
L0 无材料 只在论文里描述 补匿名代码/数据链接
L1 可获取 提供链接但难运行 补 README 与依赖
L2 可运行 能装能跑,输出不明 脚本对应论文图表编号
L3 可复现 审稿人独立跑通主结果 jcrd-reproducibility
L4 可复用 他人可改用于新场景 完善文档与许可

《计算机研究与发展》(Journal of Computer Research and Development, JCRD) 虽未强制会议式徽章,但 把材料做到 L3 能有效回应双盲外审的可复现质疑,是稳妥目标。

十、常见误区

  • 把「可向作者索取」当可用性:双盲下无法索取,且被视为弱项。
  • 匿名不彻底:README、提交历史、截图泄露身份。
  • 数据许可忽视:第三方数据未核实使用条款即公开。
  • 录用后忘记永久化:见刊后匿名链接失效,读者无法访问。
  • 材料与论文脱节:脚本不对应论文表/图,审稿人无从核对。

输出格式

[JCRD 可用性状态] 就绪 / 待补 / 现状说明
[现状] 本刊是否强制 artifact 评审?(待核实,以当期须知为准)
[匿名] 外审材料无身份泄露?匿名链接?
[可用性说明] 提供什么/在哪里/如何运行:诚实完整?
[结构] README + 脚本对应图表编号?
[许可合规] 代码许可 + 数据来源/许可 + 脱敏?
[永久化] 录用后实名归档计划?
信息
Category 数据科学
Name jcrd-artifact-evaluation
版本 v20260724
大小 6.5KB
更新时间 2026-07-28
语言