Skills Data Science Ensuring Reproducibility in Scientific Publishing

Ensuring Reproducibility in Scientific Publishing

v20260724
ssi-artifact-evaluation
A comprehensive guide for authors submitting to SCI journals, detailing best practices for making research code and data available. It addresses how to proactively provide reproducible materials, structured documentation, and honest availability statements, even when formal 'Artifact Evaluation' badges are not mandatory. It helps authors improve the robustness and impact of their scientific findings.
Get Skill
166 downloads
Overview

《中国科学:信息科学》代码与数据可用性(Artifact Evaluation)

英文软件工程/系统会议(如 FSE、OSDI)常设独立的制品评审(Artifact Evaluation)并授予 "Available / Functional / Reusable / Reproduced"徽章。《中国科学:信息科学》 (SCIENTIA SINICA Informationis, SSI) 作为中文大信息学科综合旗舰,并非采用这种独立徽章制度 (现状待核实,以官网当期《投稿须知》为准)。因此本技能的定位是:在没有强制徽章流程的 前提下,如何主动把代码与数据做成可用、可查、可复现,既服务评审,也提升成果影响力。

一、先厘清本刊现状(不要照搬英文会议)

  • SSI 未见公开的独立制品评审徽章体系;数据/代码是否强制公开、以何种形式提供,待核实, 以当期须知与编委要求为准。
  • 不要在稿件里声称获得了本刊并不颁发的"徽章";也不要照搬 ACM/USENIX 的制品评审模板。
  • 与英文姊妹刊 Science China Information Sciences (SCIS) 的开放科学/数据可用性要求对照参考, 但以本刊中文须知为准

二、主动提供可用材料的价值

即便非强制,提供高质量可用材料能:

  • 让审稿人更快确认结果可信(尤其"科学价值 + 创新高度"需要证据支撑时)。
  • 提升成果被复现、引用与应用的机会,契合本刊"推动学科发展、搭建理论与应用桥梁"的定位。
  • 降低"实验不可复现""对比不公平"类质疑触发大修的概率。

三、可用材料的组织(按子学科适配)

SSI 覆盖多个子学科,可用材料形态各异:

子学科 典型可用材料
计算机(系统/算法/AI) 源码、数据集、脚本、模型权重/配置、运行说明
控制 仿真模型(如 Simulink/Python)、参数、被控对象描述、复现脚本
通信/信号 信道/系统仿真代码、数据、评测指标脚本
微电子/EDA RTL/网表、测试激励、EDA 流程脚本(注意 IP/工艺保密)
  • 目录清晰code/data/scripts/README(中文说明如何一键复现主结果)。
  • 环境固定:记录语言/工具链/依赖版本、硬件平台、随机种子。
  • 仿真与实测分开:明确哪些结果来自仿真、哪些来自硅后/实测,避免混淆。

四、诚实的可用性声明

  • 在稿件中给出数据/代码可用性声明:说明提供什么、在哪里(补充材料/仓库/受限获取)、 以及获取方式。
  • "可向作者索取"是弱承诺:能公开则公开(Zenodo/figshare/机构仓库或补充材料附件), 给出稳定链接或存档。
  • 确有保密限制(工业合作、涉密工艺、隐私数据)时如实说明原因与可提供的替代(如脱敏子集、 接口说明),而非笼统回避。

五、可复现自查(提交前)

  • 从干净环境按 README 能复现论文主结果(主表/主图)。
  • 依赖版本、数据版本、种子、硬件平台均已记录。
  • 大文件有备用获取方式;链接长期有效(用存档而非个人临时盘)。
  • 敏感信息(密钥、隐私、涉密 IP)已清理。
  • 中文 README 让本子学科外的评审也能按步骤运行。
  • 可用性声明与材料实际内容一致,无夸大。
  • 复现主结果所需时间/算力在 README 中标注(便于评审预估)。
  • 若含预训练模型或大数据集,说明来源、许可与获取方式。
  • 目录内不含临时文件、个人路径、.git 冗余等噪声。

六、常见误区

误区 纠正
照搬英文会议徽章说法 本刊无该制度;据实描述可用性即可
"代码整理后公开"却始终不公开 提交时即提供,或给明确时间与途径
仿真结果标称为实测 明确区分仿真/实测/硅后
只给英文 README 本刊中文刊,提供中文说明(可中英双语)
忽视保密合规 涉密/隐私材料脱敏或说明限制

七、可用性声明范例(中英文对照)

在稿件末尾(或补充材料)给出清晰的可用性声明,示例:

数据与代码可用性声明
  本文所用<数据集名称>与实现代码已存档于 <稳定链接/DOI>,遵循 <许可证>;
  复现主结果的步骤见仓库中文 README。受<工业合作/涉密工艺>限制的部分,
  提供脱敏子集与接口说明,完整材料可在 <条件> 下向通讯作者申请。

Data and Code Availability
  The dataset and implementation are archived at <stable link/DOI> under <license>;
  see the README for steps to reproduce the main results. Parts restricted by
  <industrial/confidentiality> constraints are provided as a de-identified subset.
  • 声明须与材料实际内容一致;写了公开就要真的可访问。
  • 中文刊建议中文为主、可辅以英文,方便国际读者与英文姊妹刊 SCIS 读者。

八、与投稿及可复现技能的衔接

九、每次核实

  • 本刊是否新增数据/代码可用性强制要求或独立制品评审环节(待核实)。
  • 补充材料/多媒体附件的容量、格式与提交方式(待核实)。
  • 与英文姊妹刊 SCIS 开放科学政策的差异(待核实)。

输出格式

[本刊制品制度] 无独立徽章(待核实)——据实描述可用性
[材料清单] code/data/scripts/README 是否齐备
[环境] 依赖/数据/种子/硬件是否记录;仿真vs实测是否区分
[可用性声明] 提供什么/在哪里/如何获取——是否与实际一致
[合规] 涉密/隐私/IP 是否处理
[待核实] 强制公开与否、附件格式、SCIS 差异

参见 ../ssi-reproducibility/SKILL.md../../resources/official-source-map.md

Info
Category Data Science
Name ssi-artifact-evaluation
Version v20260724
Size 6.98KB
Updated At 2026-07-29
Language