Skills Engineering Rigorous Experimental Design for Scientific Papers

Rigorous Experimental Design for Scientific Papers

v20260724
ssi-experiments
A comprehensive guide for authors submitting to high-impact scientific journals. It outlines the essential principles for structuring experiments and presenting evidence, emphasizing claims-evidence matching, fair benchmarking, differentiating result sources (simulation, hardware, theory), and ensuring statistical rigor. Covers best practices across computer science, control, communication, and microelectronics.
Get Skill
478 downloads
Overview

《中国科学:信息科学》实验设计与呈现(Experiments)

在《中国科学:信息科学》(SCIENTIA SINICA Informationis, SSI),实验(或理论证明)是支撑 科学价值与创新高度的证据。外审专家会推敲你的证据是否与主张相称、对比是否公平、结论是否 被证据支撑。本刊覆盖计算机、控制、通信、微电子等多个子学科,证据范式差异大,本技能给出 通用原则与分子学科要点。

一、主张—证据匹配(第一原则)

  • 先写下论文的核心主张,再为每条主张配恰当类型的证据。
  • 主张"更快" → 给时延/吞吐的公平对比与统计;主张"可证明" → 给形式化推导 + 验证; 主张"更鲁棒" → 给多扰动/多场景下的表现。
  • 证据与主张相称:小主张不需过度实验,大主张不能只靠单一数据点。

二、真实数据与代表性基准

  • 优先使用真实/公认基准数据集或被控对象,说明其代表性与规模。
  • 自采数据说明采集协议、规模、划分;避免只在玩具数据上验证大主张。
  • 数据集版本、预处理、划分方式记录清楚(配合 ssi-reproducibility)。

三、公平对比与统一评测协议

  • 选取有代表性的强基线(国内外均衡),而非只挑弱基线衬托。
  • 所有方法在同一评测协议下比较:同数据、同划分、同指标、同硬件(或说明差异)。
  • 复现基线时说明来源(原作者代码/自行实现)与调参努力,避免"故意调不好基线"。

四、结果来源的区分(本刊多子学科关键)

来源 呈现要求
数值仿真 仿真器、参数、理想化假设、边界条件
半实物/硬件在环 平台、接口、实时约束
硅后/实测 芯片/样机、测试仪器、测量条件、误差分析
理论证明 假设、引理、可验证推导;必要时数值验证
  • 严禁把仿真表述为实测;跨工艺/跨平台外推给敏感性分析。

五、统计与随机性

  • 报告均值 + 波动(标准差/置信区间),而非单次最优。
  • 多方法比较用一致统计口径,必要时做显著性检验,说明检验方法与前提。
  • 诚实报告失败样本、未收敛、异常值处理,避免选择性报告。

六、消融实验

  • 用消融隔离各组件/设计选择的独立贡献,支撑"创新点确实起作用"。
  • 每个消融只改一个变量,控制其他条件不变。
  • 消融结论与主张对齐:若某组件贡献不显著,诚实说明或重新审视其必要性。

七、分子学科证据范式

  • 计算机/AI:数据泄漏检查、训练/测试划分、算力与时间成本、对预训练/数据污染的控制。
  • 控制:稳定性/鲁棒性/收敛性证明 + 仿真/半实物验证,扰动与噪声设定明确。
  • 通信/信号:信道模型、信噪比范围、BER/容量/吞吐等指标的统计口径。
  • 微电子/EDA:PPA(功耗/性能/面积)、PVT 角、测试激励;仿真与流片实测分开报告。

八、理论类论文的证明呈现

  • 假设明确、引理依赖清晰、推导可验证;正文给思路,完整证明可入附录。
  • 复杂度/最优性分析给出边界与前提;必要时用数值实验佐证理论。
  • 避免"证明留给读者"式跳步影响可验证性。

九、图表呈现

  • 图表服务论证:主结果用清晰的对比图/表,坐标含量与单位,图注自足。
  • 避免正文与图表重复堆数据;用图表讲趋势、用表格给精确值。
  • 灰度可读(彩图费待核实)。

十、常见失误

失误 后果 纠正
证据与主张不匹配 结论被质疑 为每条主张配恰当证据
只挑弱基线 对比不公平 选强基线、统一协议
仿真当实测 严重可信性问题 明确来源与假设
只报单次最优 不可复现质疑 报告统计量
无消融 创新点贡献不明 补消融隔离贡献
选择性报告 学术规范风险 诚实报告失败/异常

十一、主张—证据矩阵(动手工具)

投稿前列一张矩阵,逐条自检证据是否到位、是否公平、是否可复现:

主张                     | 证据类型        | 图/表   | 基线/对照        | 统计        | 来源
------------------------|----------------|--------|-----------------|------------|--------
在约束下能效更优          | 硅后实测        | 表 3    | 3 个代表性架构    | 5 次均值±SD | 实测
时延有可证明上界          | 形式化证明+验证  | 附录A/图5| —               | —          | 理论+仿真
各组件均有贡献            | 消融            | 表 4    | 去组件变体        | 显著性检验   | 仿真
跨工艺可迁移              | 敏感性分析       | 图 6    | 多工艺角          | 区间        | 仿真
  • 任一行"证据类型"与"主张"不匹配,或"基线"偏弱,都是外审会抓的点,投稿前补齐。
  • 这张矩阵也可直接支撑 ssi-author-response 的修回补证据。

十二、自查表

  • 每条主张都有相称的证据。
  • 基线强且国内外均衡,评测协议统一。
  • 仿真/实测/硅后/理论明确区分。
  • 报告均值+波动,必要时显著性检验。
  • 消融隔离各组件贡献。
  • 分子学科的特有证据要求已满足。

输出格式

[主张-证据] 每条主张是否配相称证据
[对比] 基线是否强且均衡;评测协议是否统一
[来源] 仿真/半实物/硅后/理论是否明确区分
[统计] 均值+波动?显著性?失败样本是否诚实报告
[消融] 是否隔离创新点的独立贡献
[待核实] 彩图费、数据/代码公开要求

注:若拟同一成果面向国际读者,另有英文姊妹刊 Science China Information Sciences (SCIS), 但与本刊为相对独立的两个刊物,应择一投稿(互转政策待核实),实验证据标准两刊相通。

参见 ../ssi-reproducibility/SKILL.md../ssi-writing-style/SKILL.md../../resources/worked-examples/01-introduction.md

Info
Category Engineering
Name ssi-experiments
Version v20260724
Size 6.86KB
Updated At 2026-07-29
Language