《计算机学报》实验设计与呈现

《计算机学报》(Chinese Journal of Computers, CJC) 要求来稿"数据充分、真实"，外审专家会实质性追问 实验是否足以支撑结论。作为 CCF A 类综合性中文长文期刊，CJC 给了充分篇幅展开实验，但也因此对 证据与主张的匹配度要求更高。本技能给出面向 CJC 的实验设计与呈现方法。核验日期 2026-07-09， 与 cjc-reproducibility 配套使用。

一、先立评估问题，再做实验

好的实验部分从**评估问题(RQ)**开始，而非直接堆表格。为每个贡献点设一个可回答的问题，例如：

• RQ1：所提方法在 <任务> 上是否优于 <代表性基线>？优多少？
• RQ2：各模块对性能的贡献如何（消融）？
• RQ3：方法在 <规模/噪声/分布变化> 下是否稳健？
• RQ4：开销（时间/内存/通信）是否可接受？

每个 RQ 后面对应一组实验与一张主表/主图，形成"问题—证据"闭环。

二、按贡献类型匹配证据

三、公平基线与设置

• 强基线：选当前有代表性、可比的方法，而非精心挑选的弱对手；说明基线的实现/来源与调参方式。
• 同等条件：数据、评测协议、算力对所有方法一致；不给自己方法额外调参预算。
• 超参数透明：报告搜索范围与最终取值，避免"魔法数字"。

四、数据集与指标

• 数据集选择有代表性、被同行认可者；自采数据说明采集与清洗（见 cjc-reproducibility）。
• 指标与任务匹配，报告能反映真实优劣的核心指标，必要时给多指标；避免只报对自己有利的单一指标。
• 明确训练/验证/测试划分，禁止用测试集调参。

五、统计严谨性

• 对随机性敏感的结果报告多次运行的均值±标准差，不用单次最好值。
• 关键对比做显著性检验，说明检验方法、样本与显著性水平。
• 报告效应量/提升幅度并讨论其实际意义，而非仅"提升 0.1% 即宣称更优"。

六、消融与稳健性

• 消融实验：逐一移除/替换关键模块，量化各自贡献，支撑"每个设计都必要"的主张。
• 稳健性：在规模、噪声、分布漂移、超参数扰动下考察稳定性。
• 失败案例：分析方法何时失效，比只报成功更能取信外审。

七、机器学习/数据挖掘的污染防范

• 排查数据泄漏（未来信息/测试信息泄入训练）。
• 使用大模型或公开预训练资源时警惕评测污染，必要时做污染分析或独立评测集。
• 缓存昂贵中间结果，保证可重放（见 cjc-reproducibility）。

八、长文中的结果呈现

• 主结果进正文用代表性表图，完整表进附录（见 cjc-supplementary）。
• 三线表、清晰图；每个图表都有正文解读，不放"只出现不讨论"的图表。
• 图表题名中英文规范，量与单位用法定计量单位（见 cjc-writing-style）。

九、自查清单

• 每个贡献点是否有对应 RQ 与证据？
• 基线是否强且公平、设置是否同条件？
• 是否报告均值±方差与显著性、而非单点最优？
• 是否有消融支撑各模块必要性？
• 是否排查数据泄漏与评测污染？
• 主结果进正文、完整结果进附录、图表都有解读？

十、RQ → 表 的写作样例

把评估问题、实验、结论显式绑定，读者与外审能顺着读：

RQ1：在 <任务T> 上，本文方法是否优于代表性基线？
—— 我们在数据集 D 上与 5 个基线在相同划分与算力下比较(表2)。
—— 结论：本文方法在 4/5 指标上显著更优(配对检验, p<0.05)，平均相对提升 x%；
   在指标 M 上与最强基线持平，原因是 …（诚实讨论边界）。

写作要点：先问题、后证据(指明表号)、再结论并主动讨论不占优的情形——坦诚边界比一味宣称全面 领先更能取信《计算机学报》(Chinese Journal of Computers, CJC) 的外审专家。

十一、计算开销与可扩展性

• 报告时间、内存、通信/能耗等开销，与精度提升一起权衡；只报精度不报代价会被追问。
• 系统类工作给出在不同规模/负载下的可扩展性曲线，说明瓶颈与拐点。
• 与基线比较时开销口径一致（同硬件、同实现质量），避免"拿自己优化过的实现比别人未优化的"。

十二、结果的诚实呈现

• 不挑选有利随机种子或有利数据子集；报告完整设置下的结果。
• 负结果与失败案例有分析价值，可增强可信度，而非隐藏。
• 图表不误导：坐标轴不截断制造夸张差距，误差棒与显著性如实标注。

十三、实验部分终检

• 每个 RQ 有对应实验、表图与结论？
• 基线强、公平、同条件？
• 统计严谨(均值±方差/显著性/效应量)？
• 消融支撑各模块必要性？
• 开销与可扩展性已报告？
• 数据泄漏/评测污染已排查？
• 呈现诚实、图表不误导？

输出格式

[RQ] RQ1:___ RQ2:___ RQ3:___（问题-证据闭环）
[基线] 强基线且同条件？超参数透明？是/否
[数据/指标] 代表性数据、任务匹配指标、划分固定？是/否
[统计] 均值±方差 + 显著性 + 效应量？是/否
[消融/稳健] 各模块必要性 + 稳健性 + 失败分析？是/否
[污染] 数据泄漏/评测污染 排查：通过/待改
[呈现] 主结果进正文、图表均有解读？是/否