本文通过对比指令微调、监督微调和强化学习训练的大型推理模型，发现推理导向训练显著提升了推理任务中的准确性和校准能力，但在事实性任务中可能削弱小规模模型对知识边界的感知。
Large Language Model, Reinforcement Learning, Supervised Learning, Reasoning, Calibration, Human-AI Interaction
Qingcheng Zeng, Weihao Xuan, Leyang Cui, Rob Voigt
Northwestern University, The University of Tokyo, Westlake University
Generated by grok-3
Background Problem
大型推理模型（LRMs）近年来在复杂推理任务中表现出色，展现出类似人类自我反思的行为。然而，模型的自我反思能力如何与其他行为（如口述信心）相互作用仍未被充分探索。本文聚焦于通过分析模型表达的确定性（verbalized confidence）来研究LRMs的自我反思特性，核心问题是：推理模型是否具有更好的校准能力？即其改进的推理能力是否能带来更可靠的信心估计？此外，论文还探讨了推理导向训练是否会影响模型对自身知识边界的感知，尤其是在事实性任务中。
Method
本文采用了一种系统性的实证研究方法，核心思想是通过对比三种不同训练范式的模型来评估推理导向训练对口述信心校准的影响：
- 模型类别：包括指令微调模型（Instruct Models，使用SFT和一般RL进行对齐）、基于推理数据的监督微调模型（SFT Reasoning Models，基于长推理链数据微调）、以及基于推理的强化学习模型（RL Reasoning Models，通过RL优化反思推理行为）。
- 评估框架：在数学、事实性、科学推理和一般推理等多个基准数据集上测试模型的准确性和校准质量，使用指标如预期校准误差（ECE）、自适应校准误差（ACE）、AUROC和AUPRC来量化校准和失败预测能力。
- 提示策略：测试了三种提示策略（普通思维链提示、带概率质量的思维链提示、自我反思提示）以评估其对校准的影响。
- 推理链长度分析：探索推理链长度与准确性、信心和校准之间的关系。 批判性思考：虽然方法设计较为全面，但对事实性任务中校准下降的原因分析不足，缺乏对模型规模和训练数据分布的具体影响的深入探讨。此外，推理链长度与校准关系的分析较为表面，未提供因果推断或更细粒度的特征分析。
Experiment
实验在多个基准数据集上进行，包括数学（AIME 2024 & 2025）、事实性（SimpleQA, FreshQA）、科学推理（GPQA-Diamond, SuperGPQA）和一般推理（LiveBench-Reasoning），旨在评估模型在不同领域的表现：
- 设置合理性：实验通过对比相同基础架构但不同后训练策略的模型，隔离了训练范式的影响；同时多次运行部分数据集以减少随机性，设置了统一的解码温度（0.6）和最大生成token数（32,000）。
- 结果分析：在推理密集型任务中，SFT和RL推理模型在准确性和校准质量上均显著优于指令微调模型，RL模型进一步提升了校准效果，即使训练领域与评估领域不一致也表现出泛化性。然而，在事实性任务中，小规模推理模型的校准表现往往不如指令微调模型，且表现出更低的‘不知道’响应率，表明其对知识边界的感知能力减弱。大型模型（如DeepSeek-R1）在事实性任务中表现出更好的校准和准确性改进。
- 推理链长度：较长的推理链通常伴随较低的准确性和信心，但校准误差（ECE）在较长链（>10,000 token）时仅在小规模模型中略有增加。
- 提示策略：提示策略对校准的影响因数据集而异，自我反思提示在某些事实性任务中甚至加剧了过自信。 批判性思考：实验结果在推理任务上的改进明显，但事实性任务中的校准下降问题未被充分解释，可能与数据集特性或模型规模有关。此外，实验未包含代码推理任务，且缺乏对事实性任务输出的人工验证，可能影响结果的可靠性。
Further Thoughts
本文揭示了推理导向训练在提升校准能力方面的潜力，但也暴露了小规模模型在事实性任务中的局限性，这让我思考是否可以通过混合训练策略（如结合事实性数据和推理数据的SFT，或在RL中引入知识边界感知目标）来缓解这一问题。此外，推理链长度与校准的关系值得进一步探索，例如是否可以通过限制生成长度或引入动态调整机制来优化校准表现。另一个有趣的方向是将本文的校准研究与其他领域（如AI安全性和可解释性）结合，探讨如何在高风险应用中利用口述信心来增强人机协作的可靠性，例如在医疗诊断或法律推理中，模型的校准能力和对知识边界的感知至关重要。最后，本文的发现与近期关于RLHF（强化学习与人类反馈）的研究有潜在联系，RLHF在对齐目标上的成功或许可以为推理模型的校准提供新的思路，尤其是在如何平衡推理能力和事实性准确性方面。