本文通过提出一个四维度分类框架（什么扩展、如何扩展、哪里扩展、扩展效果如何），系统综述了测试时扩展（TTS）在大型语言模型中的研究现状，为理解和应用推理阶段计算扩展提供了结构化视角和实践指导。
Large Language Model, Test Time, Efficiency, Reasoning, Scaling Laws
Qiyuan Zhang, Fuyuan Lyu, Zexu Sun, Lei Wang, Weixu Zhang, Wenyue Hua, Haolun Wu, Zhihan Guo, Yufei Wang, Niklas Muennighoff, Irwin King, Xue Liu, Chen Ma
City University of Hong Kong, McGill University & MILA, Gaoling School of Artificial Intelligence, Renmin University of China, Chinese University of Hong Kong, Salesforce AI Research, Macquarie University, Stanford University, University of California, Santa Barbara
Generated by grok-3
Background Problem
随着大型语言模型（LLM）在预训练阶段通过数据和参数扩展实现的性能提升逐渐遇到资源瓶颈，测试时扩展（Test-Time Scaling, TTS）或称测试时计算成为新的研究热点。TTS旨在通过在推理阶段分配额外计算资源，充分挖掘模型已编码的智能，从而提升其在复杂任务上的表现，尤其是在数学、编程等推理密集型任务中。当前研究缺乏一个统一的系统框架来整合和比较各种TTS方法，导致难以识别一致趋势或指导未来发展。本文通过提出一个多维度的分类框架，试图解决这一问题，为TTS研究提供结构化的理解和实践指导。
Method
本文并未提出具体的新方法，而是通过一个四维度的分类框架对TTS研究进行系统性综述：
- 什么扩展（What to Scale）：包括并行扩展（生成多个输出并聚合）、顺序扩展（逐步迭代更新中间状态）、混合扩展（结合并行与顺序）和内部扩展（模型自主决定计算分配）。
- 如何扩展（How to Scale）：分为调优方法（如监督微调SFT和强化学习RL）和推理方法（如刺激、验证、搜索和聚合技术）。例如，SFT通过模仿复杂推理轨迹进行训练，RL通过奖励模型优化推理过程，而推理方法则动态调整测试时计算分配。
- 哪里扩展（Where to Scale）：涵盖TTS适用的任务领域，如推理密集型任务（数学、编程）、代理任务（多代理系统）和开放性任务等，列举了大量代表性数据集。
- 扩展效果如何（How Well to Scale）：从性能（准确率如Pass@1）、效率（计算成本如Token Cost）、可控性（资源约束遵守）和可扩展性（随计算增加的性能提升）四个方面评估TTS方法的效果。 这一框架旨在通过分解和分类现有技术，揭示TTS的独特贡献和权衡，并为未来研究提供可扩展的基础。
Experiment
由于本文是一篇综述而非实验性研究，未直接开展新实验，而是通过对现有文献的整理和分析，总结了TTS方法在不同任务上的效果和实验设置。论文引用了大量数据集（如MATH、GSM8K、SWE-bench）和评估指标（如Pass@1、Pass@k、Token Cost），展示了TTS在数学推理、编程和开放性任务中的性能提升。例如，DeepSeek-R1和o1等模型通过内部扩展和RL方法，在数学和编程任务上显著提高了准确率。然而，实验设置的全面性存在局限：论文未提供统一的实验对比框架，不同方法在不同数据集上的结果难以直接比较；此外，部分方法的效果可能被高估，因为缺乏对计算成本和实际部署效率的深入讨论。总体而言，文献中提到的实验结果表明TTS在特定任务上改进明显，但实验设计的合理性和覆盖度仍有待加强，尤其是在跨领域泛化和效率权衡方面。
Further Thoughts
本文提出的四维度框架为TTS研究提供了一个有价值的结构化视角，但其理论性较强，缺乏对实际应用中方法效果的定量比较和批判性分析，未来可以结合具体案例或统一实验平台进一步验证框架的有效性。此外，TTS的跨领域泛化潜力值得深入探索，例如在医疗和法律等高风险领域，如何平衡计算成本与决策透明性是一个关键问题，这与当前RAG（检索增强生成）技术的研究趋势有交集，或许可以通过结合外部知识库和TTS动态推理能力来解决领域特定性挑战。同时，TTS的效率问题与模型压缩和蒸馏技术密切相关，未来研究可以探索如何将TTS的推理能力通过蒸馏固化到小模型中，从而降低部署成本，这与当前高效推理领域的研究目标高度一致。