Tag: Reasoning
All the articles with the tag "Reasoning".
-
Plan and Budget: Effective and Efficient Test-Time Scaling on Large Language Model Reasoning
本文提出 PLAN-AND-BUDGET 框架,通过结构化推理和基于不确定性的自适应 token 预算分配,显著提升大型语言模型在推理任务中的计算效率,E3 指标最高提升 187.5%,同时保持准确率。
-
Thinking Short and Right Over Thinking Long: Serving LLM Reasoning Efficiently and Accurately
本文提出SART框架,通过冗余采样与早期停止以及两阶段动态修剪方法,显著提升了大型语言模型推理服务的效率(最高28.2倍),同时保持了与基线相近的准确性。
-
AdaptThink: Reasoning Models Can Learn When to Think
本文提出 *AdaptThink*,一种基于强化学习的算法,通过自适应选择 *Thinking* 或 *NoThinking* 模式显著降低推理模型的响应长度(平均减少 40-53%)并提升准确率(平均提升 2.3-2.4%),在数学任务上展现了效率与性能的良好平衡。
-
Small Models, Smarter Learning: The Power of Joint Task Training
本文通过ListOps数据集上的小型Transformer模型实验,揭示联合任务训练(如MAX+MED+SUM)显著降低学习难度、减少参数需求,并引导模型发现基于数字属性的高效算法,而非单纯记忆符号表。
-
Can Past Experience Accelerate LLM Reasoning?
本文提出SpeedupLLM框架,通过自适应计算分配和记忆机制实现LLM推理加速,实验表明计算成本最高可减少56%,尤其在高相似度问题上效果显著。