Tag: Inference Optimization

All the articles with the tag "Inference Optimization".

• Activation Control for Efficiently Eliciting Long Chain-of-thought Ability of Language Models

  Published: 28 May, 2025 |  at  11:26 AM

  

  88.80 🤔

  本文通过分析大型语言模型中长链式思维能力的激活模式，提出了一种训练无关的激活控制方法（EELo-CoT）和参数高效微调策略，在推理时动态调整激活值以显著提升自反思率和准确率。

• Don't Overthink it. Preferring Shorter Thinking Chains for Improved LLM Reasoning

  Published: 30 May, 2025 |  at  11:15 AM

  

  87.20 🤔

  本文挑战了推理 LLMs 中更长思考链提升性能的假设，提出 *short-m@k* 推理方法，通过优先选择较短推理链实现高达 34.5% 的准确率提升和 40% 的计算量减少，并通过微调验证了短推理链训练的有效性。