Posts
All the articles I've posted.
-
Thinking Short and Right Over Thinking Long: Serving LLM Reasoning Efficiently and Accurately
本文提出SART框架,通过冗余采样与早期停止以及两阶段动态修剪方法,显著提升了大型语言模型推理服务的效率(最高28.2倍),同时保持了与基线相近的准确性。
-
AdaptThink: Reasoning Models Can Learn When to Think
本文提出 *AdaptThink*,一种基于强化学习的算法,通过自适应选择 *Thinking* 或 *NoThinking* 模式显著降低推理模型的响应长度(平均减少 40-53%)并提升准确率(平均提升 2.3-2.4%),在数学任务上展现了效率与性能的良好平衡。
-
Small Models, Smarter Learning: The Power of Joint Task Training
本文通过ListOps数据集上的小型Transformer模型实验,揭示联合任务训练(如MAX+MED+SUM)显著降低学习难度、减少参数需求,并引导模型发现基于数字属性的高效算法,而非单纯记忆符号表。
-
Can Past Experience Accelerate LLM Reasoning?
本文提出SpeedupLLM框架,通过自适应计算分配和记忆机制实现LLM推理加速,实验表明计算成本最高可减少56%,尤其在高相似度问题上效果显著。
-
Activation-Guided Consensus Merging for Large Language Models
本文提出Activation-Guided Consensus Merging (ACM),通过基于激活值互信息(MI)的层级权重系数调整,实现大型语言模型在Long-to-Short推理任务中的高效合并,显著减少输出冗余并提升推理精度,尤其在小规模模型上效果明显。