Tag: Efficiency
All the articles with the tag "Efficiency".
-
Mitigate Position Bias in Large Language Models via Scaling a Single Dimension
Published: at 11:22 AM
85.47 🤔本文提出通过缩放隐藏状态中的位置通道来缓解长上下文语言模型的位置偏差问题，并在多个模型和任务上验证了其有效性，特别是在“中间丢失”基准测试中显著提升了中间位置信息的利用率。
-
Let's Predict Sentence by Sentence
Published: at 11:40 AM 85.45 🤔本文提出了一种句子级推理框架，通过自回归预测连续句子嵌入，将预训练语言模型提升到抽象推理空间，上下文嵌入在连续推理模式下与Chain-of-Thought (CoT) 表现相当，同时平均将推理计算成本降低一半。
-
When More is Less: Understanding Chain-of-Thought Length in LLMs
Published: at 11:22 AM 85.45 🤔本文通过理论分析、控制实验和现实观察，揭示Chain-of-Thought (CoT) 长度与推理性能呈倒U型关系，提出最优长度随任务难度增加和模型能力增强而变化的缩放规律，并展示了基于最优长度的训练和推理策略的显著性能提升。
-
Large Vocabulary Size Improves Large Language Models
Published: at 11:24 AM 85.40 🤔本文通过实验证明较大词汇量能显著提升单语大型语言模型在英语和日语任务中的性能，并提出了一种在持续训练中更换词汇表的简单方法以适配目标语言，进一步提升模型表现。
-
Thinkless: LLM Learns When to Think
Published: at 11:09 AM 85.36 🤔本文提出Thinkless框架，通过强化学习和解耦组相对策略优化（DeGRPO）算法，使大型语言模型根据任务复杂度和自身能力自主选择短格式或长格式推理，在数学任务上显著提升效率并保持性能。