Tag: Small Language Model
All the articles with the tag "Small Language Model".
-
A Token is Worth over 1,000 Tokens: Efficient Knowledge Distillation through Low-Rank Clone
Published: at 11:14 AM
94.56 🤔本文提出低秩克隆（LRC）方法，通过低秩投影矩阵和激活克隆实现从大型语言模型到小型语言模型的高效知识蒸馏，仅用10-20B tokens训练即可媲美或超越训练数据量达数万亿tokens的模型，显著提升训练效率。
-
Distillation and Refinement of Reasoning in Small Language Models for Document Re-ranking
Published: at 11:15 PM 83.31 🤔本文提出InteRank方法，通过知识蒸馏和强化学习训练一个3B参数小型语言模型，在推理密集型文档重排序任务中生成解释并实现与70B+参数模型相当的性能，在BRIGHT基准上位列第三。
-
AdaptMI: Adaptive Skill-based In-context Math Instruction for Small Language Models
Published: at 04:32 PM 80.86 🤔本文提出AdaptMI和AdaptMI+自适应方法，通过基于奖励模型检测问题难度并针对困难问题选择技能-based in-context示例，提高小语言模型在数学推理任务中的性能，同时避免认知过载。
-
Phi-4-Mini-Reasoning: Exploring the Limits of Small Reasoning Language Models in Math
Published: at 04:33 PM 83.56 👍本文提出了一种多阶段训练方案，包括大规模蒸馏、滚动偏好优化和可验证奖励的强化学习，显著提升了小型语言模型在数学推理任务中的性能，使3.8B参数的Phi-4-Mini-Reasoning模型超过了近两倍参数的开源基线模型。