Tag: Fine-tuning
All the articles with the tag "Fine-tuning".
-
Beyond Single-Task: Robust Multi-Task Length Generalization for LLMs
Published: at 11:14 AM
90.65 🤔本文提出Meta-RFFT框架，通过多任务规则跟随预训练和少量下游适应，显著提升了大型语言模型在未见任务上的长度泛化能力，32B模型在长度30的加法任务上达到98%准确率，超越现有长链推理模型。
-
A Sliding Layer Merging Method for Efficient Depth-Wise Pruning in LLMs
Published: at 11:13 AM 90.44 🤔本文提出滑动层合并（SLM）方法，通过基于CKA相似性动态合并大型语言模型的连续层，实现深度剪枝，在零样本任务和推理效率上显著优于现有方法，同时探索了深度与宽度剪枝结合的潜力。
-
MergeBench: A Benchmark for Merging Domain-Specialized LLMs
Published: at 11:23 AM 90.41 🤔本文提出MergeBench，一个针对领域专精大型语言模型合并的全面基准测试框架，基于Llama和Gemma模型（2B-9B）评估八种合并方法，揭示了合并在大模型上的优越性、稀疏化和系数调整对知识保留的重要性，并提供了算法选择的实用指南。
-
Learning Composable Chains-of-Thought
Published: at 11:12 AM 90.13 🤔本文提出Composable Chain-of-Thought方法，通过数据增强改进原子任务CoT格式，并结合多任务学习或模型合并实现零样本组合推理，使用拒绝采样微调进一步提升性能，在字符串操作和自然语言任务上优于标准CoT基准。
-
LoRASuite: Efficient LoRA Adaptation Across Large Language Model Upgrades
Published: at 11:17 AM 89.99 🤔本文提出LoRASuite，一种针对大型语言模型升级的模块化方法，通过转换矩阵、层映射和注意力头映射高效适配LoRA权重，并在数学与常识任务上显著优于小规模LoRA微调，甚至在某些场景下超越全规模重新训练，同时大幅降低内存和时间消耗。