Tag: Continual Learning

All the articles with the tag "Continual Learning".

• Budget-Adaptive Adapter Tuning in Orthogonal Subspaces for Continual Learning in LLMs

  Published: 4 Jun, 2025 |  at  11:26 AM

  

  90.65 🤔

  本文提出OA-Adapter，一种用于大型语言模型持续学习的新型参数高效方法，通过单阶段端到端训练结合动态预算分配与正交子空间学习，在标准基准上实现更高准确率并减少58.5%的参数使用。

• Self-Tuning: Instructing LLMs to Effectively Acquire New Knowledge through Self-Teaching

  Published: 20 May, 2025 |  at  11:12 AM

  

  90.50 🤔

  本文提出SELF-TUNING框架，通过自教策略（SELF-TEACHING）显著提升大型语言模型从新文档中获取知识的能力，并在记忆、提取和推理任务上取得优异表现，同时保持较好的知识保留能力。

• MINGLE: Mixtures of Null-Space Gated Low-Rank Experts for Test-Time Continual Model Merging

  Published: 21 May, 2025 |  at  11:24 AM

  

  90.40 🤔

  MINGLE提出了一种测试时持续模型合并方法，通过混合低秩专家架构和自适应空空间约束门控，利用少量无标签测试样本动态融合模型，显著提升了持续学习中的泛化性能并减少了灾难性遗忘。

• LongReD: Mitigating Short-Text Degradation of Long-Context Large Language Models via Restoration Distillation

  Published: 1 Jun, 2025 |  at  11:52 AM

  

  90.28 🤔

  本文提出LongReD方法，通过长文本训练、短文本蒸馏和短到长蒸馏的多目标训练策略，有效缓解了长上下文大语言模型在短文本任务上的性能下降，同时保持或提升长文本处理能力。

• Knowledge Grafting of Large Language Models

  Published: 28 May, 2025 |  at  11:21 AM

  

  88.92 🤔

  GraftLLM提出了一种通过模块感知压缩生成SkillPack的方法，实现大型语言模型间高效跨能力转移、知识融合和无遗忘持续学习，并在多个基准测试中显著优于现有方法。