Tag: Multi-Task Learning
All the articles with the tag "Multi-Task Learning".
-
MoRE: A Mixture of Low-Rank Experts for Adaptive Multi-Task Learning
Published: at 11:22 AM
93.37 🤔本文提出MoRE方法，通过将LoRA的不同秩视为专家并设计自适应秩选择器，显著提升了大型语言模型在多任务场景中的微调效率和性能，同时保持较低的参数量。
-
CoLA: Collaborative Low-Rank Adaptation
Published: at 11:08 AM 89.45 🤔CoLA通过提出灵活的LoRA架构和三种协作策略，结合扩展PiSSA初始化，显著提升了参数高效微调在多任务和数据稀缺场景下的性能和鲁棒性。
-
Efficient Knowledge Transfer in Multi-Task Learning through Task-Adaptive Low-Rank Representation
Published: at 04:32 PM 87.85 🤔本文提出 TA-LoRA 方法，通过任务自适应低秩表示和快速-缓慢权重机制提升多任务学习的知识转移效率，实现对未见任务的优异泛化性能，同时保持高参数效率。
-
R-LoRA: Randomized Multi-Head LoRA for Efficient Multi-Task Learning
Published: at 11:25 AM 86.91 🤔R-LoRA通过多头随机化（包括多头Dropout和随机初始化）增强了LoRA在多任务学习中的性能，有效提升了任务特定知识的捕获能力，同时降低了GPU内存使用和训练时间。
-
Dynamic Fisher-weighted Model Merging via Bayesian Optimization
Published: at 01:19 AM 86.13 🤔本文提出了动态 Fisher 加权合并 (DF-Merge) 方法，通过贝叶斯优化动态调整微调模型的缩放系数，并在这些缩放模型上利用 Fisher 信息进行加权合并，从而高效地创建性能显著优于现有基线的多任务模型。