Tag: Low-Rank Adaptation
All the articles with the tag "Low-Rank Adaptation".
-
MoRE: A Mixture of Low-Rank Experts for Adaptive Multi-Task Learning
Published: at 11:22 AM
93.37 🤔本文提出MoRE方法，通过将LoRA的不同秩视为专家并设计自适应秩选择器，显著提升了大型语言模型在多任务场景中的微调效率和性能，同时保持较低的参数量。
-
LoRE-Merging: Exploring Low-Rank Estimation For Large Language Model Merging
Published: at 11:22 AM 91.54 🤔本文提出LORE-MERGING框架，通过低秩估计构建近似基础模型和任务向量，无需访问原始基础模型即可实现模型合并，并在多个基准数据集上展现出优于传统方法的性能。
-
Unraveling LoRA Interference: Orthogonal Subspaces for Robust Model Merging
Published: at 11:40 AM 89.76 🤔本文提出OSRM方法，通过在微调前约束LoRA子空间以减少任务间干扰，显著提升了多个语言模型在八个GLUE数据集上的合并性能，同时保持单任务准确性。
-
ShareLoRA: Parameter Efficient and Robust Large Language Model Fine-tuning via Shared Low-Rank Adaptation
Published: at 11:25 AM 87.99 🤔ShareLoRA通过在模型层间共享低秩矩阵A或B，显著减少可训练参数量（相较LoRA减少44%-96%），并在多种模型和任务中保持甚至超越LoRA的性能，展现出高效性、适应性和跨域鲁棒性。
-
Efficient Knowledge Transfer in Multi-Task Learning through Task-Adaptive Low-Rank Representation
Published: at 04:32 PM 87.85 🤔本文提出 TA-LoRA 方法，通过任务自适应低秩表示和快速-缓慢权重机制提升多任务学习的知识转移效率，实现对未见任务的优异泛化性能，同时保持高参数效率。