Tag: Parameter-Efficient Fine-Tuning
All the articles with the tag "Parameter-Efficient Fine-Tuning".
-
Budget-Adaptive Adapter Tuning in Orthogonal Subspaces for Continual Learning in LLMs
Published: at 11:26 AM
90.65 🤔本文提出OA-Adapter，一种用于大型语言模型持续学习的新型参数高效方法，通过单阶段端到端训练结合动态预算分配与正交子空间学习，在标准基准上实现更高准确率并减少58.5%的参数使用。
-
MINGLE: Mixtures of Null-Space Gated Low-Rank Experts for Test-Time Continual Model Merging
Published: at 11:24 AM 90.40 🤔MINGLE提出了一种测试时持续模型合并方法，通过混合低秩专家架构和自适应空空间约束门控，利用少量无标签测试样本动态融合模型，显著提升了持续学习中的泛化性能并减少了灾难性遗忘。
-
Scalable Parameter and Memory Efficient Pretraining for LLM: Recent Algorithmic Advances and Benchmarking
Published: at 11:22 AM 90.15 🤔本文通过综述、基准测试和提出权重重分解与动量重置两种技术，探索了大型语言模型预训练中的参数和内存高效方法，显著提升了低秩方法的性能并减少内存消耗，但仍无法完全匹配全秩训练的效果。
-
LoRASuite: Efficient LoRA Adaptation Across Large Language Model Upgrades
Published: at 11:17 AM 89.99 🤔本文提出LoRASuite，一种针对大型语言模型升级的模块化方法，通过转换矩阵、层映射和注意力头映射高效适配LoRA权重，并在数学与常识任务上显著优于小规模LoRA微调，甚至在某些场景下超越全规模重新训练，同时大幅降低内存和时间消耗。
-
Decom-Renorm-Merge: Model Merging on the Right Space Improves Multitasking
Published: at 11:30 AM 89.89 🤔本文提出Decom-Renorm-Merge（DRM）方法，通过奇异值分解和重归一化构建共享表示空间以合并多任务模型权重，在视觉和语言任务上显著优于现有方法。