Tag: Parameter-Efficient Fine-Tuning
All the articles with the tag "Parameter-Efficient Fine-Tuning".
-
Unifying Multimodal Large Language Model Capabilities and Modalities via Model Merging
Published: at 11:19 AM
88.24 🤔本文提出一个多模态大语言模型（MLLM）融合基准和改进的任务向量优化方法（WUDI v2），通过低秩近似去除噪声并优化合并向量，在多任务和跨模态融合实验中取得平均2.48%的性能提升，展现了无需数据训练即可构建高性能MLLMs的潜力。
-
Recurrent Knowledge Identification and Fusion for Language Model Continual Learning
Published: at 11:26 AM 88.00 🤔本文提出Recurrent-KIF框架，通过内外循环机制动态估计参数重要性并迭代融合新旧知识，在持续学习中有效缓解灾难性遗忘并促进知识转移，实验验证其在多个大语言模型上的性能优势。
-
ShareLoRA: Parameter Efficient and Robust Large Language Model Fine-tuning via Shared Low-Rank Adaptation
Published: at 11:25 AM 87.99 🤔ShareLoRA通过在模型层间共享低秩矩阵A或B，显著减少可训练参数量（相较LoRA减少44%-96%），并在多种模型和任务中保持甚至超越LoRA的性能，展现出高效性、适应性和跨域鲁棒性。
-
Scalable Strategies for Continual Learning with Replay
Published: at 11:14 AM 87.97 🤔本文提出低秩适应（LoRA）、整合和顺序合并三种策略以提升持续学习的可扩展性，通过减少重放样本需求（最高65%）并结合高效微调技术，在图像分类任务中显著提高性能。
-
Steering LLM Reasoning Through Bias-Only Adaptation
Published: at 11:21 AM 87.94 🤔本文通过训练转向向量（steering vectors）验证了大型语言模型中推理能力已潜藏的假设，在数学推理任务上以极高的参数效率接近甚至超过全模型微调的表现。