Tag: Parameter-Efficient Fine-Tuning
All the articles with the tag "Parameter-Efficient Fine-Tuning".
-
Activated LoRA: Fine-tuned LLMs for Intrinsics
Published: at 12:17 AM
86.84 🤔本文提出 Activated LoRA (aLoRA)，一种改进的 LoRA 框架，通过仅对激活后 token 适配权重，复用基础模型 KV 缓存，实现高效动态适配，并在多个任务上保持与标准 LoRA 相当的性能，同时显著降低推理成本。
-
Not All Adapters Matter: Selective Adapter Freezing for Memory-Efficient Fine-Tuning of Language Models
Published: at 11:20 PM 86.60 🤔本文提出SAFE方法，通过选择性冻结对任务贡献较小的适配器，实现资源高效的语言模型微调，在显著降低内存使用和计算成本的同时，保持甚至提升模型性能。
-
Train with Perturbation, Infer after Merging: A Two-Stage Framework for Continual Learning
Published: at 11:40 AM 86.32 🤔本文提出Perturb-and-Merge (P&M)框架，通过训练时任务向量扰动和推理时模型凸组合合并，结合LoRA实现参数高效持续学习，在多个基准数据集上显著缓解灾难性遗忘并提升性能。
-
LoRA-One: One-Step Full Gradient Could Suffice for Fine-Tuning Large Language Models, Provably and Efficiently
Published: at 01:14 PM 86.16 🤔本文通过理论分析揭示LoRA适配器与一步全微调梯度子空间的对齐特性，提出LoRA-One算法，利用谱初始化策略显著提升大型语言模型在自然语言理解、数学推理和代码生成任务上的微调性能，同时保持计算效率。
-
EfficientQAT: Efficient Quantization-Aware Training for Large Language Models
Published: at 11:15 AM 86.14 🤔EfficientQAT提出了一种高效的量化感知训练框架，通过块级全参数训练（Block-AP）和端到端量化参数训练（E2E-QP），在低比特场景下显著提升大型语言模型的量化性能，同时大幅降低训练资源需求。