Tag: Parameter-Efficient Fine-Tuning
All the articles with the tag "Parameter-Efficient Fine-Tuning".
-
Dynamic Parametric Retrieval Augmented Generation for Test-time Knowledge Enhancement
Published: at 04:29 PM
71.89 🤔本文提出动态参数化RAG框架DyPRAG，通过训练一个轻量级参数翻译器在测试时动态转换文档为参数知识，显著降低成本、提升泛化能力和缓解RAG幻觉问题。
-
Block Circulant Adapter for Large Language Models
Published: at 04:34 PM 71.85 🤔本文提出块循环适配器方法，通过利用块循环矩阵和FFT优化LLM的微调过程，显著降低存储和计算成本，同时通过学习率调整确保训练稳定。
-
Towards Robust and Parameter-Efficient Knowledge Unlearning for LLMs
Published: at 01:27 AM 70.15 🤔本文提出了低秩知识遗忘（LoKU）框架，包含反向铰链损失（IHL）和 Fisher 加权低秩适配器初始化（FILA），以实现鲁棒且参数高效的大语言模型知识遗忘，有效移除敏感信息同时保持模型原有能力。
-
Training Plug-n-Play Knowledge Modules with Deep Context Distillation
Published: at 04:28 PM 69.06 🤔本文提出使用深度上下文蒸馏训练可插拔知识模块的方法，能够在低数据场景下高效整合文档知识，并通过实验证明其在问答任务中优于传统方法且与 RAG 具有协同效应。
-
Replay to Remember: Retaining Domain Knowledge in Streaming Language Models
Published: at 04:30 PM 65.14 🤔本文通过结合LoRA和轻量级重放机制的方法，在流式学习条件下帮助大型语言模型减轻灾难性遗忘，同时实现了实时域适应。