Tag: Model Merging

All the articles with the tag "Model Merging".

• Decom-Renorm-Merge: Model Merging on the Right Space Improves Multitasking

  Published: 3 Jun, 2025 |  at  11:30 AM

  

  89.89 🤔

  本文提出Decom-Renorm-Merge（DRM）方法，通过奇异值分解和重归一化构建共享表示空间以合并多任务模型权重，在视觉和语言任务上显著优于现有方法。

• Scalable Model Merging with Progressive Layer-wise Distillation

  Published: 4 Jun, 2025 |  at  11:26 AM

  

  87.67 🤔

  本文提出ProDistill算法，通过逐层教师-学生蒸馏高效合并大型预训练模型，理论证明领域特定数据的必要性，并在视觉、语言任务上实现显著性能提升（6.14%-6.61%），展现出优越的内存和计算效率。

• Dynamic Fisher-weighted Model Merging via Bayesian Optimization

  Published: 6 May, 2025 |  at  01:19 AM

  

  86.13 🤔

  本文提出了动态 Fisher 加权合并 (DF-Merge) 方法，通过贝叶斯优化动态调整微调模型的缩放系数，并在这些缩放模型上利用 Fisher 信息进行加权合并，从而高效地创建性能显著优于现有基线的多任务模型。

• Navigating the Accuracy-Size Trade-Off with Flexible Model Merging

  Published: 4 Jun, 2025 |  at  11:26 AM

  

  85.58 🤔

  FlexMerge提出了一种无数据的灵活模型合并框架，通过逐块贪婪合并微调模型，支持任意大小模型生成，并在精度-大小权衡上展现出显著的初期精度提升和接近微调精度的潜力。

• CAT Merging: A Training-Free Approach for Resolving Conflicts in Model Merging

  Published: 18 May, 2025 |  at  11:21 AM

  

  85.43 🤔

  CAT Merging提出了一种无需训练的多任务模型合并框架，通过参数特定的修剪策略有效减少知识冲突，在视觉、语言和视觉-语言任务上显著提升了合并模型性能，平均准确率分别提高2.5%（ViT-B/32）和2.0%（ViT-L/14）。