Tag: Efficiency

All the articles with the tag "Efficiency".

• MergeBench: A Benchmark for Merging Domain-Specialized LLMs

  Published: 20 May, 2025 |  at  11:23 AM

  

  90.41 🤔

  本文提出MergeBench，一个针对领域专精大型语言模型合并的全面基准测试框架，基于Llama和Gemma模型（2B-9B）评估八种合并方法，揭示了合并在大模型上的优越性、稀疏化和系数调整对知识保留的重要性，并提供了算法选择的实用指南。

• Cyber Security Data Science: Machine Learning Methods and their Performance on Imbalanced Datasets

  Published: 15 May, 2025 |  at  11:06 AM

  

  90.25 🤔

  This paper systematically evaluates machine learning classifiers and imbalance learning techniques on two cybersecurity datasets, revealing that XGB and RF perform robustly, while sampling and ensembling effects vary, emphasizing the need for dataset-specific method selection.

• M+: Extending MemoryLLM with Scalable Long-Term Memory

  Published: 3 Jun, 2025 |  at  11:27 AM

  

  90.20 🤔

  M+通过引入长期记忆机制和协同训练的检索器，显著扩展了MemoryLLM的知识保留能力至超过160k token，并在长上下文任务中优于基线，同时保持较低GPU内存消耗。

• Scalable Parameter and Memory Efficient Pretraining for LLM: Recent Algorithmic Advances and Benchmarking

  Published: 31 May, 2025 |  at  11:22 AM

  

  90.15 🤔

  本文通过综述、基准测试和提出权重重分解与动量重置两种技术，探索了大型语言模型预训练中的参数和内存高效方法，显著提升了低秩方法的性能并减少内存消耗，但仍无法完全匹配全秩训练的效果。

• LoRASuite: Efficient LoRA Adaptation Across Large Language Model Upgrades

  Published: 22 May, 2025 |  at  11:17 AM

  

  89.99 🤔

  本文提出LoRASuite，一种针对大型语言模型升级的模块化方法，通过转换矩阵、层映射和注意力头映射高效适配LoRA权重，并在数学与常识任务上显著优于小规模LoRA微调，甚至在某些场景下超越全规模重新训练，同时大幅降低内存和时间消耗。