Tag: Large Language Model
All the articles with the tag "Large Language Model".
-
MELoRA: Mini-Ensemble Low-Rank Adapters for Parameter-Efficient Fine-Tuning
Published: at 11:52 AM
87.68 🤔本文提出MELoRA，通过并行堆叠多个小型LoRA模块实现更高的等效秩，以更少的参数在自然语言理解和指令跟随任务上显著优于LoRA。
-
Scalable Model Merging with Progressive Layer-wise Distillation
Published: at 11:26 AM 87.67 🤔本文提出ProDistill算法，通过逐层教师-学生蒸馏高效合并大型预训练模型，理论证明领域特定数据的必要性，并在视觉、语言任务上实现显著性能提升（6.14%-6.61%），展现出优越的内存和计算效率。
-
How much do language models memorize?
Published: at 11:44 AM 87.61 🤔本文提出了一种基于信息论的记忆量化方法，通过区分无意记忆和泛化，测量GPT风格语言模型的容量约为每个参数3.6比特，并揭示了数据集规模与模型容量比对双重下降和成员推断性能的影响。
-
Enhancing Efficiency and Exploration in Reinforcement Learning for LLMs
Published: at 11:16 AM 87.61 🤔本文提出动态采样预算分配和温度调度机制，通过基于问题难度的资源再分配和维持策略熵的探索能力，显著提升了大型语言模型在数学任务中的强化学习效率和性能，尤其在AIME 2024基准上pass@1和pass@16分别提高5.31%和3.33%。
-
An Analysis for Reasoning Bias of Language Models with Small Initialization
Published: at 11:52 AM 87.56 🤔本文通过理论分析和实验验证，揭示了小参数初始化规模如何通过影响嵌入空间和训练动态，促使大型语言模型更倾向于推理任务而非记忆任务。