Tag: Multimodal Systems
All the articles with the tag "Multimodal Systems".
-
Why Do More Experts Fail? A Theoretical Analysis of Model Merging
Published: at 11:34 AM
86.88 🤔本文通过理论分析揭示了模型融合性能随专家模型数量增加而饱和的原因，并提出Reparameterized Heavy-Tailed方法扩展参数空间覆盖范围，在多个基准任务上验证了其有效性。
-
Activated LoRA: Fine-tuned LLMs for Intrinsics
Published: at 12:17 AM 86.84 🤔本文提出 Activated LoRA (aLoRA)，一种改进的 LoRA 框架，通过仅对激活后 token 适配权重，复用基础模型 KV 缓存，实现高效动态适配，并在多个任务上保持与标准 LoRA 相当的性能，同时显著降低推理成本。
-
When Models Reason in Your Language: Controlling Thinking Trace Language Comes at the Cost of Accuracy
Published: at 11:29 AM 86.23 🤔本文通过XReasoning基准揭示了大型推理模型在多语言推理中语言匹配与答案准确性之间的权衡，并通过提示破解和少样本后训练方法提高语言匹配率，但以牺牲准确性为代价，凸显了当前模型的局限性。
-
Reinforcement Fine-Tuning Powers Reasoning Capability of Multimodal Large Language Models
Published: at 11:33 AM 85.98 🤔本文作为立场论文，主张强化微调（RFT）通过强化学习算法显著提升多模态大语言模型（MLLMs）的推理能力，总结了社区在多模态、任务和领域上的进展，并提出了五个未来研究方向，但缺乏具体方法创新和实验验证。
-
It Takes a Good Model to Train a Good Model: Generalized Gaussian Priors for Optimized LLMs
Published: at 11:59 AM 85.94 🤔本文提出基于广义高斯分布（GGD）的LLM优化框架，通过GG初始化、DeepShape后处理和RF8浮点格式，从初始化到部署全流程提升模型压缩率、精度和硬件效率，实验显示显著的压缩率提升和可控的精度损失。