Tag: Multimodal Systems
All the articles with the tag "Multimodal Systems".
-
SSR: Speculative Parallel Scaling Reasoning in Test-time
Published: at 11:09 AM
85.72 🤔本文提出SSR框架，通过选择性并行模块和步骤级推测性解码，在测试时显著提升大型语言模型在数学推理任务中的效率-准确性权衡，无需额外训练。
-
A Unified Approach to Routing and Cascading for LLMs
Published: at 11:41 AM 85.71 🤔本文通过理论分析推导出最优的路由和级联策略，并提出级联路由这一统一框架，在成本预算内显著提升大型语言模型的输出质量，尤其在质量估计准确的场景下性能提升明显。
-
Analyzing Mitigation Strategies for Catastrophic Forgetting in End-to-End Training of Spoken Language Models
Published: at 11:19 AM 85.69 🤔本文研究了口语语言模型（SLM）端到端训练中的灾难性遗忘问题，通过评估模型合并、LoRA缩放因子折扣和经验回放三种策略，发现经验回放最为有效，且结合其他方法可进一步提升性能。
-
MateICL: Mitigating Attention Dispersion in Large-Scale In-Context Learning
Published: at 11:13 PM 85.27 🤔本文提出 MateICL 框架，通过分割上下文窗口并引入注意力校准层解决大型语言模型在大规模上下文学习中的注意力分散问题，实验证明其在多种 NLP 任务中有效提升性能并保持稳定性。
-
R2R: Efficiently Navigating Divergent Reasoning Paths with Small-Large Model Token Routing
Published: at 11:13 AM 85.25 🤔本文提出R2R，一种令牌级别的神经路由方法，通过选择性使用LLM修正SLM推理路径中的分歧令牌，在平均激活参数5.6B下超越R1-14B模型性能，并比R1-32B实现2.8倍墙钟加速。