Tag: Multimodality

All the articles with the tag "Multimodality".

• First Finish Search: Efficient Test-Time Scaling in Large Language Models

  Published: 1 Jun, 2025 |  at  11:52 AM

  

  87.92 🤔

  本文提出First Finish Search (FFS)，一种无需训练的测试时扩展策略，通过并行解码并选择最先完成的推理轨迹，在推理任务上显著提升大型语言模型准确率（如DeepSeek-R1在AIME数据集达82.23%），同时减少高达45%的令牌使用量。

• Does quantization affect models' performance on long-context tasks?

  Published: 2 Jun, 2025 |  at  11:34 AM

  

  87.84 🤔

  本文系统评估了量化对大型语言模型在长上下文任务中的性能影响，发现8-bit量化基本保持准确率（下降约0.8%），而4-bit量化导致显著损失（最高达59%），且影响因模型、任务和语言而异，强调了在长上下文和多语言场景下谨慎应用量化的必要性。

• Rodimus*: Breaking the Accuracy-Efficiency Trade-Off with Efficient Attentions

  Published: 21 May, 2025 |  at  11:29 AM

  

  87.72 🤔

  本文提出 Rodimus 和 Rodimus+ 模型，通过数据依赖温度选择（DDTS）和滑动窗口共享键注意力（SW-SKA）机制，在保持性能的同时显著降低大型语言模型的计算和内存复杂度，挑战了准确性与效率的权衡。

• Deformable Beta Splatting

  Published: 8 May, 2025 |  at  11:07 AM

  

  87.15 🤔

  Deformable Beta Splatting (DBS) enhances real-time radiance field rendering by introducing deformable Beta Kernels for superior geometric fidelity, Spherical Beta for efficient color encoding, and kernel-agnostic MCMC optimization, achieving state-of-the-art visual quality with 45% fewer parameters and 1.5x faster rendering than 3DGS-MCMC.

• Two Is Better Than One: Rotations Scale LoRAs

  Published: 3 Jun, 2025 |  at  11:30 AM

  

  87.12 🤔

  本文提出 *RadarGate*，一种基于几何的门控方法，通过旋转和拉伸操作增强 LoRA-MoE 的表达能力，在拟合、泛化和可扩展性方面显著优于现有方法，实验结果在 6 个基准数据集的 21 个任务上得到验证。