Tag: Long Context

All the articles with the tag "Long Context".

• SELF: Self-Extend the Context Length With Logistic Growth Function

  Published: 1 Jun, 2025 |  at  11:52 AM

  

  86.07 🤔

  本文提出SELF方法，通过逻辑增长函数动态调整token分组大小以扩展大型语言模型的上下文长度，在部分长上下文任务上相较Self-Extend提升了性能，但普适性和稳定性仍需验证。

• Round and Round We Go! What makes Rotary Positional Encodings useful?

  Published: 17 May, 2025 |  at  11:19 PM

  

  85.92 🤔

  本文通过理论和实证分析揭示了旋转位置编码（RoPE）在大型语言模型中通过高频构建位置注意力模式和低频传递语义信息的作用机制，并提出p-RoPE方法通过截断低频提高长上下文鲁棒性，在Gemma 2B模型上取得性能提升。

• A Training-Free Length Extrapolation Approach for LLMs: Greedy Attention Logit Interpolation (GALI)

  Published: 3 Jun, 2025 |  at  11:26 AM

  

  85.88 🤔

  本文提出了一种无训练的长度外推方法GALI，通过贪婪局部化位置插值和注意力逻辑值插值，显著提升了大型语言模型在长上下文任务中的稳定性和性能，同时避免了输入长度特定调优的需求。

• Efficient Length-Generalizable Attention via Causal Retrieval for Long-Context Language Modeling

  Published: 30 May, 2025 |  at  11:21 AM

  

  85.79 🤔

  本文提出Grouped Cross Attention (GCA)机制，通过可微分检索和动态上下文选择实现Transformer模型的长度泛化，在16M上下文长度下达到完美passkey检索准确率，同时显著降低计算和内存成本。

• Tensor Product Attention Is All You Need

  Published: 1 Jun, 2025 |  at  11:51 AM

  

  85.73 🤔

  本文提出Tensor Product Attention (TPA)，通过上下文相关的张量分解压缩KV缓存，显著减少推理内存占用，并在语言建模任务中优于或匹配MHA、MQA等基线性能。