Tag: In-Context Learning
All the articles with the tag "In-Context Learning".
-
Beyond Output Matching: Bidirectional Alignment for Enhanced In-Context Learning
Published: at 11:24 AM
91.44 🤔本文提出双向对齐（BiAlign）方法，通过对齐学生模型与教师模型的令牌级输出分布和输入偏好，显著提升了学生模型的上下文学习能力，并在多种任务上取得了优于基线的结果。
-
One Task Vector is not Enough: A Large-Scale Study for In-Context Learning
Published: at 11:28 AM 91.21 🤔本文通过大规模数据集 QUITEAFEW 研究上下文学习中任务向量的作用，发现其在中间层表现最佳但对复杂任务支持不足，提出复杂任务依赖多个子任务向量的分布式表示假设。
-
Can Past Experience Accelerate LLM Reasoning?
Published: at 11:16 AM 90.72 🤔本文提出SpeedupLLM框架，通过自适应计算分配和记忆机制实现LLM推理加速，实验表明计算成本最高可减少56%，尤其在高相似度问题上效果显著。
-
Beyond Single-Task: Robust Multi-Task Length Generalization for LLMs
Published: at 11:14 AM 90.65 🤔本文提出Meta-RFFT框架，通过多任务规则跟随预训练和少量下游适应，显著提升了大型语言模型在未见任务上的长度泛化能力，32B模型在长度30的加法任务上达到98%准确率，超越现有长链推理模型。
-
Log-Augmented Generation: Scaling Test-Time Reasoning with Reusable Computation
Published: at 11:18 AM 89.05 🤔本文提出日志增强生成（LAG）框架，通过使用KV缓存直接复用过去的推理计算，显著提升大型语言模型在知识和推理密集型任务上的准确性和效率，优于标准代理系统及现有反思和KV缓存方法。