Tag: In-Context Learning
All the articles with the tag "In-Context Learning".
-
Satori: Reinforcement Learning with Chain-of-Action-Thought Enhances LLM Reasoning via Autoregressive Search
Published: at 11:26 AM
85.95 🤔本文提出Satori模型，通过Chain-of-Action-Thought (COAT) 推理框架和两阶段训练（小规模格式调整与大规模强化学习），显著提升了单一7B大型语言模型在数学推理及非领域任务中的自回归搜索和推理能力。
-
Revisiting Overthinking in Long Chain-of-Thought from the Perspective of Self-Doubt
Published: at 11:28 AM 85.64 🤔本文从自我怀疑视角量化分析长链式思维中的过度思考问题，并提出一种简单提示方法，通过评估输入有效性减少令牌消耗和自我怀疑，在数学推理任务中显著提升效率并维持准确率。
-
Large Language Models Might Not Care What You Are Saying: Prompt Format Beats Descriptions
Published: at 11:41 AM 85.55 🤔本文提出了一种'Ensemble'提示框架，通过描述上下文示例选择标准提升大型语言模型在上下文学习中的性能，实验表明模型对提示格式的敏感性远高于描述内容本身，尤其在小型模型上效果显著。
-
Fine-Tuning on Diverse Reasoning Chains Drives Within-Inference CoT Refinement in LLMs
Published: at 11:26 AM 85.53 🤔本文提出DCoT方法，通过在单次推理步骤内生成多个多样化推理链并进行自我改进，显著提升了大型语言模型在复杂推理任务上的性能，尤其在结果空间较大的任务中效果突出。
-
MateICL: Mitigating Attention Dispersion in Large-Scale In-Context Learning
Published: at 11:13 PM 85.27 🤔本文提出 MateICL 框架，通过分割上下文窗口并引入注意力校准层解决大型语言模型在大规模上下文学习中的注意力分散问题，实验证明其在多种 NLP 任务中有效提升性能并保持稳定性。