Tag: Representation Learning
All the articles with the tag "Representation Learning".
-
Hybrid Latent Reasoning via Reinforcement Learning
Published: at 11:43 AM
86.71 🤔本文提出HRPO，一种基于强化学习的混合潜在推理框架，通过门控机制结合离散token和连续隐状态，显著提升了大型语言模型在知识和推理任务上的性能，同时减少了对链式思维数据的依赖。
- Published: at 11:19 AM 86.54 🤔
本文通过隐藏状态的几何特性（可分离性和对齐性）提出统一框架，揭示上下文学习（ICL）在分类任务中的两阶段机制——早期层通过PTH增强可分离性，后期层通过IH优化对齐性，并解释了任务向量的有效性。
-
Understanding Cross-Lingual Inconsistency in Large Language Models
Published: at 11:22 AM 86.50 🤔本文通过*logit lens*分析大型语言模型（LLMs）的跨语言不一致性，发现大型模型倾向于在个别语言子空间操作而非共享语义空间，并提出跨语言激活引导方法以提升小型模型的多语言推理性能和知识转移。
-
Superposition Yields Robust Neural Scaling
Published: at 11:17 PM 86.47 🤔本文通过玩具模型和实际LLMs分析，揭示了超位置作为神经扩展律的重要机制，在强超位置下损失与模型维度成反比，与特征频率分布无关，从而解释了损失随模型规模幂律下降的现象。
-
RepCali: High Efficient Fine-tuning Via Representation Calibration in Latent Space for Pre-trained Language Models
Published: at 11:34 AM 86.31 🤔本文提出了一种名为RepCali的微调方法，通过在潜在空间中校准预训练语言模型编码器输出，显著提升了25个模型在8个下游任务上的性能，同时仅增加0-0.8%的参数。