Tag: Tokenization

All the articles with the tag "Tokenization".

• Achieving Tokenizer Flexibility in Language Models through Heuristic Adaptation and Supertoken Learning

  Published: 23 May, 2025 |  at  11:14 AM

  

  85.73 🤔

  本文提出TokenAdapt框架，通过混合启发式初始化策略实现分词器移植，并在零样本困惑度测试中显著优于基线方法，同时初步探索Supertoken学习以提升压缩效率。

• Large Vocabulary Size Improves Large Language Models

  Published: 5 Jun, 2025 |  at  11:24 AM

  

  85.40 🤔

  本文通过实验证明较大词汇量能显著提升单语大型语言模型在英语和日语任务中的性能，并提出了一种在持续训练中更换词汇表的简单方法以适配目标语言，进一步提升模型表现。

• Adaptive Layer-skipping in Pre-trained LLMs

  Published: 4 May, 2025 |  at  04:28 PM

  

  62.55 🤔

  本文提出FlexiDepth方法，通过插件式路由器和适配器实现预训练LLM的自适应层跳过，提高计算效率同时保持生成性能，并通过实验揭示了token类型对计算需求的影响。