Tag: Generative Modeling
All the articles with the tag "Generative Modeling".
-
I Predict Therefore I Am: Is Next Token Prediction Enough to Learn Human-Interpretable Concepts from Data?
本文通过潜在变量模型和可识别性分析,证明大型语言模型通过下一词预测学习的表示近似为潜在概念后验概率对数的线性变换,支持线性表示假设,并提出结构化稀疏自编码器改进概念提取效果。