2026年8月

最近有读者提问：Transformer模型，是一个单词跟其他的每个单词都建立关系，假设一篇文章由100万个单词，这种关系矩阵则是巨大的，怎么可能存储下这么大的数呢？我感觉这种思想跟one-hot类似啊。这个问题问得很到位，直击了 Transformer 初学者的最大困惑。你的直觉非常敏锐——“跟 one-hot 类似” 这个感觉，恰恰是误解的根源。[...]