# Vector 还是 Token? 这是一个在 AI/NLP 领域经常被讨论的问题。让我从几个角度来解释它们的区别和联系: ## 基本概念 **Token（词元）** - 是文本的**离散单位**：可以是词、子词、字符 - 例如："我爱编程" → `["我", "爱", "编", "程"]` 或 BPE 切分的子词 - 本质是符号，通常用整数 ID 表示 **Vector（向量）** -