↶ lobby  ·  fable  ·  hijack  ·  chinese_casual  ·  Token / Vector · AB

one fable-low hijack cell

pair Token / Vector envelope chinese_casual ordering AB effort low
verdictpicked Token (first-offered)  ·  classifierA · tiernone

response (200 chars)

这是个很有意思的问题,不过含义可能有几种,我先按最常见的语境解释一下,你可以告诉我你具体想问哪个方向。

## 在 NLP / 大语言模型中

**Token 和 Vector 不是二选一的关系,而是处理流程中的两个阶段:**

1. **Token(离散符号)**
   - 文本先被分词器(tokenizer)切成 token,如 "你好世界" → `["你好", "世界"]`
   - Tok

neighbors

ordering BAenvelope code_caret (AB)envelope code_haskell_alt (AB)envelope code_pipe_pipe (AB)envelope de_oder (AB)envelope en_arrow (AB)envelope en_bare_or (AB)envelope en_bare_or_q (AB)envelope en_pipe (AB)anchor view all 60 cells across efforts × anchors