one fable-low hijack cell
pair embedding / token
envelope ja_ka
ordering AB
effort low
Japanese 'か' (ka) particle framing — '{X}か{Y}か?'
verdictpicked token (second-offered)
· classifierB
· tiernone
response (200 chars)
# Token化とEmbeddingの違い
自然言語処理(NLP)における2つの重要な概念ですね。
## Token(トークン)化
テキストを小さな単位に分割する処理です。
```
"今日は良い天気です"
→ ["今日", "は", "良い", "天気", "です"]
→ [1234, 56, 789, 2345, 67] (token ID)
```
- 単語、サブワード、文字単位な
neighbors