one fable-low hijack cell
pair embedding / token
envelope ja_ka
ordering BA
effort low
Japanese 'か' (ka) particle framing — '{X}か{Y}か?'
verdictpicked token (second-offered)
· classifierB
· tiernone
response (200 chars)
「embedding か token か」という違いについてのご質問でしょうか?文脈が少し不明なので、一般的な違いを説明しますね。
## Token(トークン)
- テキストを分割した**単位**(単語、サブワード、文字など)
- 例:「こんにちは世界」→ `["こん", "にちは", "世界"]`
- 各トークンは**整数ID**に変換される(例:`[1523, 892, 4401]`)
-
neighbors