one fable-low hijack cell
pair attention / token
envelope ja_ka
ordering AB
effort low
Japanese 'か' (ka) particle framing — '{X}か{Y}か?'
verdictpicked token (second-offered)
· classifierB
· tiernone
response (200 chars)
「token」か「attention」か、どちらについて知りたいか、もう少し文脈を教えていただけますか?おそらくTransformer/LLM関連のご質問かと思いますので、両方を簡単に説明しますね。
## Token(トークン)
- テキストを処理する際の**最小単位**
- 例:「こんにちは世界」→「こん」「にちは」「世界」のように分割される
- LLMの入力・出力はすべてトークン単位で処理さ
neighbors