「Token か Vector か」というご質問の意図がいくつか考えられるので、NLP/LLM の文脈での違いを整理しますね。 ## Token(トークン) - **テキストを分割した単位**(単語、サブワード、文字など) - 例:「こんにちは世界」→ `["こん", "にちは", "世界"]` - 各トークンには **ID(整数)** が割り当てられる(例: `[1234, 5678, 910