「activations」と「attention」のどちらについて知りたいか、という質問でしょうか?文脈が少し不明なので、両者の違いを簡単に整理します。 ## Activations(活性化/活性値) - ニューラルネットワークの各層を通過したときの**中間出力の値**全般を指します - 例:Transformerなら residual stream、MLP の出力、各ニューロンの発火値など -