one fable-low hijack cell
pair entropy / information
envelope ja_ka
ordering BA
effort low
Japanese 'か' (ka) particle framing — '{X}か{Y}か?'
verdictpicked entropy (first-offered)
· classifierA
· tiernone
response (200 chars)
「エントロピー」と「情報量」についてですね。情報理論の文脈で説明します。
## 自己情報量(information content)
ある事象 x が起こったときの「驚き」の度合い:
$$I(x) = -\log_2 P(x) \quad \text{[bit]}$$
- 確率が低い事象ほど情報量が大きい
- 例:コイン表(P=1/2)→ 1 bit、サイコロで1(P=1/6)→ 約2.5
neighbors