情報理論

study


というよりむしろmimetex機能のテスト。背景が黒いと見づらいからシアンにしてみたけど微妙。どうせそのうちデザイン変えるつもりだったから次は背景が白いのにしようか。
なんかalignの挙動が変だな。なんでだろ。そんなに使わないだろうけど気になる。


情報理論の論文に取り組んだものの詰まって放置状態になっていたのだけれど、甘利俊一という人のわかりやすい本を見つけて読み進めている。
\cyan H(A)+H(B)\geq H(A,B)
がどうしても納得できずに飛ばしていたのだけれどようやく納得できた。AとBとの事象数を揃える（小さい方には確率が0の事象を付け加える）のがミソか。
\cyan \sum p_i=1, \sum q_i=1
という2つの確率分布があった時に、
\cyan -\sum q_i\log q_i\leq-\sum q_i\log p_i
が成立することが、
\cyan log_ex\leq x-1\\\Leftrightarrow log_2x\leq (log_2e)(x-1)
を使うと
\cyan \begin{eqnarray}\sum q_i\log\frac{p_i}{q_i}&\leq\sum q_i(\log_2e)\left(\frac{p_i}{q_i}-1\right)\\&=\log_2e\sum(p_i-q_i)=0\end{eqnarray}
から証明できる。
\cyan\begin{eqnarray}H(A)+H(B)&=-\sum_ip(A_i)\log p(A_i)\\&-\sum_jp(B_j)\log p(B_j)\\&=-\sum_{i,j}p(A_i,B_j)\log p(A_i)p(B_j)\end{eqnarray}
にこれを使えば
\cyan H(A)+H(B)\geq-\sum_{i,j}p(A_i,B_j)\log p(A_i,B_j)=H(A,B)
が証明できて、このとき等号が成立するのは
\cyan p(A_i,B_j)=p(A_i)p(B_j)
のときだけだということもわかる、と。