シャノンの情報理論

**名無しさん＠お腹いっぱい。** · 2006/08/20(日) 20:37:05

せっかく板ができたので
とりあえずメジャーなシャノンの情報理論について語りませんか。
理解の浅いところを相互に深める方向で。

**名無しさん＠お腹いっぱい。** · 2006/08/20(日) 21:44:07

L2可積分と言う仮定が2get!

**名無しさん＠お腹いっぱい。** · 2006/08/20(日) 21:50:42

しまったシャノンは別だったゴメス

**名無しさん＠お腹いっぱい。** · 2006/08/20(日) 23:35:57

語る上でこれだけは外せない。
http://cm.bell-labs.com/cm/ms/what/shannonday/shannon1948.pdf

**名無しさん＠お腹いっぱい。** · 2006/08/21(月) 13:36:52

僕は、募集に来ました。
とても素晴らしい掲示板の、
メンバー（常連さん）の募集です！
この掲示板で放談や議論をしていると
必然的に国語力が身につきます。
意味のあるフリートーク。自分が尊重され、自分について考えられる場所。ネット上にそうはありません。
是非、未来のチャンピオンサイトの常連さんになりませんか？
発展されるのはあなたです。
そう。あなたに今以上の手腕が養われる。
変哲な勧誘ではありません。僕の今の、熱き思いを伝えました！

　　　　　　　　↓アドレスです↓
http://www3.ezbbs.net/28/sinsisou/

**名無しさん＠お腹いっぱい。** · 2006/08/21(月) 17:29:17

>> 4
原論ですね。確かに外せない。

とりあえずどこから語りますかね。立ててみたものの困ったな。

**名無しさん＠お腹いっぱい。** · 2006/08/22(火) 19:59:47

第2法則はノイズに対して最適なコーディングの存在（ランダムコーディング）を言ってるけど、
ランダムコーディングは実用的ではないと聞きました。現在知られている実用的な
最適コーディングは何なのでしょう。
名前かキーワードだけでもいいですので、教えてください。

**名無しさん＠お腹いっぱい。** · 2006/08/23(水) 15:44:29

>> 7
多分PN符号あたりのことになるとおもう

**名無しさん＠お腹いっぱい。** · 2006/08/23(水) 21:41:59

　　ミll^´二ヽ
　　　ヾ　´д`）　　＜今日は、青池順子です。
　　　 U/xx.ij
　　　　|__|__|
　　　　∪∪

**名無しさん＠お腹いっぱい。** · 2006/09/10(日) 21:36:01

>>7
LDPC、ターボ、代数幾何。

**名無しさん＠お腹いっぱい。** · 2006/09/12(火) 14:47:44

シヤノン

**名無しさん＠お腹いっぱい。** · 2006/09/12(火) 16:04:44

>>11
ttp://web.canon.jp/about/history/episode01c.html

**名無しさん＠お腹いっぱい。** · 2006/09/28(木) 13:58:36

キユーピー

**名無しさん＠お腹いっぱい。** · 2006/11/16(木) 03:20:02

チユーリング

**名無しさん＠お腹いっぱい。** · 2006/11/16(木) 13:12:41

シヤミア

**名無しさん＠お腹いっぱい。** · 2007/03/23(金) 21:58:42

キヤビア

**名無しさん＠お腹いっぱい。** · 2007/05/09(水) 21:05:25

test

**はじめまして** · 2007/06/14(木) 19:08:56

情報理論で、情報量はなぜf(p)=log(p)なのでしょうか？
正値性、f(p)>=0
単調減少性、
独立性、f(pq)=f(p)+f(q)
連続性、
を満たすのはlogしかないと示すことはできませんか？

**名無しさん＠お腹いっぱい。** · 2007/07/02(月) 03:02:30

微分可能性を仮定すれば簡単である。

まず、独立性からf(1)=0である。
独立性の式をpで微分すると、
　　　　qf'(pq)=f'(p)
いまこの式で、p=1とおけば　　qf'(q)=f'(1)=c
よって、f'(q)=c/qとなるので、f(1)=0と合わせて積分から
f(q)= c log(q) となる。
一般に確率は１以下だから、
ｃは非正の定数でなければ正値性を満たさない。