話が読めないが、情報理論は通信に関するモデルから来てるんじゃないの？

情報を符号化した信号をAからBに通信で送るとするじゃん
理想的にはその信号がそのまま届くよね
だけどさ、ほら、現実だとノイズか乗るじゃん

てな感じで