情報理論でお勧めの書籍を教えて下さい。

１．初等数学をよく理解していない人のために、数学的基本事項の解説について触れているか、あるいは文系の数学レベルでも読解できるように、数式が詳しく易しく説明されているものが良いです。
２．さらにカルバック・ライブラー・ダイバージェンスまで扱っているものをお願いします。

複数冊にまたがっても良いです。
複数冊にまたがる場合、あるいは数学的予備知識を補強するために、この順番で読むと良い等々あればアドバイスをお願いします。