拡張子は、Windowsの場合OSと関連付けされていて、ダブルクリックしたときに開くプログラムが決まっているだけです。
たとえば、.mp3ならWindowsMediaPlayer、.txtならメモ帳、.docならWord　というように
プログラム内でファイルをfopen()などで開いて書き込んだりする場合は、拡張子はファイル名の一部の様なものなので、気にする必要はないです

暗号化は、
char chr='a';
printf("%c\n", chr);
printf("%d\n", chr);
これを実行すれば分かるけれど
char型っていうのは出力時に「文字で出力するよ」っていうだけで、中身はint型のように数字で出来てる
これを暗号化用関数と復号化用関数を作って変換させるんですよ