おお、ヒントありがとうございます。
AddDefaultCharset none
とすることで、それぞれのファイルに記述してある文字コードで
表示されるようになりました！
コメントアウトせずに noneとするところがポイントだったようです。