そう言えば、
~/.emacs-faces.elにこんな部分がありました。
(if window-system
(progn
(load "~/.emacs-fontset.el")
(setq default-frame-alist
(append
'((font . "fontset-16") ;; デフォルトフォントセット
(width . 80) (height . 40) ;; ウィンドウサイズ
)
default-frame-alist))))
数字を変えましたが変化ありませんでした。

自分はcolor-mateのMidNightを使ってるので、
/usr/share/emacs/site-lisp/color-mate/theme/MidNight.el
の中の以下の40、80の部分を、; をはずした上で変えましたがダメでした。
(setq color-mate:theme
'(
(frame-background-color . "rgbi:0.01/0.001/0.05")
(frame-foreground-color . "white")
;(frame-height . 40)
;(frame-width . 80)

同じように、~/.xemacs.elの以下も影響なしですた。
(setq default-frame-alist (append (list '(cursor-color . "purple")
'(width . 80)
'(height . 40))
default-frame-alist))

~/.emacsや~/.emacs.elには関係ありそなのは、見あたりません。
文字の大きさを変えて成功したのは、~/.emacs-color.elでしたが、
ここにはwindow の大きさに関するものは、(自分が見た限りでは)見当たりませんでした。