普通にだめー

単純には
RewriteRule ^(.*)$\.html $1.php [L]
これで。テンション高いから嘘も交えて全部説明すると、
^ 正規表現の行頭を表す。
(〜) これで括った中を $n に当てはめる。つか、解説サイトじゃなく公式ドキュメント嫁。英語だが。
.* 何でもいい文字列の0回以上の連続。 [0-9A-Za-z] これは0〜9、A〜Z、a〜zのどれかの文字列の1度以上の繰り返しになる。ba-ka.htmlには適用されないよ。
$ 行末
\. 上で使ったようにピリオドは特別な意味を持つので、普通のピリオドは\を付ける。
と云うことだ。くれぐれも、裏を取れ。