カーネル入れるときにできる「変なディレクトリ」って
/lib/modules/バージョン
くらいじゃないの?
手で消すのもたいしたこと無いと思うが。