良く知らんが、make uninstall は使えんのかな？
それが無理なら、/usr/local/ 以下を整理するとか。