"野良"でmake installするのに
システム標準の場所に入れてしまうのがそもそもの間違い。

--prefix=/usr/local/へんなアプリ
とするか(rm -rf /usr/local/へんなアプリ でぜんぶ消える)

rpm(build) -ba, dpkg-buildpackage, make package, pkgmk
あたりで、パッケージにしてから入れるとたぶん安心。

たいていのモノは
make install DESTDIR=`pwd`/ちょっとテスト などとすると
カレントの"ちょっとテスト"以下にインスコロールされる。