gemが使用時になにか作らせるタイプのやつ(rspec:install とか)は、
プロジェクトをバージョン管理しておいて、やる前の状態に戻せるように
しておいたほうがいい。
作る時の生成メッセージを覚えてはいられないだろうし。

generatorを追加するタイプのものなら、script/rails generateしたものは
script/rails destroy で元に戻してくれる。(generateされたマイグレーション
も消えるので、ダウンマイグレーションを忘れず実行しておくこと)

単にgemを取り除く作業は、Gemfileから消してbundle clean