recentfに関してだけいえばiswitchb-use-virtual-buffersをtにしておけば
一応recentf-listの中身についてもマッチするようになるよ。マッチするバッファがないときだけマッチする仕様だけど。