キャスター丸ごと交換じゃなくてホイールだけ？
どんな風に付けてあるかにもよるけど、カシメてあるならサンダーで頭を飛ばすしかないと思う。