ルフィはやらかし度はすごいが実力も勢力もショボいから本当の意味では危険とは思われてなかったんじゃないの
それが傘下もつけて10億のカタクリ倒せるレベルにまでなったからこりゃいかんってなったんだろ