黒ひげが四皇扱いされたのは白髭残党返り討ちにしたのがきっかけだけど
白髭の縄張りを全部制圧して他の四皇や海軍も
手が付けられないほど勢力が大きくなったからだろう
ルフィなんて四皇相手に領土争いなんて出来ないだろうし