こんなのDBにいれなきゃ何にいれるんだよｗ
大量のデータから重複のチェックなんてDBの十八番じゃないか