テキストファイルの中に大量の単語（１Gほど）が羅列しています。
この単語でいくつもダブっている単語がありまして、同じ単語が４つ５つある場合もあります。
ダブっている単語を発見して、ダブっている単語を削除して１つにしたいのですがLINUXでこの作業をする場合どのようにすればいいでしょうか？
恐れ入りますがお時間ある方で上記の処理方法のアドバイスを頂ける方がいらっしゃいましたら何卒よろしくお願いいたします。