ダブっている単語を削除して１つにしたいです

みか · 2012/11/24(土) 17:42:47.93

テキストファイルの中に大量の単語（１Gほど）が羅列しています。
この単語でいくつもダブっている単語がありまして、同じ単語が４つ５つある場合もあります。
ダブっている単語を発見して、ダブっている単語を削除して１つにしたいのですがLINUXでこの作業をする場合どのようにすればいいでしょうか？
恐れ入りますがお時間ある方で上記の処理方法のアドバイスを頂ける方がいらっしゃいましたら何卒よろしくお願いいたします。

**login:Penguin** · 2012/11/24(土) 21:13:56.54

>>1
そんなことより、ダブついてる皮を削除してムケチンになれよ。

**login:Penguin** · 2012/11/24(土) 22:48:04.73

こんなくだらないことで新スレ立てんな。
それと、テキストファイルの詳細情報が分からん。
どんな行がどのようになっているのか、詳細を書け。

**login:Penguin** · 2012/11/24(土) 23:29:50.92

質問はこっちで。

くだらねえ質問はここに書き込め！ Part 203
http://engawa.2ch.net/test/read.cgi/linux/1352025584/

>>1
削除依頼出しといてね。
理由は「重複」で。

**login:Penguin** · 2012/11/25(日) 12:43:03.22

ちょっと待てお前ら
みかちゃんだぞ
どう見ても女の子だろ。

優しく接してやれや～（笑）

**login:Penguin** · 2012/11/25(日) 12:48:45.35

スレ移動したら答えるよ。

**login:Penguin** · 2012/11/25(日) 13:00:17.40

みかちゃんといえばフォントだな

**login:Penguin** · 2012/11/25(日) 19:59:59.66

>>2
もうしてるわ！

**login:Penguin** · 2012/11/26(月) 03:46:43.11

答えられない犬厨は誹謗中傷に走る

**login:Penguin** · 2012/11/26(月) 13:47:06.13

「先頭の単語と同じものを検索して全て削除する
と同時に別の空のテキストファイルにその単語を追加して」
という作業をループで行えばいつかは終わりそう

**login:Penguin** · 2012/11/26(月) 14:04:00.07

sort|uniqじゃだめなのか?

**login:Penguin** · 2012/11/26(月) 22:28:33.35

バイトを時給1500円で雇って重複しているところを消してもらえばいいじゃん。

**login:Penguin** · 2012/11/26(月) 22:33:53.34

perlなら簡単に作れそうじゃん。

open in,"<keshitai.txt";
open out,">keshita.txt';
while (<in>) [
print out "gomen mendou\n";
]
close out;
close in;

**login:Penguin** · 2012/11/26(月) 23:16:42.83

sed ?

**login:Penguin** · 2012/11/28(水) 05:41:10.95

awk,sort,uniq組み合わせてがんばれ

**login:Penguin** · 2012/11/29(木) 00:34:41.05

「東京都」と「京都」は別の単語ですので
1つにしないでください。

**login:Penguin** · 2012/11/29(木) 02:28:28.99

egrep -o '\w+' テキストファイル | sort | uniq
こうかな