Здравствуйте, Всеволод, Вы писали:

В>На выходе имеем файл без повторяющихся строк.

Я так понял, что если строка повторяется — то ее вообще исключают (а не так, что оставляют один экземпляр).
Потому что дубликаты — это признак спама.