Аноним 479 wrote:
> Есть идея получше?

Отсортировать строки внешней сортировкой,
потом пройтись по данным и выявить дубликаты за
один проход. Буде НЕ быстрее, но по памяти экономнее.

Собственно, не понятно, что ты хочешь -- быстро --
надо много памяти, мало памяти -- будет медленнее.