Re[3]: Как правильно сортировать содержимое больших файлов?
От: gandjustas Россия http://blog.gandjustas.ru/
Дата: 02.09.22 21:19
Оценка:
Здравствуйте, _FRED_, Вы писали:

_FR>Здравствуйте, gandjustas, Вы писали:


G>>Обогнал вашу версию, работает примерно как версия на питоне. Полный код тут: https://github.com/gandjustas/HugeFileSort


_FR>Круто, спасибо! Пока не могу посмотреть и запустить.


_FR>А что с расходом памяти? Например, если файл в 10 гигов разбиватт на 200 кусков по ~50 метров?

Сегодня тестил на 100М строк 14 ГБ, сортировка по дефлоту разбивает на куски по 100к строк, примерно 150мб кусок. Потребление памяти с параллелизмом до 3 гб на моей машине.
 
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.