Re[3]: Как правильно сортировать содержимое больших файлов?
От: artelk  
Дата: 05.09.22 10:51
Оценка:
Здравствуйте, Shmj, Вы писали:

S>Проверил ваше решение в сравнении с https://rsdn.org/forum/job/8349836.1
Автор: gandjustas
Дата: 02.09.22

S>На 13,8 Гб. — у него 15,5 мин., у вас 6,36 мин.

Спасибо. Подозреваю, что основной эффект дало именно сжатие за счет бинарного формата. На файле FREDа, с огромными числами слева, чанки сжимались примерно в два раза.
У bucket+merge sort потенциала в этом смысле больше. После сортировки чанка там могут подряд идти много строк с одним довольно длинным префиксом, что можно как-то более компактно упаковать.
 
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.