Сообщение Re[2]: Как бы вы делали эту задачу (переходим к конкретике). от 04.09.2022 9:42
Изменено 04.09.2022 10:13 Shmj
Re[2]: Как бы вы делали эту задачу (переходим к конкретике).
Здравствуйте, gandjustas, Вы писали:
G>Я немного проанализировал и понял что можно почти все написать с помощью стандартных пакетов.
G>Вот решение https://github.com/gandjustas/HugeFileSort
G>Я примерно полчаса поискал библиотеки для megre двух IEnumerable и для min heap и не нащел ничго внятного. Merge написал сам, а вместо min heap использовал стандартный PriorityQueue
И сможешь ли сказать честно — сколько времени ушло на все, включая анализ и пр.?
Данные вашего решения на машине Google Cloud (4 ядра, 16 Гб ОЗУ) с SSD:
G>Я немного проанализировал и понял что можно почти все написать с помощью стандартных пакетов.
G>Вот решение https://github.com/gandjustas/HugeFileSort
G>Я примерно полчаса поискал библиотеки для megre двух IEnumerable и для min heap и не нащел ничго внятного. Merge написал сам, а вместо min heap использовал стандартный PriorityQueue
И сможешь ли сказать честно — сколько времени ушло на все, включая анализ и пр.?
Данные вашего решения на машине Google Cloud (4 ядра, 16 Гб ОЗУ) с SSD:
Генерация 13,8 Гб — 437 сек. (7,2 мин.)
1 Гб — 32 сек.
Сортировка: 13,8 Гб — 934 сек (15,5 мин.)
1 Гб — 68 сек.
Re[2]: Как бы вы делали эту задачу (переходим к конкретике).
Здравствуйте, gandjustas, Вы писали:
G>Я немного проанализировал и понял что можно почти все написать с помощью стандартных пакетов.
G>Вот решение https://github.com/gandjustas/HugeFileSort
G>Я примерно полчаса поискал библиотеки для megre двух IEnumerable и для min heap и не нащел ничго внятного. Merge написал сам, а вместо min heap использовал стандартный PriorityQueue
И сможешь ли сказать честно — сколько времени ушло на все, включая анализ и пр.?
Данные вашего решения на машине Google Cloud (4 ядра, 16 Гб ОЗУ) с SSD:
G>Я немного проанализировал и понял что можно почти все написать с помощью стандартных пакетов.
G>Вот решение https://github.com/gandjustas/HugeFileSort
G>Я примерно полчаса поискал библиотеки для megre двух IEnumerable и для min heap и не нащел ничго внятного. Merge написал сам, а вместо min heap использовал стандартный PriorityQueue
И сможешь ли сказать честно — сколько времени ушло на все, включая анализ и пр.?
Данные вашего решения на машине Google Cloud (4 ядра, 16 Гб ОЗУ) с SSD:
100 млн. записей, 13,8 Гб:
Генерация — 437 сек. (7,2 мин.)
1 Гб — 32 сек.
Сортировка — 934 сек (15,5 мин.)
1 Гб — 68 сек.