Есть два USB 2.0 диска с NTFS и скоростью 7200 об/мин. На одном их них есть папка, в которой около десятка тысяч других папок, в каждой из которых, в свою очередь, ещё несколько десятков папок, и ещё, и так до 3-его уровня вложенности, при этом в каждой конечной папке по одному файлу. Всего файлов ~1,5 млн. Скорость копирования всей этой папки с одного диска на другой в Total Commander равна примерно 6 МБ/с и оценочное время около 12 часов. Файловую систему менять не предлагать, включать кэширование для дисков также недопустимо (да и не факт, что поможет). Вопрос: возможно ли как-то увеличить скорость копирования, чтобы не ждать каждый раз долбанные 12 часов? Копировать это всё приходится не один раз, так что было бы глупо каждый раз ждать по 12 часов. Есть вариант запихнуть всё в RAR-архив, это немного ускорит процесс, но это не удобно, т.к. в конечном итоге файлы должны быть в открытом виде, удобном для обработки специальными утилитами.
Здравствуйте, x64, Вы писали:
x64>Есть два USB 2.0 диска с NTFS и скоростью 7200 об/мин. На одном их них есть папка, в которой около десятка тысяч других папок, в каждой из которых, в свою очередь, ещё несколько десятков папок, и ещё, и так до 3-его уровня вложенности, при этом в каждой конечной папке по одному файлу. Всего файлов ~1,5 млн. Скорость копирования всей этой папки с одного диска на другой в Total Commander равна примерно 6 МБ/с и оценочное время около 12 часов. Файловую систему менять не предлагать, включать кэширование для дисков также недопустимо (да и не факт, что поможет). Вопрос: возможно ли как-то увеличить скорость копирования, чтобы не ждать каждый раз долбанные 12 часов? Копировать это всё приходится не один раз, так что было бы глупо каждый раз ждать по 12 часов. Есть вариант запихнуть всё в RAR-архив, это немного ускорит процесс, но это не удобно, т.к. в конечном итоге файлы должны быть в открытом виде, удобном для обработки специальными утилитами.
1. характерный разиер файлов не указан
2. как работают xcopy / robocopy быстрей?
3. 10 т. папок в одной — вот тормоз большой. Разбить по первым буквам например. a\a1 a\a2 b\b1 и тп
4. безусловно USB 2 на одном контролере работать должны медленно, т.к. он опрашивает по очереди устройства. Пробуем USB3
5. стреляться
Забыл совсем.
Всего около 400 ГБ.
Один файл в среднем 200 КБ.
Хотя, как правило, они либо маленькие 5-20 КБ, либо побольше 600-800 КБ.
СМ>2. как работают xcopy / robocopy быстрей?
Не знаю, попробую.
А должна быть разница по сравнению с Total-ом?
СМ>3. 10 т. папок в одной — вот тормоз большой. Разбить по первым буквам например. a\a1 a\a2 b\b1 и тп
Это нежелательно.
Но, в общем-то, можно подумать.
СМ>4. безусловно USB 2 на одном контролере работать должны медленно, т.к. он опрашивает по очереди устройства. Пробуем USB3
Спасибо, это попробуем.
Правда, железа такого сейчас нет под рукой.
Здравствуйте, x64, Вы писали:
СМ>>2. как работают xcopy / robocopy быстрей? x64> Не знаю, попробую. x64> А должна быть разница по сравнению с Total-ом?
И значительная. IMHO.
По сравнению с с Total-ом, который тратит значительное время перед копированием на подготовку списка файлов, вычисление размера, отображение прогресса и т.п.
А файлы каждый раз ВСЕ изменяются? Может разумнее делать синхронизацию (копировать только изменившиеся)?
Здравствуйте, x64, Вы писали:
x64>Привет.
x64>Есть два USB 2.0 диска с NTFS и скоростью 7200 об/мин. На одном их них есть папка, в которой около десятка тысяч других папок, в каждой из которых, в свою очередь, ещё несколько десятков папок, и ещё, и так до 3-его уровня вложенности, при этом в каждой конечной папке по одному файлу. Всего файлов ~1,5 млн. Скорость копирования всей этой папки с одного диска на другой в Total Commander равна примерно 6 МБ/с и оценочное время около 12 часов. Файловую систему менять не предлагать, включать кэширование для дисков также недопустимо (да и не факт, что поможет). Вопрос: возможно ли как-то увеличить скорость копирования, чтобы не ждать каждый раз долбанные 12 часов? Копировать это всё приходится не один раз, так что было бы глупо каждый раз ждать по 12 часов. Есть вариант запихнуть всё в RAR-архив, это немного ускорит процесс, но это не удобно, т.к. в конечном итоге файлы должны быть в открытом виде, удобном для обработки специальными утилитами.
x64>Спасибо.
USB на USB гоняешь? Попробуй втыкать в гнёзда, относящиеся к разным Root Hub. Например, один спереди, др. сзади.
Кэширование немного поможет, но тут надо иметь ввиду, что USB запитывается не от основного меганавороченного стабильного и мощного канала БП, а от сигнального, так что без ИБП лучше не заморачиваться, особенно если возможны проблемы с электричеством. Иначе на одни chkdsk изойдёшься.
Если использовать USB диски как транспорт, то лучше носить именно RAR-фархивы. Чтобы ускорить их создание, можно указать делать архив без сжатия, ключ "-m0".
Если религия позволяет, то основную рабочую папку сделать на internal HDD, там же положить пакетники для подготовки и копирования транспортных архивов на USB. Если же не позволяет, и надо работать напрямую с USB — надо смириться с тормозами. USB медленнее SATA.
Про xcopy тебе писали, она умеет копировать молча, быстро и надёжна как пробка. Кроме того, позволяет копировать только то, что изменилось (ключ "/D"), а также права пользователей, атрибуты файлов, поддерживает маски исключения.
Здравствуйте, x64, Вы писали:
x64>Нет, копировать нужно каждый раз полностью.
Тогда в архив. Ибо, если мне память не изменяет, с каждым копированием файла происходит затратная по времени процедура инициализации шины usb. И получается чем меньше файл тем меньше итоговая полезная скорость копирования. С этим ни чего не сделаешь — байдизигн (с). А то вообще переходи на фареваре или есата. У них с этим существенно быстрее.
... << RSDN@Home 1.2.0 alpha 5 rev. 1497>>
В задаче спрашивается:
Сколько вытечет портвейна из открытого бассейна?
Здравствуйте, x64, Вы писали:
x64>Привет.
x64>Есть два USB 2.0 диска с NTFS и скоростью 7200 об/мин. На одном их них есть папка, в которой около десятка тысяч других папок, в каждой из которых, в свою очередь, ещё несколько десятков папок, и ещё, и так до 3-его уровня вложенности, при этом в каждой конечной папке по одному файлу. Всего файлов ~1,5 млн. Скорость копирования всей этой папки с одного диска на другой в Total Commander равна примерно 6 МБ/с и оценочное время около 12 часов. Файловую систему менять не предлагать, включать кэширование для дисков также недопустимо (да и не факт, что поможет). Вопрос: возможно ли как-то увеличить скорость копирования, чтобы не ждать каждый раз долбанные 12 часов? Копировать это всё приходится не один раз, так что было бы глупо каждый раз ждать по 12 часов. Есть вариант запихнуть всё в RAR-архив, это немного ускорит процесс, но это не удобно, т.к. в конечном итоге файлы должны быть в открытом виде, удобном для обработки специальными утилитами.
x64>Спасибо.
Поместить папки каждую на отдельный логический диск.
Копировать диск вместо папок. Чем — сейчас не скажу, не занимался этим с DOS-времен, в крайнем случае напиши эту утилиту сам.
Здравствуйте, x64, Вы писали:
x64>Есть два USB 2.0 диска с NTFS и скоростью 7200 об/мин. На одном их них есть папка, в которой около десятка тысяч других папок, в каждой из которых, в свою очередь, ещё несколько десятков папок, и ещё, и так до 3-его уровня вложенности, при этом в каждой конечной папке по одному файлу. Всего файлов ~1,5 млн. Скорость копирования всей этой папки с одного диска на другой в Total Commander равна примерно 6 МБ/с и оценочное время около 12 часов. Файловую систему менять не предлагать, включать кэширование для дисков также недопустимо (да и не факт, что поможет). Вопрос: возможно ли как-то увеличить скорость копирования, чтобы не ждать каждый раз долбанные 12 часов? Копировать это всё приходится не один раз, так что было бы глупо каждый раз ждать по 12 часов. Есть вариант запихнуть всё в RAR-архив, это немного ускорит процесс, но это не удобно, т.к. в конечном итоге файлы должны быть в открытом виде, удобном для обработки специальными утилитами.
Если это допустимо, то можно попробовать "клонировать" весь диск на другой (если есть программы, позволяющие это делать без создания промежуточного образа, по идее должны такие существовать).
