Вот, мучаюсь я таки со своей идеей — иметь гарантированно чистый бекап системного диска. Нужны все линуксы для тестов инсталляции проги.

Попробовал делать бекап с помощью dd — очень медленно. С одного SSD диска на другой скорость в лучшем случае 100 Мб/сек, в то время как просто копирование файла в худшем случае дает 300 Мб/сек. 150 ГБ бекапило 45 минут примерно. Мне бы минут 5-7, пока кофе делаю.

Пробовал с помощью графического интерфейса стандартного в Ubuntu — примерно так же медленно, вроде еще медленнее.

Сейчас пробую этот вариант: https://www.ventoy.net/en/plugin_vtoyboot.html

Здравствуйте, Shmj, Вы писали:

S>Попробовал делать бекап с помощью dd — очень медленно. С одного SSD диска на другой скорость в лучшем случае 100 Мб/сек, в то время как просто копирование файла в худшем случае дает 300 Мб/сек. 150 ГБ бекапило 45 минут примерно. Мне бы минут 5-7, пока кофе делаю.

Если файл небольшой, то он может в кеш скопировать(в оперативке, или в кэш диска даже), а потом когда-нибудь сбросить на диск. Поэтому скорость покажет выше. Когда копируешь очень большие файлы или разделы, в кэше места перестает хватать, и скорость будет реальная.
Либо попробуй поставить размер блока выше при копировании.

Здравствуйте, lpd, Вы писали:

lpd>Если файл небольшой, то он может в кеш скопировать(в оперативке, или в кэш диска даже), а потом когда-нибудь сбросить на диск. Поэтому скорость покажет выше. Когда копируешь очень большие файлы или разделы, в кэше места перестает хватать, и скорость будет реальная.
lpd>Либо попробуй поставить размер блока выше при копировании.


300 Мб/сек — это как раз на больших файлах — 250 Гб и более. Именно самая низкая скорость после иссякания кеша, конечно.

Здравствуйте, Shmj, Вы писали:

S>300 Мб/сек — это как раз на больших файлах — 250 Гб и более. Именно самая низкая скорость после иссякания кеша, конечно.

Тогда размер блока попробуй увеличить в dd. Типа bs=4k или 64k.

Здравствуйте, Shmj, Вы писали:

S>Попробовал делать бекап с помощью dd — очень медленно. С одного SSD диска на другой скорость в лучшем случае 100 Мб/сек, в то время как просто копирование файла в худшем случае дает 300 Мб/сек. 150 ГБ бекапило 45 минут примерно. Мне бы минут 5-7, пока кофе делаю.

Про размер сектора уже написали, а ещё можно через какой-нибудь компрессор прогонять, сохранять сжатую копию, а не один-в-один. Типа так:

dd if=/dev/sda bs=1M | gz >/mnt/sdb/backup/sda.img.gz

Стоит немного поэкспериментировать и определить, какие компрессоры на этой конкретной машине будут достаточно производительными, чтобы ускорять процедуру за счёт сжатия, но чтобы само сжатие при этом было не слишком тяжёлым и не тормозило.

lpd>Тогда размер блока попробуй увеличить в dd. Типа bs=4k или 64k.

Я обычно blocksize в 32M ставлю, хотя в интернетах действительно пишут, что про оптимальность 64K.
Одно можно сказать точно, что на 512B по умолчанию всё будет весьма медленно.

Здравствуйте, lpd, Вы писали:

S>>300 Мб/сек — это как раз на больших файлах — 250 Гб и более. Именно самая низкая скорость после иссякания кеша, конечно.

lpd>Тогда размер блока попробуй увеличить в dd. Типа bs=4k или 64k.

Если речь про SSD, там типовые размеры порции на одно стирание это типа 128k, 256k.
Тогда, чтобы дать его контроллеру данные для качественной оптимизации, нужен blocksize не менее 1M. Меньше будет просто издевательством.

Здравствуйте, Shmj, Вы писали:

S>Пробовал с помощью графического интерфейса стандартного в Ubuntu — примерно так же медленно, вроде еще медленнее.

Это что за "стандартный" интерфейс? Какой именно тулы?

И не забывать про 12309.

Здравствуйте, m2user, Вы писали:

lpd>>Тогда размер блока попробуй увеличить в dd. Типа bs=4k или 64k.

M>Я обычно blocksize в 32M ставлю, хотя в интернетах действительно пишут, что про оптимальность 64K.

Оптимальность только в том, что твоя программа будет тратить на 32M меньше памяти. В остальном от завышенного буфера (пока он кратен чему-то вроде 4K или что там у низлежащего девайса является оптимальным) вреда быть не может.

Здравствуйте, netch80, Вы писали:

N>Это что за "стандартный" интерфейс? Какой именно тулы?

В Убунту — Утилиты/Диски — сделать образ раздела или как-то так. Вот так норм:

dd if=/dev/sdb3 bs=4096 | pv | dd of=/mnt/sdc1/drive.img bs=4096

CF>

CF>dd if=/dev/sda bs=1M | gz >/mnt/sdb/backup/sda.img.gz
CF>

CF>Стоит немного поэкспериментировать и определить, какие компрессоры на этой конкретной машине будут достаточно производительными, чтобы ускорять процедуру за счёт сжатия, но чтобы само сжатие при этом было не слишком тяжёлым и не тормозило.
Ага, многопоточные pigz, pbzip2, lbzip2 на многоядерном железе самое оно, чтобы снимать образ с внутреннего NVMe на внешний SATA SSD без узких мест в самом сжатии.

S>

S>dd if=/dev/sdb3 bs=4096 | pv | dd of=/mnt/sdc1/drive.img bs=4096
S>

oflag=sync во втором dd забыл, и два раза буковку "k" после 4096

Здравствуйте, Shmj, Вы писали:

S>Попробовал делать бекап с помощью dd — очень медленно. С одного SSD диска на другой скорость в лучшем случае 100 Мб/сек, в то время как просто копирование файла в худшем случае дает 300 Мб/сек. 150 ГБ бекапило 45 минут примерно. Мне бы минут 5-7, пока кофе делаю.
Это не dd виновато, а то что вы SSD через USB подключаете

Здравствуйте, kov_serg, Вы писали:

S>>Попробовал делать бекап с помощью dd — очень медленно. С одного SSD диска на другой скорость в лучшем случае 100 Мб/сек, в то время как просто копирование файла в худшем случае дает 300 Мб/сек. 150 ГБ бекапило 45 минут примерно. Мне бы минут 5-7, пока кофе делаю.
_>Это не dd виновато, а то что вы SSD через USB подключаете

Не, все заработало нормально давно — параметры выше.

Здравствуйте, Shmj, Вы писали:

S>Попробовал делать бекап с помощью dd — очень медленно. С одного SSD диска на другой скорость в лучшем случае 100 Мб/сек, в то время как просто копирование файла в худшем случае дает 300 Мб/сек. 150 ГБ бекапило 45 минут примерно. Мне бы минут 5-7, пока кофе делаю.

Простое копирование файла копирует файл в кеш (и из кеша, если ты этот файл не первый раз уже копируешь).

Такое ощущение, что у тебя диск, который на запись, несколько тормозной. С какой скоростью на него бесценное содержимое /dev/zero копируется?