Hello!

Хочется немного странного. Предположим есть большое хранилище мелких файлов и некоторое количество хранилищ небольшого объема. Хочется с большого хранилища сделать резервную копию на маленькие равномерно размазав файлы по ним. При этом желательно более-менее штатными средствами типа того же rsync (на принимающей стороне). Есть что-нибудь подобное в природе?

Здравствуйте, Anton Batenev, Вы писали:

AB>Хочется немного странного. Предположим есть большое хранилище мелких файлов и некоторое количество хранилищ небольшого объема. Хочется с большого хранилища сделать резервную копию на маленькие равномерно размазав файлы по ним. При этом желательно более-менее штатными средствами типа того же rsync (на принимающей стороне). Есть что-нибудь подобное в природе?

А какая структура (каталогов) большого хранилища и по какому принципу (функция файл -> целевое хранилище) надо размазывать?

Здравствуйте, Anton Batenev, Вы писали:

AB>Хочется немного странного. Предположим есть большое хранилище мелких файлов и некоторое количество хранилищ небольшого объема. Хочется с большого хранилища сделать резервную копию на маленькие равномерно размазав файлы по ним. При этом желательно более-менее штатными средствами типа того же rsync (на принимающей стороне). Есть что-нибудь подобное в природе?

В общем, в отсутствие дополнительных условий я бы сделал что-то такое (полу-баш, полу-псеводокод):

TARGET_REPOS=`cat target_repos`
TRI=0
for f in `find $SOURCE_REPO -type f`; do
    TR=${TARGET_REPOS[$TRI]}
    scp $f $TR/...
    let "TRI = (($TRI + 1) % ${#TARGET_REPOS[*]})"
done

Здравствуйте, Anton Batenev, Вы писали:

AB>равномерно размазав файлы по ним.
Это ты хочешь, чтобы задача о рюкзаке на лету решалась? Это ты много хочешь.

Посмотри на Ceph.

Здравствуйте, Anton Batenev, Вы писали:

AB>Хочется немного странного. Предположим есть большое хранилище мелких файлов и некоторое количество хранилищ небольшого объема. Хочется с большого хранилища сделать резервную копию на маленькие равномерно размазав файлы по ним. При этом желательно более-менее штатными средствами типа того же rsync (на принимающей стороне). Есть что-нибудь подобное в природе?

многотомный rar не устроит?

Здравствуйте, wildwind, Вы писали:

w> AB>равномерно размазав файлы по ним.
w> Это ты хочешь, чтобы задача о рюкзаке на лету решалась? Это ты много хочешь.

Не, особой оптимальности в размещении не требуется. Мне достаточно будет или разделить по количеству файлов более-менее равномерно (т.к. файлы более-менее однородны), или просто не пытаться писать в уже заполненную ноду (т.е. ноды можно заполнять последовательно пока есть место).

w> Посмотри на Ceph.

Вот этих сложностей очень хочется избежать. Хочется что-то очень тупое и простое, которое может спокойно переживать отказы сети (не синхронизировалось сегодня — ну пусть синхронизируется завтра), оборудования (упала нода — пофиг, поднимем с нуля и еще раз зальем файлы).

Здравствуйте, BulatZiganshin, Вы писали:

BZ> многотомный rar не устроит?

Не думаю — файлов много, они постоянно видоизменяются, архив пересоздавать будет очень долго.