Здравствуйте, Anton Batenev, Вы писали:
AB>равномерно размазав файлы по ним.
Это ты хочешь, чтобы задача о рюкзаке на лету решалась? Это ты много хочешь.
Посмотри на Ceph.
Hello!
Хочется немного странного. Предположим есть большое хранилище мелких файлов и некоторое количество хранилищ небольшого объема. Хочется с большого хранилища сделать резервную копию на маленькие равномерно размазав файлы по ним. При этом желательно более-менее штатными средствами типа того же rsync (на принимающей стороне). Есть что-нибудь подобное в природе?
Здравствуйте, Anton Batenev, Вы писали:
AB>Хочется немного странного. Предположим есть большое хранилище мелких файлов и некоторое количество хранилищ небольшого объема. Хочется с большого хранилища сделать резервную копию на маленькие равномерно размазав файлы по ним. При этом желательно более-менее штатными средствами типа того же rsync (на принимающей стороне). Есть что-нибудь подобное в природе?
В общем, в отсутствие дополнительных условий я бы сделал что-то такое (полу-баш, полу-псеводокод):
TARGET_REPOS=`cat target_repos`
TRI=0
for f in `find $SOURCE_REPO -type f`; do
TR=${TARGET_REPOS[$TRI]}
scp $f $TR/...
let "TRI = (($TRI + 1) % ${#TARGET_REPOS[*]})"
done
Здравствуйте, wildwind, Вы писали:
w> AB>равномерно размазав файлы по ним.
w> Это ты хочешь, чтобы задача о рюкзаке на лету решалась? Это ты много хочешь.
Не, особой оптимальности в размещении не требуется. Мне достаточно будет или разделить по количеству файлов более-менее равномерно (т.к. файлы более-менее однородны), или просто не пытаться писать в уже заполненную ноду (т.е. ноды можно заполнять последовательно пока есть место).
w> Посмотри на Ceph.
Вот этих сложностей очень хочется избежать. Хочется что-то очень тупое и простое, которое может спокойно переживать отказы сети (не синхронизировалось сегодня — ну пусть синхронизируется завтра), оборудования (упала нода — пофиг, поднимем с нуля и еще раз зальем файлы).
Здравствуйте, BulatZiganshin, Вы писали:
BZ> многотомный rar не устроит?
Не думаю — файлов много, они постоянно видоизменяются, архив пересоздавать будет очень долго.