Здравствуйте, chaotic-kotik, Вы писали:

G>>Кроме физической целостности есть и другой аспект. Из-за ошибки в программе или из-за кривых рук данные в базе могут быть удалены вполне законным способом и без бекапа никуда.

CK>Для этого есть снепшоты и trash сервер. Все это можно откатить взад. Снепшоты это не бэкап, так как реальные данные они не копируют. Это снепшоты метаданных, по сути.
Как снепшоты помогут если кто-то пойдет и выполнит команду аналогичную

drop table main_data

?

CK>Но вообще, частой практикуется вообще не удалять данные никогда. Мы примерно так и делаем.
Это не гарантирует что данные будут в сохранности.

CK>Но и то, если нет disaster recovery (репликация в другой ДЦ, в котором меньше машин, но у каждой машины больше диска, чтобы данные просто хранить там и ничего не вычислять). Но это опять же — совсем не backup.
Это тот самый бекап, только дороже.

CK>Почему HDFS не основное хранилище данных?
Если данные нестрашно потерять, то скорее всего так и есть.

CK>Очень глупый человек будет утверждать что бэкап нужен, до того как посчитает во сколько он обойдется. Экономически это не оправдано (в случае HDFS+HBase и хоть сколько нибудь крупной инфраструктуры)
Держать 5 реплик + копию в другом ДЦ оправдано?

На практике бекап — самый дешевый способ делать disaster recovery, по сравнению со всеми остальными. Дешевле на порядки. Мало того, что бекапить можно на ленты, которые имеют стоимость хранения ГБ на два порядка меньше жестких дисков, так еще это не требует дорогих серверов и бекапы могут быть хорошо пожаты.


CK>да и перерыв в обслуживании будет такой, что уж лучше часть данных потерять и восстановить из других источников, нежели на несколько суток все останавливать, вайпать каждую ноду и накатывать (уж даже не знаю каким способом) бэкап взад.
Это проблема исключительно NoSQL движков, о чем я намекал в том сообщении, которое ты прокомментировал.
Все взрослые БД умеют за вполне разумное время ресторить терабайты данных. Недавно видел рестор 20ТБ базы в течение 28 часов.
То есть если бы взорвался датацентр, то можно было бы за 2-е суток восстановить обслуживание.

G>>ЗЗЫ. MS даже в облачном SQL Server сделал бекап именно по этой причине.
CK>Потому что пользователи MSSQL — ретрограды, очевидно же.