Всю сознательную жизнь считал, что можно создать RAID1, RAID5 и т.д. и хранить там данные, которые очень важны. Да, от взрыва серверной не спасёт, но пока сервер работает исправно, данные должны быть в безопасности. И вот настал момент, когда я озаботился созданием NAS, стал курить мануалы про RAID, ZFS и прочее. Что же мы имеем? Аппаратный RAID вообще лучше не использовать, потому что контроллер — слабое место, а с новым может и не завестись. Есть mdraid, но при замене HDD в массиве на много TB операция восстановления может затянуться. Есть ZFS, но там какие-то вопросы со стабильностью. Если конкретно, то я думал создать RAIDZ1, чтобы иметь возможность спокойно "терять" один диск, но везде пишут, что resurface в RAIDZ1 это опасная операция. Ладно, возвращаемся к обычным зеркалам, параллельно смотрим в копилочку и думаем про RAID6/RAIDZ2, и тут нас добивают — "write hole", причём эта проблема может ещё и долго спать прежде, чем будет обнаружена порча данных.

Существует вообще способ организовать хранение данных и не париться?

C>Да, от взрыва серверной не спасёт, но пока сервер работает исправно, данные должны быть в безопасности.

Следует начать с модели угроз/рисков, от которых планируется строить защиту.
Из того, что ты пишешь, например следует, что от вирусов-шифровальщиков ты не предполагаешь защищаться.

Здравствуйте, m2user, Вы писали:

M>Следует начать с модели угроз/рисков, от которых планируется строить защиту.
Аппаратный или программный сбой в диске.

Здравствуйте, cppguard, Вы писали:

C>Всю сознательную жизнь считал, что можно создать RAID1, RAID5 и т.д. и хранить там данные, которые очень важны. Да, от взрыва серверной не спасёт, но пока сервер работает исправно, данные должны быть в безопасности. И вот настал момент, когда я озаботился созданием NAS, стал курить мануалы про RAID, ZFS и прочее. Что же мы имеем? Аппаратный RAID вообще лучше не использовать, потому что контроллер — слабое место, а с новым может и не завестись. Есть mdraid, но при замене HDD в массиве на много TB операция восстановления может затянуться. Есть ZFS, но там какие-то вопросы со стабильностью. Если конкретно, то я думал создать RAIDZ1, чтобы иметь возможность спокойно "терять" один диск, но везде пишут, что resurface в RAIDZ1 это опасная операция. Ладно, возвращаемся к обычным зеркалам, параллельно смотрим в копилочку и думаем про RAID6/RAIDZ2, и тут нас добивают — "write hole", причём эта проблема может ещё и долго спать прежде, чем будет обнаружена порча данных.

C>Существует вообще способ организовать хранение данных и не париться?


Мне кажется, что это здесь уже было. А распечатать на принтере ни кто не предлагал?

C>Всю сознательную жизнь считал, что можно создать RAID1, RAID5 и т.д. и хранить там данные, которые очень важны. Да, от взрыва серверной не спасёт, но пока сервер работает исправно, данные должны быть в безопасности. И вот настал момент, когда я озаботился созданием NAS, стал курить мануалы про RAID, ZFS и прочее. Что же мы имеем? Аппаратный RAID вообще лучше не использовать, потому что контроллер — слабое место, а с новым может и не завестись.

ну в целом я видел как это реально работало
почему-то ломались именно диски, а не контроллеры
видимо, из-за того что диски активно использовались, а не были просто удобной заменой ленте
и рейд проблему решал

Автоматический бэкап (rsync) на резервный NAS (можно безо всяких RAID) + автоматический бэкап в облако + ручной бэкап на офлайновый носитель (карманный SSD).

Ну и, конечно, автоматическая проверка бэкапов (вычисление хешей, сравнение с изначальными/правильными хешами).

Здравствуйте, cppguard, Вы писали:

C>Существует вообще способ организовать хранение данных и не париться?

windows soft raid, mirror disks

L.K.:

LK>+ ручной бэкап на офлайновый носитель (карманный SSD).
SSD зачеркнуть. Известно, что SSD деградирует, находясь в оффлайне. Для этой цели лучше использовать старые добрые HDD.

BB>SSD зачеркнуть. Известно, что SSD деградирует, находясь в оффлайне. Для этой цели лучше использовать старые добрые HDD.

Cтарые-добрые HDD и так стоят в NAS. И как будто HDD не ломаются. А SSD бывает размером с usb-флешку, его можно постоянно носить в кармане, страхуясь от некоторых рисков (облако вдруг отключено, облачные бэкапы недоступны, а физический NAS в то же самое время сломался или сгорел в пожаре).

C>Существует вообще способ организовать хранение данных и не париться?

Автоматический бэкап на географически удаленный носитель. Потому что как бы ни был надежен твой личный сервер (или даже 3 сервера), один пожар в доме уничтожит все. Или наводнение. Или землетрясение. Или жена, или ребенок, или еще что угодно.

L.K.:

BB>>SSD зачеркнуть. Известно, что SSD деградирует, находясь в оффлайне. Для этой цели лучше использовать старые добрые HDD.
LK>Cтарые-добрые HDD и так стоят в NAS. И как будто HDD не ломаются.

Те HDD, что стоят во включенном NAS деградируют за счет сил трения. Те, что лежат в тумбочке — нет.
SSD деградируют всегда, за счет утечки заряда.

LK>А SSD бывает размером с usb-флешку, его можно постоянно носить в кармане, страхуясь от некоторых рисков (облако вдруг отключено, облачные бэкапы недоступны, а физический NAS в то же самое время сломался или сгорел в пожаре).
На здоровье, одно другому не мешает. Небольшие важные данные можно носить с собой на флешке (или двух ). Большие бэкапы — на винте в тумбочке. Рабочие материалы — на NAS или на винте в компе. IMO.

Здравствуйте, cppguard, Вы писали:

C>RAID5

Зачеркнуть тоже
Если он сломается, вы сами не сможете скачать с него данные
А с зеркального рейда сможете. Причём у вас будет два дубликата


C>думаем про RAID6/RAIDZ2

тем более не сможете
если с raid-5 вы возможно и разберётесь сами, то с raid-6 точно нет
А за бабло в сервис центре это будет очень дорого. Оно вам надо?

C>Существует вообще способ организовать хранение данных и не париться?

NAS — внутри raid зеркало
Раз в неделю туда делаем синхранизацию всего рабочего диска

Каждый день делаем архив самой главной рабочей папки с текущими проектами и кладём на другой диск компа
Храним архивы за последнюю неделю
Если вы случайно сами удалите свой файл, или измените код так что уже вернуть обратно нельзя, можно взять этот файл из вчерашнего архива

_>windows soft raid, mirror disks

У меня как то было зеркало на рабочем компе
В один прекрасный день SATA кабель отвалился у одного из дисков
Комп загрузился и работал как ни в чём не бывало
Знаете что это значит? Что диски перестали быть синхронными
Больше я на рабочем компе рейдов не делал

Здравствуйте, cppguard, Вы писали:

C>Существует вообще способ организовать хранение данных и не париться?

Сделай RAID с тремя дисками, чтобы было 3 копии на каждом диске и нормально будет. Можешь отдельный диск использовать, все данные на нём будут, в крайнем случае. Если один диск сломается — у тебя есть ещё две копии, при восстановлении данных шанса потерять данные практически нет.

Просто помни, что не только взрыв в серверной бывает, ещё может быть скачок напряжения, могут попасться три диска из одной партии с одинаковым багом, которые одновременно сдохнут, много всякого в жизни бывает. Поэтому RAID не отменяет необходимость бэкапа. Но если иметь это в виду, то надёжность у рейда нормальная.

Хардварный рейд используют во-первых для производительности (к примеру там может быть DDR кеш с батарейкой, который даст и производительность и надёжность), во-вторых для идиотов, т.к. там всё максимально просто: диск сдох, лампочка рядом со слотом загорелась. Подошёл, нажал на кнопочку, вылез сломанный диск. Взял из шкафа новый диск, вставил его и ушёл дальше пить чай, хардварный рейд всё сам сделает. С софтварным рейдом надо заморачиваться. Но если ты айтишник, то ничего сложного там нет. Для домашних целей софтварный рейд предпочтительней, мне кажется.

Здравствуйте, cppguard, Вы писали:

C>Существует вообще способ организовать хранение данных и не париться?

Возьми Synology на 5 дисков минимум, настрой "raid," удовлетворяющий твои хотелки и боязни.

Ну, и помня, что NAS — это в первую очередь про Network-attached storage, а не про backup, настрой периодические резервные копии в облако, и в отдельный носитель, хранящийся отдельно в безопасном месте

Здравствуйте, TailWind, Вы писали:

TW>Зачеркнуть тоже
TW>Если он сломается, вы сами не сможете скачать с него данные
TW>А с зеркального рейда сможете. Причём у вас будет два дубликата

О, вот это новость. Я думал, что RAID5 это то же зеркало, только ещё и есть диск с контрольными суммами. И если бы так, то при выходе одного из дисков из строя, как минимум, одна копия остаётся целой. Но когда я узнал, что без пересборки массива добавлять диски можно только в зеркало — задумался.

TW>NAS — внутри raid зеркало
TW>Раз в неделю туда делаем синхранизацию всего рабочего диска

Так с "write hole" массив будет выглядеть здоровым, а данные будут испорчены. Или я неправильно понял суть проблемы?

C>О, вот это новость. Я думал, что RAID5 это то же зеркало, только ещё и есть диск с контрольными суммами. И если бы так, то при выходе одного из дисков из строя, как минимум, одна копия остаётся целой. Но когда я узнал, что без пересборки массива добавлять диски можно только в зеркало — задумался.

О, Господи, нет конечно
Это даже близко не так

Пространство разбито на блоки
Допустим raid-5 из 3-х дисков
Значит будет два блока с данными и один с XOR этих данных между собой

И это пишется не так:
d0 d1 XOR
d2 d3 XOR
d4 d5 XOR

А порядок меняется местами:
d0 d1 XOR
d2 XOR d3
XOR d4 d5

Даже имея все живые диски, но сломанный контроллер, вы не сможете без подготовки сами скачать данные
Вам нужно будет определить размер блока (там стандартные штук пять)
Определить порядок дисков
И алгоритм замешивания блоков
Есть проги, которые вероятно вы можете скачать в интернете
Но без подготовки это не тот геморрой который вам нужен, по сравнению с тем, если у вас сломается NAS с зеркалом внутри и вам нужно будет открыть его любой программой, которая понимает файловую систему linux


TW>>NAS — внутри raid зеркало
TW>>Раз в неделю туда делаем синхронизацию всего рабочего диска
C>Так с "write hole" массив будет выглядеть здоровым, а данные будут испорчены. Или я неправильно понял суть проблемы?

Я не знаком с термином "write hole"
Но если вы имеете в виду, что один диск будет иметь немного более старую копию
Это не такая большая проблема
Если ваш основной комп выйдет из строя, NAS всё равно будет работать
Вы в штатном режиме скачаете данные

Если он тоже сломался. И диски в рейд-mirror у него оказались не синхронные
Ну выберите тот что лучше. Или с обоих что-то соберёте
Но это уже сценарий катастрофы. Когда сломалось всё
Ну хотите поставьте 1 диск без raid туда. Но мне два приятнее

Здравствуйте, paucity, Вы писали:

P>Здравствуйте, cppguard, Вы писали:

C>>Существует вообще способ организовать хранение данных и не париться?

P>Возьми Synology на 5 дисков минимум, настрой "raid," удовлетворяющий твои хотелки и боязни.

P>Ну, и помня, что NAS — это в первую очередь про Network-attached storage, а не про backup, настрой периодические резервные копии в облако, и в отдельный носитель, хранящийся отдельно в безопасном месте

Купил в 2017 NAS QNAP на 4 диска за 20+ т.р., использовал как Media Server,
через лет 5 он перестал добавлять в хранилище файлы через свой интерфейс ,
как это все чинить ХЗ, я не линуксоид, сколько времени потребует разобраться не представляю.
Да и до того этот интерфейс был чрезвычайно корявый и неудобный.
сколько возьмет сервис за починку такого тоже не представляю, думаю очень много.
NAS стоит мертвым грузом. С виндой думаю как нибудь разобрался бы в таком случае.

Здравствуйте, cppguard, Вы писали:

C>Существует вообще способ организовать хранение данных и не париться?

Древние боги в преддверии катастрофы (прохождения массивного гравитационного объекта сквозь солнечную систему) тоже озаботились этой проблемой и решили сохранить информацию в бункерах на астероидах, определить их можно по искусственной круговой орбите, реплики находятся на разных расстояниях от солнца, при желании их можно найти в БД объектов солнечной системы НАСА.
Для надёжности был выбран и второй вариант реализации — хранение в виде самовоспоизводящегося кода ДНК у таких растений как пшеница (имеющей тройное ДНК явно искусственного происхождения), а также у человека, т.е. у искусственно созданных видов растений и животных, также при из проектировании боги заложили устойчивость к вредителям, если речь про пшеницу, или высокую степень размножаемости и волю к жизни, если речь про гомо сапиенс. Вопрос в поиске ключа расшифровки. Ключ расшифровки по идее тоже должен храниться в надёжных, самореплицируемых и устойчивых ко всем угрозам и рискам видах, по сути на виду. Мы его не видим, потому что в нас заложена искусственная слепота на предмет данного ключа. Выявление механизма этой слепоты может служить ключом к поиску ключа расшифровки. В общем, спроектировал один раз вид гомо сапиенс, они сами выживают тысячи лет, и париться не нужно. Для извлечения информации просто похищаешь ночью особь в тарелку, вычитываешь инфу во сне или под наркозом и утром возвращаешь особь обратно, как будто ничего и не было. А если нужно вычитать инфу с пшеницы, то специальным аппаратом вычитываешь, они правда оставляют следы на полях, но это незначительная полочка.

Более древние боги заложили свою информацию в ДНК жизни, этими фрагментами кишит вся планета, и париться не нужно.

Ещё более древние боги заложили информацию в неравномерности реликтового излучения вселенной. Тоже достаточно надёжный способ, уровень риска сопоставим с уровнем риска вселенной, т.е. максимально высокая надёжность. Заложил эту информацию один раз при большом взрыве и всё, дальше вселенная живёт, и париться не нужно до её тепловой смерти. Причем в данном случае сообщение не зашифрованои не закодировано, а представлено в виде рисунка, т.е. послания, понятного любому разуму во вселенной. Достаточно просто соединить линиями точки на карте реликтового излучения. Если вы сделаете это, то обомлеете. Вообще странно, что об этом не трубят во все трубы, возможно, кто-то очень не хочет, чтобы правда всплыла.

Подробнее см. работы Пенроуза и альтернативщиков типа Калмыкова.

Здравствуйте, swame, Вы писали:

S>Купил в 2017 NAS QNAP на 4 диска за 20+ т.р., использовал как Media Server,
S>через лет 5 он перестал добавлять в хранилище файлы через свой интерфейс ,

И че, даже не попытался по ftp или по http в любом интернет броузере подцепиться напрямую по IP-шнику?

Чтоб понять это приложение/аддон Media Server'а поломалось или сам nas?

S>как это все чинить ХЗ, я не линуксоид, сколько времени потребует разобраться не представляю.

ТС, я так понял, вообще сам собирается nas поднимать, наверняка с простым интуитивно понятным интерфесом разберётся

Здравствуйте, TailWind, Вы писали:

TW>Комп загрузился и работал как ни в чём не бывало
TW>Знаете что это значит? Что диски перестали быть синхронными

так нотификация сработает что рейд развалился. а собственно проблема в чем? старые данные то остались в целости и сохранности, вопрос только о тех, которые записаны с момента нотификации о развале зеркала до момента окончания синхронизации.

> Те HDD, что стоят во включенном NAS деградируют за счет сил трения. Те, что лежат в тумбочке — нет.

мои WD RED в режиме 24/7 отработали уже более 51 тысячи часов, полет нормальный.