Зачем вкладывать средства в проверку и валидацию процесса резервного копирования и данных резервного копирования?

В этой статье я хочу рассказать о новом программном инструменте и его назначении для проверки резервного копирования (Server 2019 Backup Software). Многие профессионалы, не сталкивавшиеся с полной потерей данных, полагают, что цифровое хранилище идеально, а цифровые устройства всегда работают безупречно; однако реальность совершенно иная. Хранилища становятся все более плотными, и один жесткий диск вмещает больше информации, чем когда-либо прежде. В то же время частота ошибок не снижается, поэтому вероятность сбоя каждого устройства в последние годы фактически возросла. Кроме того, другие угрозы потери данных стали более распространенными. Например, Ransomware, вредоносное ПО и вандализм, вызванный недовольными сотрудниками, являются внешними причинами потери данных, в то время как гниение битов, дефекты дисков и оперативной памяти влияют на само устройство.
Еще одна тенденция последних лет - использование инкрементных схем резервного копирования для ускорения процесса резервного копирования. К сожалению, многие специалисты не понимают, что инкрементное резервное копирование вводит зависимость от предыдущей резервной копии. Если какая-либо резервная копия в цепочке резервных копий по какой-либо причине оказывается поврежденной, вся цепочка или, по крайней мере, отдельные ее части становятся нечитаемыми. Настоящая причина популярности инкрементной схемы заключается в том, что, несмотря на прогресс в объемах хранения данных, производители жестких дисков не могли увеличить пропускную способность такими же темпами, используя ту же технологию. Твердотельные накопители имеют гораздо более высокую пропускную способность, но, к сожалению, и гораздо более высокую частоту ошибок, а также гораздо более быстрый износ. Ячейки внутри SSD-накопителей быстро изнашиваются и автоматически заменяются запасными ячейками внутри самого накопителя. Однако процесс обнаружения "скорого выхода из строя ячейки" обычно откладывается до тех пор, пока ячейка не будет считана, что, как правило, нечасто случается с резервными дисками (SSD backup).

Проверка резервного копирования
Вышеупомянутый инструмент предлагает опции проверки файлов резервного копирования сразу после завершения. Эти функции обходят систему кэширования Windows, чтобы убедиться, что файл данных действительно считывается с диска, на котором он был сохранен. Уникальность вышеупомянутого инструмента заключается в его способности делать то же самое для удаленных хранилищ. Данные загружаются снова, чтобы убедиться, что каждый файл был обработан правильно. Существуют дополнительные опции, позволяющие ограничить этот этап файлами определенного размера (Encryption Backup Software).

Проверка резервных копий
Уникальные функции проверки резервных копий в вышеупомянутом инструменте позволяют пользователям проверять файлы спустя долгое время после их обработки. Рассмотрим следующий сценарий: типичный файловый сервер малого предприятия содержит несколько терабайт файлов и папок, обычно около 10 миллионов файлов или более. Как правило, менее 1% этих файлов изменяются с течением времени, особенно через месяц или около того после окончательного редактирования. В среднем эти файлы хранятся годами без какого-либо доступа. Битовая гниль, дефекты дисков, вредоносные программы, простые удаления или изменения файлов, вызванные недовольным сотрудником, могут оставаться незамеченными до тех пор, пока спустя годы диски файлового сервера полностью не выйдут из строя и не потребуется полное восстановление. Как можно эффективно проверить такой большой набор данных?
Приведенное выше программное обеспечение предлагает уникальное решение этой проблемы, когда ежедневно создаются резервные копии терабайтов данных. В программе используется функция проверки, которая позволяет проводить случайную проверку определенного процента файлов резервных копий в каждом цикле резервного копирования. Например, вы можете настроить программу на проверку только 1% всех файлов резервных копий вашего файлового сервера. Если на вашем файловом сервере в настоящее время хранится 1 миллион файлов, то проверять придется 10 000 файлов. При проверке случайного выбора 1% всех файлов резервного копирования на проверку каждого файла уйдет в среднем 100 циклов. Если резервное копирование выполняется 10 раз в день, то для проверки всего набора резервных копий потребуется 10 дней.
Если небольшие наборы резервных копий могут быть созданы и проверены полностью в течение нескольких часов, то при работе с миллионами папок и десятками терабайт хранения данных проверить весь набор при каждом цикле резервного копирования уже невозможно из-за ограниченной пропускной способности сетевого соединения и механических жестких дисков. В качестве компромисса функции инструмента охватывают все устройство резервного копирования, выбирая случайное подмножество при каждом цикле резервного копирования.
Повторное чтение файлов резервных копий очень важно, поскольку при этом обновляются все ячейки и сектора диска. При использовании инструмента проверки резервных копий ваши данные будут "актуализированы" диском, то есть диск будет вынужден повторно проверить сектор и выполнить внутренний ремонт по мере необходимости. Если ремонт уже невозможен, диск пошлет сигнал в Windows, а программа зарегистрирует проблему и отправит предупреждения, чтобы проинформировать вас о проблеме. Кроме того, программа использует контрольные суммы и/или выполняет сравнение 1:1 с оригинальным файлом для проверки содержимого каждого файла резервной копии. Таким образом, проверка резервных копий является критически важной "страховкой": у вас есть многократное доказательство того, что все файлы в хранилище резервных копий действительно все еще действительны и доступны для чтения.