Запись перенесена из блога, который мы вели до июня 2026 года под прежним названием «Заводь»; название сервиса в тексте обновлено. Подробнее — в записи «Мы теперь GeoData Cove».
Резервная копия, из которой ни разу не восстанавливались, — это надежда, а не копия. Раз в месяц дежурные инженеры проводят учения: выбирают случайный узел и восстанавливают его служебные данные с нуля на чистом оборудовании.
Что мы проверяем
- что копии метаданных за последние сутки полные и читаются;
- что инструкции по восстановлению совпадают с тем, что приходится делать на самом деле;
- сколько времени занимает возвращение узла в работу — и укладываемся ли мы в целевые четыре часа.
Что учения находят
Чаще всего — не поломки, а устаревшую документацию: переименованный параметр конфигурации, новую зависимость, которой нет в списке. За прошлый год учения дважды нашли настоящие проблемы: однажды копия одного служебного каталога не попадала в задание из-за неверной маски исключений, в другой раз восстановление упиралось в скорость одного канала. Оба случая мы исправили до того, как они понадобились.
Как сделать так же
Начните с малого: раз в месяц восстанавливайте одну случайную копию на тестовую машину и записывайте, сколько это заняло и что пошло не так. Для restic пригодятся команды restic check --read-data-subset и restic restore — пример есть в справочном центре.