Це розпочалося в суботу ввечері, коли моя дружина запитала, чому наш відеореєстратор раптом перестав грати шоу, яке він дивився. Я сказав їй, що це, мабуть, лише якийсь глюк, але я погляну. Я заходжу в сімейну кімнату, щоб подивитися, і помилка в основному заявила, що базовий диск вже недоступний. Не добре! Це було початком моєї триденної історії жахів …
Трохи фону
Мій відеореєстратор насправді є лише спеціалізованим програмним забезпеченням (SageTV для тих, хто цікавиться), що працює на ПК. Програмне забезпечення є дуже гнучким і дозволяє виокремити всі різні аспекти його. У мене є окрема машина для централізованого управління, планування та запису, окремі машини для відтворення, а також зірка цієї історії, окрема машина для зберігання. Для зберігання я використовую файловий сервер Linux, використовуючи LVM (Logical Volume Manager) для агрегації багатьох окремих, не ідентичних дисків в один великий (~ 6TB на даний момент) логічний диск, який бачить операційна система. Оскільки резервне копіювання декількох даних про туберкульоз недоцільно, а оскільки дані є "просто" телепередачами, моя філософія резервного копіювання для цього завжди полягала в тому, щоб просто не хвилюватись. До останніх подій ця філософія не була перевірена подіями в реальному світі.
Спроба відновити дані
Побачивши помилку на відеореєстраторі, я одразу починаю дивитись на сервер зберігання даних. Файлова система неймовірно млява і повільна у відповіді, тому я запитую LVM про стан фізичних дисків, що лежать в основі її логічного обсягу. Після тривалої затримки він з'являється і каже, що не вистачає накопичувача на 750 ГБ. Ой-ой! Я перезавантажую сервер і дивно, диск повертається. Я видаю команду pvmove, щоб автоматично перенести всі дані з цього накопичувача, але вона завершиться не менш ніж на 2%.
Зіткнувшись з накопичувачем, який дуже не співпрацює щодо зчитування своїх даних, але, принаймні, з'являється в BIOS, я звертаюся до свого улюбленого інструмента відновлення диска Spinrite. Хоча Spinrite зазвичай завантажується зі знімних носіїв, я ще кілька років тому встановив завантаження мережі у себе вдома для різних комунальних служб, тому мені не довелося турбуватися про відстеження будь-яких засобів масової інформації. Зазвичай я просто підключаюся до своєї мережі, вибираю завантаження з мережі, і у мене є різноманітні інструменти, щоб вирішити багато проблем. Проблема в тому, що машина, яка змушує всю цю магічну роботу, - це та сама машина, яка в даний час вниз. Не кажу, що я просто завантажуюся з компакт-диска Spinrite. За винятком пару років тому, оптичний привід на моєму файловому сервері відмовився від привидів. У той час, коли це сталося, я вирішив, оскільки ніколи не використовую оптичні носії в цій машині, мені не потрібно було його замінювати. Не хвилюйтесь, я сказав собі, що я просто вийму оптичний привід з мого основного комп'ютера. Я вимикаю основний комп'ютер і виймаю оптичний привід. Потім шукаю свій завантажувальний компакт-диск Spinrite. Не можете його знайти! Ми переїхали в новий будинок кілька місяців тому, тож усе в трохи неприємності. Я думаю, що я просто спалю нову копію, але не можу знайти жодного порожнього оптичного носія! На наступний план завантажувальна флешка! Через кілька хвилин в Google, щоб оновити мою пам’ять, у мене є завантажувальна флешка Spinrite. Я завантажую свою скриньку з Linux і запускаю Spinrite. Комп'ютер замерзає і, здається, виходить з ладу. Прагнучи усунути змінні, я переміщую поганий диск від підключення до карти розширення PCI-e до прямого підключення до материнської плати. Тепер Spinrite запускає чудово, але для перерахування підключених до нього накопичувачів потрібні віки та століття. Я систематично відключаю підключення всіх інших накопичувачів, крім поганого, але він ніколи не закінчує перерахування накопичувачів незалежно від того, як довго я чекаю. На наступний план! Я виймаю диск із своєї скриньки Linux, підключаю його до основного комп'ютера та завантажуюся зі своєї блискучої нової флешки Spinrite. Spinrite запускається і відразу бачить диск, і я кажу йому, щоб почати відновлювати дані, переконавшись, що нарешті я досяг певного прогресу. Повертаюсь, щоб перевірити це через 10 хвилин, і на екрані виникла помилка, і, здається, накопичувач знову зник. Розчарувавшись, я спробую ще кілька разів і скажу Spinrite починати з різних частин накопичувача, але отримувати однаковий результат кожного разу. Здається, це мені не допоможе.
У пориві ірраціональної надії я поклав накопичувач назад у свою скриньку Linux і включив її. На мій подив, привід з’являється, і LVM приносить все активне. Далі намагаючись пощастити, я видаю ще одну команду pvmove, щоб спробувати перемістити дані з диска знову. На початку я бачу повідомлення про помилки про те, що не вдається прочитати з диска, але дивно, що pvmove продовжує прогресувати, наближаючись і наближаючись до 100%. Суміш розгубленості, полегшення та хвилювання перемиває мене. Чи збираюся я втекти від цього непошкодженого? На жаль, останнє, що LVM робить під кришками, щоб чітко закінчити pvmove - це написати оновлений журнал на всі диски, що знаходяться під його контролем. Це, звичайно, не вдається, коли він намагається записати на поганий диск, і таким чином він припиняє весь процес. Поразка вирвана з щелеп перемоги ще раз! Я занурююсь назад у Google і виявляю, що можна контролювати, скільки даних рухається команда pvmove, а не переміщувати ВСІ дані за один кадр. Я експериментую з цим і маю добрий успіх, переміщаючи крихітну частину моїх даних одночасно. Мені стає жадібним, і накопичувач кілька разів зникає, але завжди повертається після циклу живлення комп’ютера. Теоретизуючи, що, можливо, лише певні частини накопичувача погані, я починаю стрибати, замість того, щоб працювати над початком приводу. Після декількох повторів цього, у мене все, крім 40 ГБ із 750 ГБ, безпечно перейшов з диска. За решта 40 Гб він не зміг переміститися незалежно від того, що я намагався. Зараз було в неділю ввечері, і я був виснажений, тому вирішив лягти спати і вирішити цю проблему більше наступного дня.
Наступного дня, після сну і першої половини дня на роботі, я вирішив просто кусати кулю, бо мені не було байдуже останні 40 ГБ записаних телепередач, і почав вилучати накопичувач із моєї конфігурації LVM . Я робив це багато разів раніше, тому це проходить досить гладко. Далі у списку очищення відбувається ремонт дірки посередині файлової системи. Я думаю, що лише 40 ГБ замість 750 ГБ відсутнє, це не може бути занадто погано, правда? Неправильно! Після ремонту у мене було 900 ГБ додаткового вільного місця в порівнянні з перед початком випробування, так що це застукало зовсім небагато. Ну добре, я кажу собі, це все одно було просто телевізор. Мої відеореєстратори знову закінчилися функціонувати після триденного перерви, і я нарешті можу перестати думати про це з кожним запасним циклом мозку.
Вивчені уроки
То що я навчився з усього цього? Я мав би краще зробити те, що насправді мало значення. Це сталося кілька тижнів тому, і за той час я навіть не пропустив жодного із телевізійного контенту, який зник. Однак я шкодую, що не могла три дні користуватися телевізором, але, що ще важливіше, моїй родині, а також за те, що на три дні переводила себе в режим кризового стресу. Якби я відмовився від відновлення своїх даних на початку, функція була б відновлена приблизно через годину, а не три дні. Я занадто добре знаю, що більшість часу наші дані є дорогоцінними, але в цій ситуації цього не було.
По-друге, якщо ваші дані дійсно дорогоцінні, і це 99% часу, що це справді, вам потрібно захистити їх! Зробіть резервну копію даних, виправдань немає. Для моїх даних, які є незамінними, як, наприклад, тисячі зображень мого сина, які я маю на своєму комп’ютері, я переконуюсь, що потрібно створити резервну копію не менше ніж у трьох місцях, одне з яких - постачальник хмарних резервних копій. Що стосується пам’яті DVR, я все ще не думаю, що це резервне копіювання до хмари практично, але з ціною накопичувачів в наші дні я не можу виправдатись, щоб не захищати його RAID, і саме це я збирається робити. Коли я вперше створив свій кластер зберігання років тому, я думаю, що мені знадобилося 10 дисків і більше, щоб потрапити до пулу з декількома ТБ. Я щойно перевірив ціни, і зараз ви можете придбати накопичувач на 3 ТБ за ціною менше 100 доларів. У мене просто немає причин залишати мої дані незахищеними, і якщо така втрата даних трапиться зі мною знову, це справді моя вина.
