Поделиться
Компания месяцами брала с клиентов деньги за пользование сервисом, который по ошибке удалил ИТ-шник
Компания при переносе огромного массива данных в новый ЦОД по ошибке забыла консолидировать один из своих сервисов. ИТ-специалист очистил сервер, на котором он располагался. Проблема вскрылась спустя полгода, в течение которых компания требовала с клиентов деньги за пользование сервисом. Вины ИТ-специалиста в случившемся нет – он действовал по приказу руководства.
Большой бизнес – большие ИТ-трудности
Крупная компания допустила фатальную ошибку при консолидации своих виртуальных активов в едином дата-центре, в результате которой ее клиенты месяцами оплачивали услуги, которые не получали. Причиной тому стало требование руководства по уничтожению данных на сервере, информация с которого по ряду причин не была перенесена в новый ЦОД, пишет The Register. Эту историю изданию рассказал непосредственный участник происходивших событий – технический специалист, собственноручно опустошивший сервер, который через некоторое время потребовался всем и сразу.
Сотрудник попросил не раскрывать свое имя, название компании, в которой он работал на момент этих событий. Он уточнил лишь, что она относится к крупному бизнесу и благодаря ряду поглощений и слияний имеет разнообразный портфель инфраструктуры и сервисов. Все эти данные она переносила в новый дата-центр.
В полном соответствии с протоколом
Один из сервисов, который был в собственности компании, собеседник The Register назвал приложением для выставления счетов за проверки (billing for inspections). «Были составлены планы по переносу системы на существующие биллинговые платформы», — рассказал автор истории, который назвался именем Сэм (Sam). Как это часто бывает при консолидации компаний, сотрудники, обладающие важными знаниями о работе сервиса, были уволены.
Компания нашла стороннего разработчика биллинговых систем для помощи в миграции сервиса, но уровень его компетенций не соответствовал требованиям. Тем не менее, его наняли для оказания помощи «в некоторых аварийных ситуациях». Процессом переноса биллингового сервиса занимался один лишь он – остальная команда разработчиков вела процесс миграции всех прочих файлов и приложений компании.
По прошествии двух лет ничего не изменилось – сервис по-прежнему работал на старом сервере и так и не был перенесен. Однажды в электронный почтовый ящик Сэма пришло уведомление о необходимости «высвободить» сервер, то есть отдать его под другие нужды. Сэм поинтересовался у других коллег, была ли выполнена миграция приложения, и, получив несколько утвердительных ответов, полностью удалил всю хранившуюся на нем информацию.
О важности резервных копий
Спустя еще полгода, когда Сэм и думать забыл и о самом биллинговом сервисе, и о сервере, на котором он работал, он вдруг получил сообщение от руководства о невозможности подключения к этому серверу. «Началась неразбериха», - констатировал Сэм.
Вместе со своими коллегами он начал выяснять, действительно ли сервис был перенесен в новый ЦОД, но итоговый ответ был отрицательным, притом причину невыполнения задачи никто назвать не мог. Руководство начало задавать не самые приятные вопросы о причинах сложившейся ситуации и о наличии резервных копий и было очень удивлено отсутствием последних. В конце прозвучал самый важный вопрос: «Как долго мы выставляем клиентам счета за пользование этим сервисом?».
Помощи ждать неоткуда
Задав неприятные, но вполне логичные вопросы, руководство компании попыталось вновь привлечь к работе того стороннего разработчика, который двумя годами ранее получил заказ на наладку сервиса в новой инфраструктуре. Но тот, по словам Сэма, наотрез отказался сотрудничать, попросив, чтобы от него отстали, и заявив, что он не будет помогать ни за какие деньги. Не исключено, что до него дошла информация об отсутствии резервных копий.
Компании пришлось бросить силы всех своих ИТ-специалистов на экстренную интеграцию старого сервиса в новую единую экосистему компании. Задача была выполнена за несколько месяцев – команде, ответственной за его миграцию, были предоставлены все необходимые ресурсы.
По словам Сэма, в компании не винят его в произошедшем, что вполне логично, поскольку перед очищением и перепрофилированием злополучного сервера он получил подтверждение о ненужности содержащейся в нем информации. Тем не менее, сам Сэм склонен винить себя в том, что не приложил достаточного количества усилий для того, чтобы сервер не был не заменимым. Вероятно, он ругает себя за отсутствие резервных копий и за то, что доверился словам других людей, убедивших его в успешном переносе сервиса со старого сервера на новый, и не перепроверил все лично.
Короткая ссылка
