Поделиться
Облако Google пролежало в отключке несколько часов. Виноваты сломавшиеся ИБП, которые не давали подключить резервное питание
Сбой, из которого в конце марта 2025 г. на шесть часов вышли из строя облачные сервисы Google в одном из регионов Северной Америки, был вызван одновременным отключением электроэнергии и отказом источников бесперебойного питания в центре обработки данных. Инженерам потребовалось несколько часов для того, чтобы подключить резервное питание.Новые подробности
Корпорация Google раскрыла причины недавнего сбоя в работе публичного облака Google Cloud в США. По сообщению The Register, ею оказался выход из строя источников бесперебойного питания (ИБП), являющихся частью системы обеспечения отказоустойчивости дата-центра, на основе инфраструктуры которого функционируют сервисы Google Cloud в конкретной зоне доступности.
Сбой, зафиксированный 29 марта 2025 г., вызвал частичную, а в некоторых случаях и полную недоступность более чем 20 облачных сервисов американского ИТ-гиганта в зоне доступности us-east5-c. В числе этих сервисов Cloud Interconnect, Virtual Private Cloud (VPC), Google Compute Engine, Persistent Disk, AlloyDB for PostgreSQL, Cloud Dataproc, Cloud Dataflow, Cloud Filestore, Identity and Access Management, Cloud SQL, Google Kubernetes Engine, Cloud Composer и BigQuery, Cloud Bigtable.
Вычислительная и сетевая инфраструктура провайдера, обслуживающая североамериканский us-east5-c, расположена в Колумбусе (штат Огайо), отмечает The Register. Другие зоны доступности, относящиеся к региону east5, – a и b – сбоем затронуты не были, утверждают в Google.
Сбой и восстановление
Согласно отчету о происшествии, опубликованному Google, происшествие было вызвано «отключением электроснабжения в затронутой [происшествием] зоне».
Для предотвращения подобных инцидентов провайдеры услуг дата-центров и облачных сервисов встраивают в систему энергоснабжения инфраструктуры ИБП, которые призваны обеспечить подачу электроэнергии на оборудование в течение некоторого времени в случае сбоя в работе энергосети, к которой подключен дата-центр. В дальнейшем дата-центр может быть переключен на резервные источники питания, например, дизельные генераторы, запуск которых не происходит моментально.
Дата-центр Google в Огайо располагает ИБП и дизельными генераторами, отключение электроэнергии в конце марта 2025 г. в нем совпало по времени с «критическим отказом в работе батарей», в результате чего серверы Google Cloud остались без питания и отключились.
Как отмечает The Register, ИБП, похоже, также препятствовали подаче электроэнергии с запустившихся вскоре генераторов, из-за чего инженерам пришлось запитать оборудование от генераторов напрямую, в обход ИБП. Чем вызваны проблемы в работе батарей ИБП, в отчете Google не уточняется. Название компании-поставщика ИБП и батарей для них также не упоминается.
Инженеры, проводившие работы, получили уведомление об аварии в 12:54 по тихоокеанскому стандартному времени (PST; 22:54 по Москве), а запустить системы дата-центра с питанием от генераторов удалось только к 14:49 PST. Таким образом, частично работа облачных сервисов в зоне доступности us-east5-c была возобновлена без малого через два часа после начала сбоя. Одновременно с этим специалисты Google настроили перенаправление трафика с сервисов, не имеющих зональной привязки, в незатронутые инцидентом зоны.
Поставщика ИБП ожидает неприятный разговор
«Работа большинства сервисов Google Cloud вскоре была возобновлена», – говорится в отчете Google. Тем не менее на восстановление доступа к некоторым из облачных услуг потребовало большего количества времени, поскольку в отдельных случаях «потребовались действия, совершаемые вручную».
Большая часть работ была завершена к 1:53 PST 1 апреля 2025 г. Google принесла извинения пострадавшим от сбоя клиентам и заявила о «стремлении не допустить повторения этой проблемы в будущем». В числе мер, которые призваны способствовать достижению этой цели – «взаимодействие с поставщиком ИБП для выявления и устранения проблем в системе резервного питания».
Сбои в работе гиперскейлеров
Google Cloud по-прежнему остается одним из крупнейших провайдеров облачных услуг в мире. Согласно данным Synergy Research Group, по итогам IV квартала 20224 г. рыночная доля облака Google по показателю совокупной выручки составляла 12%, что на 9 процентных пунктов меньше результата Azure корпорации Microsoft (21%) и на 18 п. п. отставала от лидера – Amazon Web Service (AWS).
Навязать конкуренцию американским глобальным гиперскейлерам в отчетном периоды постарались китайский Alibaba Cloud (4%), американские же Oracle (3%), а также Salesforce, IBM Cloud и китайский Tencent (по 2% каждый).
От сбоев, которые случаются по тем или иным причинам, как показывает практика, не застрахован ни один главных гиперскейлеров в мире. В августе 2022 г. поисковик и картографический сервис на некоторое время Google стали недоступны в разных частях света. В числе причин называлось неудачно прошедшее обновление программного обеспечения. Однако за несколько часов до возникновения проблем с онлайн-сервисами в провинциальном дата-центре Google произошел инцидент, в результате которого трое человек оказались на больничной койке. К трагедии привела неисправность электрического оборудования, вероятно, обернувшаяся взрывом.
Amazon Web Services пережил масштабный сбой, поломавший десятки веб-сайтов и проектов по всему миру. Не работали стриминги, игровые сайты и многое другое. На решение проблемы, причины которой не раскрывались, ушло почти шесть часов.
Как ранее сообщил CNews, в июле 2024 г. в мире произошел глобальный сбой информационных систем в различных отраслях из-за неудачного обновления ПО CrowdStrike. Оно повредило и облачные сервисы Microsoft Azure.
Короткая ссылка
