Цели проекта: создание гибкой и отказоустойчивой инфраструктуры

Главная задача проекта — построение телекоммуникационной и вычислительной инфраструктуры «c нуля» в двух дата-центрах банка (основном и резервном) и дальнейшее разнесение между ними ИТ-сервисов с целью обеспечения катастрофоустойчивости. Для ее решения модуль серверной фермы было решено реализовать в виде «сетевой фабрики» по двухуровневой топологии Leaf-Spine, где уровень Spine отвечает за передачу трафика между Leaf-коммутаторами, к которым, в свою очередь, подключаются оконечные хосты.

Для реализации проекта рассматривались два технологических решения: Ethernet VPN-Ethernet Virtual Extensible LAN (EVPN-VXLAN), которая позволяет отделить базовую сеть (физическая топология) от оверлейной сети (виртуальная топология) для гибкости при подключении устройств), и архитектура Cisco Application Centric Infrastructure (ACI).

Централизованная модель управления снижает риски и издержки

Выбор был сделан в пользу второго решения, так как технология ACI позволяет построить катастрофоустойчивую сеть без увеличения трудозатрат на ее обслуживание за счет централизованной модели настройки профилей.

Управление сетевой фабрикой осуществляется через единую точку (APIC-контроллер, Application Policy Infrastructure Controller) за счет применения политик/шаблонов к объектам. Политики определяются через профили приложений (Application Network Profile), состоящие из групп подключений (End-point groups, EPG), каждая из которых представляет собой логическую группу хостов (виртуальных машин, физических серверов, контейнеров и т.п.), которые находятся в одном сегменте безопасности. Взаимоотношения разных групп подключений определяются так называемыми «контрактами».

При этом не нужно конфигурировать каждый коммутатор фабрики по отдельности: достаточно один раз описать политику, а дальше просто указывать, к каким объектам (например, коммутаторам) ее необходимо применять. Подобную модель управления можно реализовать и на других технологических платформах, но в этом случае потребуется «с нуля» создавать систему централизованного управления, привлекая не только сетевых специалистов, но и команду разработчиков. В случае с ACI система управления уже доступна «из коробки», поэтому не придется тратить время на ее разработку.

Таким образом, развертывание AСI позволяет сократить расходы на эксплуатацию решения и снизить вероятность возникновения ошибок конфигурирования в рамках рутинных задач по сравнению с использованием как современных решений класса VXLAN EVPN, так и традиционных legacy-систем. Как следствие, сводятся к минимуму риски нарушения непрерывности критических бизнес-процессов. Дополнительные преимущества архитектуры ACI — возможность реализации ИБ-политики по принципу нулевого доверия и наличие интеграции с различными средами виртуализации.

Multi-PoD — простота и удобство управления

Основные вопросы, которые возникли после выбора технологии ACI для построения модуля серверной фермы, — по какой архитектуре строить распределенную сеть и чем считать каждый отдельно взятый дата-центр с точки зрения технологии ACI: самостоятельной фабрикой (Fabric) или составной частью (PoD) единой территориально-распределенной фабрики? Если рассматривать каждую площадку в качестве самостоятельной фабрики, то строить сеть ЦОД нужно по архитектуре Multi-Site, если же — как составную часть единой территориально-распределенной фабрики, то по архитектуре Multi-PoD.

С точки зрения администратора сети, главное отличие между указанными технологиями состоит в том, как именно будет происходить управление ACI-сетью дата-центра. При использовании Multi-PoD один территориально-распределенный APIC-контроллер управляет двумя площадками одновременно, как будто это единая фабрика. В случае технологии Multi-Site в каждом дата-центре должен быть свой собственный выделенный APIC-контроллер, который будет регулировать только закрепленную за ним площадку. Очевидно, что Multi-Site более отказоустойчив с точки зрения управления, но при этом и более сложен в эксплуатации на фоне архитектуры Multi-PoD. Решающим требованием в реализованном проекте оказались простота и удобство управления, поэтому в данном случае была выбрана архитектура Multi-PoD.

Задержка связи не более 50 миллисекунд

В вопросе построения транспортной сети предпочтение было отдано технологии DWDM (Dense Wavelength Division Multiplexing). Модуль транспортной сети состоит из двух волоконно-оптических магистралей, связывающих два дата-центра, при этом в каждом ЦОД магистраль терминируется выделенным под нее DWDM-мультиплексором. Архитектура Multi-PoDпредъявляет жесткие требования к величине задержки на DCI-каналах связи, которая не должна превышать 50 миллисекунд. Это достигается благодаря тому, что в DWDM-сети между дата-центрами отсутствует оборудование пакетной коммутации, которое в ряде случаев может привести к возникновению недопустимой величины задержки.

Особенности реализации проекта: сжатые сроки

Для упрощения работы с технологией и повышения скорости внедрения было решено сохранить прежний принцип разнесения серверов по VLAN, поэтому сегментация вычислительных ресурсов, подключенных к фабрике, выполнена по модели network-centric.

Еще одна особенность проекта связана с тем, что обмен трафиком между вычислительными ресурсами в разных контекстах безопасности (VRF) ACI-фабрики должен был идти транзитом через межсетевой экран в L2-режим.

Сетевой фундамент для банковских сервисов

В результате выполненных работ был построен отказоустойчивый ИТ-фундамент, поддерживающий новейшие технологии информационной безопасности, с помощью которого банк сможет не только обеспечить минимальное время простоя и непрерывную доступность уже существующих ИТ-сервисов, но и оперативно наращивать мощности для увеличения скорости внедрения новых услуг и обслуживания клиентов.