Разделы

Телеком Цифровизация ИТ в госсекторе

Когда победа в конкурсе – не главное. Как организовывалось телевещание на объектах ЧМ-2018

Трансляция Чемпионата мира по футболу – это не только доставка «картинки» с футбольного поля на телевизоры болельщиков. Не менее важно обеспечить вещание на самих объектах ЧМ. Для этого проекта требования заказчика были такими драконовскими, что на привлекательный по цене конкурс заявились всего две компании. Чего стоила эта победа и как изнутри выглядит обеспечение участников чемпионата телевизионной картинкой, рассказывают генеральный директор АМТ-Груп Александр Гольцов, главный инженер проекта Анатолий Фомичёв и руководитель проекта Алексей Беляев.

CNews: Чем вы занимались на Чемпионате мира и где были границы вашей ответственности в ходе проекта?

Анатолий Фомичёв: Мы заключили контракт с «Национальным Центром Информатизации» – это дочерняя компания Ростеха. Предметом контракта была доставка и распространение цифрового телесигнала IPTV и DVB-C на двух мероприятиях – Кубке Конфедераций 2017 и Чемпионате мира 2018. Ключевым мероприятием, безусловно, стал чемпионат, где мы должны были обеспечить вещание на 8500 телевизионных экранов и 3000 рабочих мест комментаторов.

Центральным узлом для размещения нашего решения стал Международный вещательный центр в Москве, в котором собирались телевизионные сигналы со всех стадионов, принимавших ЧМ. Причем одними только матчами вещание не ограничивалось – на 39 территориально-распределенных объектах постоянно проводились трансляции пресс-конференций, интервью и других мероприятий. Операционный день трансляций длился с 8 часов утра до 2 часов ночи.

fomichev.jpg
Анатолий Фомичёв: Нам не подходило ни одно тиражное решение, и мы совместно с российской компанией «Элтекс» сделали свое – разработали технологическую платформу IPTV в соответствии со всеми требованиями FIFA

Нашей задачей было принять 19 каналов, преобразовать их в соответствии с нужными параметрами и отправить в сеть передачи данных, соединяющую объекты (стадионы, штаб-квартиры, гостиницы и т.д.). Сама сеть передачи данных между ними и локальные сети на объектах были зоной ответственности других компаний. Но мы никогда не отделяли свою зону ответственности от других, всегда включались в решение возникающих у смежников вопросов, потому что на таких мероприятиях по-другому работать нельзя. Аналогичным образом поступали и коллеги по отношению к нам. На этом проекте сформировалась единая команда, состоящая из многих подрядчиков. Благодаря совместным усилиям нам удалось обеспечить необходимый уровень качества и сервиса.

Алексей Беляев: На нашу работу влиял и тот факт, что подготовка к мероприятиям Чемпионата финансировалась из двух независимых источников. Строительство новых объектов и адаптация существующих шли за счет бюджета министерства спорта России, а предоставление сервисов связи – по линии Минсвязи.

В практической плоскости это означало, что на проекте работало множество смежных организаций, не связанных друг с другом юридическими взаимоотношениями и общим заказчиком, при этом их результаты тесно переплетались и зависели друг от друга.

Это могло стать проблемой, поэтому для ее предупреждения одной из ключевых задач для наших сотрудников на объектах стало установление надежных контактов с подрядчиками, отвечавшими за строительство и подготовку ИТ-инфраструктуры объектов. Мы использовали гибкий подход к распределению зон ответственности между командой «АМТ-Груп» и смежниками. В конечном счете это позволило нам выстроить доверительные отношения и синхронизировать действия для успешного завершения проекта.

goltsovbest.jpg
Александр Гольцов: Важнейшую роль в успехе сыграло наше участие в прошлогоднем Кубке Конфедераций. Мы поняли особенности работы на таких мероприятиях, получили опыт и подготовили решение для Чемпионата на его основе

Александр Гольцов: Наиболее сложной для нас оказалась именно организационная часть, а не техническая. И важнейшую роль в успехе сыграло наше участие в прошлогоднем Кубке Конфедераций. Хотя там и были задействованы всего четыре стадиона, мы поняли особенности работы на таких мероприятиях, получили опыт и подготовили решение для Чемпионата на его основе.

CNews: Что требовал от вас заказчик?

Анатолий Фомичёв: Прежде всего, мы должны были выполнить требования FIFA к организации вещания, а они очень далеки от «типовых» требований для подобных систем. В частности, задержка доставки сигнала на экран не должна была превышать 300 миллисекунд. Обычно в этом нет необходимости, так как телезрители, как правило, не присутствует на съемочной площадке (в среднем, задержка между событием в кадре и отображением «прямого эфира» на экране составляет 5 секунд и более). Но то, что происходит на поле и то, что видит комментатор на своем экране, должно идти практически синхронно.

И в этом заключалась одна из главных технических сложностей. Очень мало в мире производится оборудования, соответствующего таким требованиям, а для стандарта DVB-C (а именно этот стандарт должен был применяться в соответствии с техническими требованиями) его вообще практически нет. И производители оборудования по нашему заказу проделали очень большой труд по его оптимизации, чтобы оно могло быть использовано на ЧМ.

Нам не подходило ни одно тиражное решение, и мы совместно с российской компанией «Элтекс» сделали свое – разработали технологическую платформу IPTV в соответствии со всеми требованиями FIFA. Существенное отличие нашей платформы от представленных на рынке заключается в расширенных возможностях управления трансляцией и в системе контроля вещания до каждого экрана.

Мониторинг велся по целому ряду параметров на каждом узле тракта доставки ТВ-сигналов до потребителя, он позволял нам реагировать на возможные сбои и в целом понимать, как работает система. Дело в том, что по соглашению об уровне сервиса мы были обязаны устранить любую неисправность в течение 5 минут. Без мониторинга это было бы в принципе невозможно сделать.

Также мы модернизировали и дооснастили существующее оборудование, установленное на объектах, для обеспечения безотказной работы. Было сделано горячее резервирование критически важных узлов систем. Важным моментом были и организационные мероприятия. В начале каждого операционного дня мы проводили тренинги для наших инженеров и специалистов, где отрабатывали действия при возникновении тех или иных неисправностей.

Алексей Беляев: Учитывая предъявляемые SLA требования и полученный на Кубке конфедераций опыт отработки нештатных ситуаций, мы заблаговременно начали готовить дежурные смены. Возможные инциденты и варианты их устранения были внесены в инструкцию и многократно отрепетированы с сотрудниками смен. Были продуманы и согласованы с организаторами маршруты передвижения наших инженеров по стадионам, чтобы обеспечить им допуск во все нужные помещения. Мы просчитывали все действия и искали любые нюансы, которые могли бы сказаться на качестве работы, прорабатывали их и доводили решение до всех участников проекта. Все это помогло нам подойти к началу Чемпионата в максимальной готовности.

belyaev03.jpg
Алексей Беляев: Мы просчитывали все действия и искали любые нюансы, которые могли бы сказаться на качестве работы, прорабатывали их и доводили решение до всех участников проекта

Александр Гольцов: Попробуйте представить, что можно сделать за 5 минут, если на огромном стадионе что-то сломается. За это время можно не успеть добежать в нужное место, не говоря уже о ремонтных работах. Обычно при работе даже с такими требовательными клиентами, как телекоммуникационные компании, жестким сроком считаются четыре или даже два часа на восстановление после сбоя.

Еще к особенностям проекта я могу отнести финансирование и финансовую ответственность. Работа по госконтракту подразумевала сдачу многотомной отчетности, лишь после этого мы могли рассчитывать на оплату счетов. А ответственность предполагала, что в случае существенного нарушения условий оказания услуг мы легко могли потерять 30% от цены контракта в виде штрафа.

CNews: Тогда почему вы вообще взялись за этот проект на таких условиях?

Александр Гольцов: Мы, конечно же, оценивали риски, и решили, что проект нам достаточно интересен. Он и по деньгам объемный – работа на Кубке Конфедераций и Чемпионате мира стоила примерно 280 млн рублей. Известно, что в наше время дорогие проекты встречаются нечасто. При этом у нас ведь были все необходимые компетенции, чтобы выполнить условия контракта.

Александр Осипов, МегаФон: Эффективность киберзащиты вырастет, если снизится рутинная нагрузка на специалистов
безопасность

Как мы увидели во время конкурса, другие компании тоже оценивали риски, только в абсолютном большинстве они пришли к противоположному выводу. В тендере участвовали всего две компании, считая «АМТ-Груп». Мы выиграли, предложив более низкую цену.

Анатолий Фомичёв: К счастью, серьезных неприятностей не произошло, в основном были мелкие неполадки. Были замечания к качеству монтажа СКС на стадионах, что, естественно, приводило к ухудшению качества сервиса. Весьма часто неисправности были вызваны «человеческим фактором», если, например, кто-то переключил ТВ на другой вход, а обратное переключение сделать забыл. Мы видели данную «неисправность» в системе мониторинга. Дежурной смене приходилось часто выполнять роль «пульта дистанционного управления с ногами». Но ничего не поделаешь – «крайнего» мы никогда не искали.

Алексей Беляев: Участие в проекте национального масштаба – это безусловный вызов для любой команды. С первых шагов стало понятно, что подходы к планированию и реализации должны быть продуманы максимально и до мелочей, т. к. в огромной цепочке задач даже малейшая упущенная деталь несет потенциальную опасность для поставленных целей. Мы понимали, что уровень ответственности и возможные последствия на порядок выше, чем в остальных проектах.

CNews: Жесткий SLA был единственной сложностью на проекте?

Анатолий Фомичёв: Проект был непростым по многим параметрам. Проиллюстрировать то, с чем пришлось столкнуться, можно на одном показательном примере. К чемпионату «с нуля» строились 7 стадионов. Планируемый срок сдачи стадионов был задолго до начала ЧМ, но строители тянули со сдачей до последнего. Мы по контракту должны были начать предоставление услуги 29 мая, за две недели до начала чемпионата. И, конечно, получилось так, что к началу планируемых работ по монтажу оборудования мы столкнулись с неготовностью инженерных систем, а кое-где и со строительной неготовностью помещений. Из-за этого нам пришлось проводить монтажные и пусконаладочные работы в экстренном режиме. Но благодаря грамотному распределению ресурсов мы справились и 29 мая запустили услугу в полном объеме. Правда, к этому моменту не успела закончить свою подготовку вещательная компания, поэтому мы продемонстрировали свой результат на тестовом сигнале. «Живой» сигнал мы получили всего за 5 дней до первого матча чемпионата.

Алексей Беляев: Сложностей было немало, особенно организационных. В дополнение к вышесказанному, стоит отметить ненормированный рабочий день. Как показал опыт Кубка конфедераций, ключевым инженерам в дни матчей приходилось работать более 12 часов. С учетом того, что им пришлось два месяца работать без выходных, возникал риск снижения работоспособности в ключевые дни.

Поэтому мы особое внимание уделили планированию труда и отдыха, распределению нагрузки. Места проживания бронировались заблаговременно и в максимальной близости к объектам, условия проживания согласовывались и предварительно проверялись. Был сформирован резервный состав исполнителей, который время от времени замещал ключевых сотрудников, предоставляя им время на отдых и восстановление в периоды высокой загрузки. Все это и ряд других мероприятий позволили нам обеспечить максимально комфортные условия работы персонала и минимизировать трудности, с которыми мы столкнулись на проекте.

CNews: Стадионы, принимавшие чемпионат, разбросаны почти по всей стране. Кто конкретно работал на удаленных объектах – ваши специалисты или субподрядчики?

Анатолий Фомичёв: Этим занимались наши инженеры и монтажники с привлечением специалистов компаний-субподрядчиков. Стадионов действительно много, они разбросаны по огромной территории страны, поэтому только своими силами справиться было нереально. Вместе с привлеченными компаниями полная численность нашей команды составляла 180 человек.

Техподдержка «Базальт СПО» — гарантия надежной работы вашей ИТ-инфраструктуры
Маркет

Задач хватало всем с первого дня. Приезжая на объект, сотрудники «АМТ-Груп» сразу проводили анализ имеющегося на объекте оборудования и дооснащали его. Чаще всего проблема была в отсутствии резерва или несоответствии оборудования требованиям проекта.

Алексей Беляев: При планировании ресурсов на Чемпионат мира мы учли опыт Кубка конфедераций и внесли корректировки в структуру проектной команды. На ключевые роли и объекты назначались исключительно наши инженеры-эксперты, руководители региональных проектов.

CNews: Вы использовали решения российских поставщиков везде, где это возможно. Почему?

Александр Гольцов: Ориентация на российских поставщиков оборудования и ПО оказалась очень верным подходом, который сыграл существенную роль в успехе проекта. Если бы мы брали только импортные решения, то рисковали даже не вписаться по затратам в сумму контракта.

Например, систему высокоскоростного кодирования можно приобрести у западного производителя – и она будет стоить очень большую сумму в долларах. В то же время наши разработчики при значительно меньших затратах обеспечивают аналогичное качество и оперативную техподдержку.

Как уже упоминалось выше, в сотрудничестве с компанией «Элтекс» мы смогли создать абсолютно новое техническое решение, необходимое для предоставления услуги с заданными параметрами. Реализовать это с каким-либо иностранным производителем за такой срок нереально.

CNews: На чемпионате вы организовывали доставку телесигнала Full HD. Понадобится ли доработка, масштабирование решения для вещания в форматах 4К и 8К, когда значительно возрастут потоки передаваемых данных?

Анатолий Фомичёв: Переход на , – это всего лишь замена того или иного оборудования, а также изменение требований к каналам связи. Самое главное – это архитектура решения. То, что мы заложили в нашем техническом решении, обеспечило необходимое качество сервиса и может быть использовано и на других мероприятиях подобного масштаба.