Поделиться
Всеобщая цифровизация: система хранения данных — основа инфраструктуры любого бизнеса
Объем бизнес-данных растет беспрецедентными темпами. В начале прошлого года мы прогнозировали, что в 2020 году количество информации увеличится на 25% — было это ещё до начала пандемии, которая только подстегнула цифровизацию. А вот заложенные бюджеты организаций на эту же цель выросли примерно на 10%.
Основные причины роста объективные: увеличение производительности систем и получаемых с периферии данных, рост необходимого количества информации для тренировки искусственного интеллекта, работы прогнозных моделей и CRM, законы, требующие всё большего срока хранения значимых для налоговой документов и персональных данных. Мир становится все более цифровым: сегодня фермы покупают дроны и в сельском хозяйстве используют беспилотные технологии для комбайнов.
Компании все чаще находятся в догоняющем положении: отделы и службы внутри организации для своих целей используют разные среды хранения информации и поставщиков оборудования, их данные плохо структурированы, местами не оцифрованы, к ним затруднен доступ, потому они не могут приносить пользу бизнесу и транслировать объективную картину рынка. Сложнее дела обстоят с безопасностью персональной информации и возможностью резервного восстановления.
Менять что-либо на ходу непросто: лучше заранее позаботиться о системе хранения данных, которая будет закрывать и текущие, и будущие потребности компании — неважно, встала она уже на путь цифровизации или пока только готовится к этому. Мы приходим к тому, что в развитии предприятий любого масштаба сегодня ключевую роль играет создание подходящей системы хранения данных.
Стоимость хранения важнее производительности
Если бы существовало универсальное решение, обеспечивающее производительность, ёмкость и низкую стоимость организации и хранения данных, эта статья была бы очень короткой. В реальности, на двух условных полюсах: производительные решения на основе твердотельных накопителей и сравнительно дешевые ёмкие варианты на базе жестких дисков. Какое именно положение между двумя этими полюсами занять — каждая компания решает самостоятельно, исходя из своей специфики работы с информацией.
Растущая стоимость хранения данных регулярно занимает более высокие позиции по сравнению с увеличением производительности и пропускной способности системы. Исследование компании 451 Research’s Voice of the Enterprise: Storage, Budgets & Outlook 2020 (n=451) в очередной раз доказало этот тезис. Ответы руководителей компаний на вопрос «Каковы основные болевые точки вашей организации с точки зрения хранения данных?» распределились следующим образом.
Первое место занял вопрос сохранения данных (34,4%), второе — высокая стоимость (27,1%), четвертое — обеспечение адекватной производительности системы хранения данных, например, пропускная способность и IOPS (25,5%).
Большинство текущих и будущих задач компаний с точки зрения систем хранения данных вполне способны решить системы на основе жестких дисков. Например, требовательная к бесперебойной параллельной записи трёх сотен потоков видео платформа Genetec ™ Security Center для видеонаблюдения без проблем обслуживается системой хранения данных Seagate® Exos ™ X 5U84, которая вмещает до 84 HDD суммарным объемом до 1,3 Пб. Результаты тестов вы видите ниже.
Из дополнительных преимуществ Seagate® Exos™ X 5U84 для работы с системами видеонаблюдения можно выделить встроенную интеллектуальную микропрограмму для кибербезопасности Seagate Secure™ (SFTP, поддержка самошифрования и инструменты контроля доступа администраторов).
Технология Autonomic Distributed Allocation Protection (ADAPT) позволяет быстро восстанавливать тома хранения до 95% по сравнению с традиционными решениями, такими как RAID 8+2, и сократить время простоя. Это также критически важно для систем видеонаблюдения. Чтобы минимизировать количество ошибок, лучше использовать специализированные жесткие диски для систем видеонаблюдения Seagate SkyHawk, предназначенные для непрерывной записи или универсальные накопители корпоративного класса Seagate серии Exos X, рассчитанные на серьезные рабочие нагрузки.
Принципиальная схема решения выглядела следующим образом:
Не стоит думать, что совместное решение Genetec и Seagate направлено только на локальную задачу видеонаблюдения. Умные камеры с высоким разрешением сегодня широко используются для самых различных целей: для автоматического считывания штрихкодов на складе, повышая эффективность работников погрузчиков, или номеров автомобилей; для подсчета трафика и выделения основных путей перемещения покупателей в торговых центрах и жителей на улицах города; для контроля за работой оборудования, например, сборочных конвейеров; для получения информации и дальнейшего обучения искусственного интеллекта. Чтобы все эти данные работали на бизнес компании, они должны бесперебойно записываться и обрабатываться без потерь и задержек – без надежной системы хранения не обойтись.
В 16 раз быстрее домашнего SSD: когда нужна супер производительность?
Существуют организации, для которых производительность играет главную роль. Пример Государственного фонда кинофильмов РФ (Госфильмофонда) — главного киноархива страны — здесь вполне показателен. В фонде хранятся эталонные копии выходящих в прокат фильмов, с которых дальше снимаются копии для кинотеатров. Сегодня картотека архива насчитывает более миллиона картин: от немых короткометражек конца XIX века до современных работ.
Значительная часть архива не оцифрована, поэтому необходимо было создать объемное и быстрое хранилище, в которое можно было бы сканировать фильмы в высоком разрешении, вплоть до 8К. Чтобы решить задачу, компания «Пролайн» совместно с Seagate разработала проект на основе платформы Seagate EXOS AP 5u84. Это современное, недорогое и легко масштабируемое решение для развертывания приложений. Максимальная производительность на данном оборудовании составляет до 8ГБ/с, а объём диска расширяется до 5,376ПБ. Для записи использовались твердотельные накопители корпоративного класса Seagate Nytro 3032. Принципиальная схема решения выглядела следующим образом:
Быстрая скорость записи в данном кейсе и надежность были достигнуты за счёт использования RAIDIX ERA – это RAID-массив, работающий на стандартных дистрибутивах для ОС Linux, поэтому может быть интегрирован с различным программным обеспечением. В RAIDIX ERA используется программная технология для работы с твердотельными накопителям NVMe SSD, которая позволяет получать до 97% производительности оборудования. Использование платформы Seagate EXOS AP 5u84 обеспечивает надёжность и отсутствие потерь в записи даже в случае выхода из строя дисков и смешанной нагрузки. В результате, крупнейший киноархив страны получил надёжную систему хранения данных, которая обеспечит его эффективную работу в будущем.
Многофункциональные гибриды для кинопродакшна: быстро и ёмко
Другие данные исследования компании 451 Research’s Voice of the Enterprise: Storage, Budgets & Outlook 2020 (n=451) подтверждают тезис, что далеко не все компании не переходят на только твердотельные накопители именно по причине их высокой стоимости. На вопрос «Если ваша IT-организация не развернула массивы хранения на основе flash-памяти, что из перечисленного было причиной?» 57% назвали более высокую цену относительного гибридного хранилища, сочетающего жесткие диски и твердотельные накопители.
Как видно из самого популярного ответа, при выборе того, какую именно систему хранения данных использовать — на базе твердотельных накопителей или жестких дисков — необязательно выбирать какую-то определенную сторону. Сегодня вполне возможно использование гибридных моделей, сочетающих сильные стороны каждой, и при этом не затрачивая лишних средств.
В этом плане показателен совместный кейс pixitmedia и Seagate. ПО pixitmedia pixstor представляет собой законченное программно-определяемое решение для общего хранения данных, специально созданное для рабочих процессов мультимедиа и развлечений, включая анимацию и спецэффекты, телевещание, студийное производство и пост-продакшн.
В качестве решения для хранения, полностью обеспечивающего потребности этого сегмента рынка, компания Seagate предложила гибрид двух систем. Как первичное и высокопроизводительное решение использовалась недорогая система хранения Seagate Nytro X 2U24 на базе массивов, состоящих только из флеш-памяти. Система поддерживает до 24 сверхбыстрых твердотельных накопителей суммарным объемом 91 Тб. Пропускная способность: до 7 ГБ/с при последовательном чтении и до 5,5 ГБ/с при последовательной записи. Оптимальны для работы в системе одноименные твердотельные накопители корпоративного класса Seagate Nytro 3032.
Для вторичного хранилища используются дисковые массивы Exos X 2U12 и Exos X 5U84 с жесткими дисками корпоративного класса Exos X с высокой плотностью записи, рассчитанные на большую нагрузку серверов и систем хранения предприятий, в том числе облачные ЦОД. Сюда записываются уже произведенные видеоматериалы, графика, аудио. Оба массива имеют защиту данных ADAPT, поддерживают разные типы компоновки дисков в RAID, могут расширяться и при необходимости объединяться по модульному принципу.
Тестирование такой системы хранения данных от Seagate на программном обеспечении pixitmedia pixstor показало хорошие результаты, даже учитывая тот факт, что это ПО позволяет превратить локальный сервер компании в горизонтально масштабируемую платформу NAS с возможностью удаленного доступа к хранилищу файлов. На этом примере мы видим, как создание блокбастеров, спортивных передач и отмеченного наградами теле- и видеоконтента серьезно зависит от пропускной способности системы хранения данных, которая является основой IT-структуры компании.
Смотрим в будущее
Мы рассмотрели всего несколько кейсов преимущественно с видеоданными, поскольку сегодня именно такой контент наиболее требователен и к ёмкости накопителей, и к пропускной способности корпоративной системы. Конечно, существуют и другие виды бизнесов, количество данных которых постоянно растет. Современные системы и базы с большим количеством персональных данных, использование искусственного интеллекта, который на этих массивах учится, увеличение потоков информации от IoT-устройств — всё это требует не только большей ёмкости, но и растущей производительности.
Выстраивая системы хранения данных, сегодня любая компания неизбежно заглядывает в будущее, где будет нужна ещё большая производительность. Справятся ли системы на основе жестких дисков с возрастающей нагрузкой на них и тотальной цифровизацией бизнеса? Скорее всего, да. Хотя скорости твердотельных накопителей для них недостижимы и вряд ли будут достижимы в обозримом будущем, эти недорогие рабочие лошадки вполне справляются с нагрузками, а их производительность только растет.
Новое поколение жестких дисков с подогревом для записи HAMR от Seagate имеет объем от 20 Тб и, как ожидается, к 2025 году каждое устройство достигнет отметки в 50 ТБ в стандартном корпусе 3,5 дюйма. Таким образом, вырастет емкость дисков без изменения размера.
Что же касается быстродействия, в ответ на запросы некоторых крупных операторов облачных вычислений, Seagate планирует выпустить новое поколение жестких дисков, основанных на решении с несколькими исполнительными механизмами. Первая итерация Mach.2 HDD представляет собой конструкцию с двумя приводами, что почти вдвое увеличивает производительность операций ввода-вывода в секунду по сравнению с дисковыми накопителями корпоративного класса текущего уровня.
Есть планы добавить еще больше приводов, что позволит поставщикам линейно масштабировать число операций ввода-вывода в секунду. Хотя это по-прежнему не сделает жесткие диски сопоставимыми с твердотельными накопителями в быстродействии, технология обеспечит возможность повышения производительности жестких дисков в будущем. С точки зрения развития универсальности, в ближайшие несколько лет ожидается появление устройств NVMe-HDD корпоративного класса.
Параллельно с «железом» развивается и софт, который помогает интегрировать существующие разнородные решения для хранения и обработки данных — такие, как VMware VSAN для обеспечения гиперконвергентной инфраструктуры. Сама инфраструктура также становится гибкой: программно-определяемой вместо традиционной монолитной; компании учатся привлекать для задач с пиковой нагрузкой внешние мощности с целью рациональной экономии, а самое ценное и важное хранить внутри, обеспечивая безопасность и бесперебойный доступ. Это то изменчивое и неясное будущее, которое уже наступило. Совершенно понятно, что без надежного фундамента в виде собственной системы хранения данных, развитие бизнеса и надстройка требовательных функций просто невозможны в условиях возрастающих нагрузок.
Узнать, соответствует ли ваша инфраструктура всем требованиям современного мира, можно, проконсультировавшись с экспертом Seagate по ссылке.
Короткая ссылка
