Поделиться
Arenadata Hadoop эволюционирует в Arenadata Hyperwave
Arenadata представила новую версию ADH 4.0.0, в которой устранены межсервисные зависимости, — теперь заказчики могут устанавливать кластеры с любым набором компонентов без обязательных hadoop-сервисов. В связи с этим компания отказалась от прежнего наименования продукта (Arenadata Hadoop) и перезапускает ADH под новым названием — Arenadata Hyperwave. Об этом CNews сообщили представители Arenadata.
Arenadata Hyperwave — гибридная платформа на основе open source компонентов и проприетарных разработок, предназначенная для хранения, обработки и анализа данных любой структуры и объема. Она предоставляет набор инструментов и сервисов для реализации современных архитектурных шаблонов — от Data Lake до Lakehouse и Data Mesh. Платформа поддерживает как простые сценарии аналитики, так и продвинутые варианты использования: машинное обучение, обнаружение аномалий, аналитику журнальных файлов и GenAI.
Александр Анисимов, технический руководитель продукта Arenadata Hyperwave: «На момент запуска ADH базировался на жестко связанных инструментах и компонентах экосистемы Hadoop, таких как HDFS, MapReduce, Yarn, однако со временем эволюционировал в полноценную платформу данных для гибридных нагрузок. Базовую функциональность расширили новые возможности: федеративные запросы, ACID-транзакции, автоматизированное управление хранением, безопасность корпоративного уровня и др. С децентрализацией компонентов (устранением жесткой привязки к hadoop-сервисам) в версии 4.0.0 мы меняем название, чтобы отразить новые возможности платформы и современный технологический стек».
Новая версия содержит ряд функциональных обновлений:
Реализована возможность выполнять rolling restart для HDFS, ZooKeeper, Yarn и HBase. Функция позволяет перезапускать компоненты DataNode по одному (или партиями), а не все сразу. Это помогает избежать простоя сервисов и позволяет сохранить работоспособность кластера при рестарте.
Добавлен компонент Flink History Server, который отображает статистику завершенных приложений Flink в веб-интерфейсе.
Внедрен новый сервис Monitoring. Он разворачивает в ADH свой сервер Prometheus, который реализует сбор и хранение метрик мониторинга кластера, а также поддерживает возможность использования веб-интерфейса Grafana для визуализации и анализа информации. Сервис включает все необходимые экспортеры и настроенные инфопанели для HDFS, Ozone, Hue, Kyuubi, Yarn, HiveServer и HiveMetastore, Impala.
Появилась возможность автоматической установки Java из репозиториев Arenadata. Данная функциональность представляется для полностью автоматической установки в системах, где отсутствуют необходимые зависимости. В продуктовых средах рекомендуется использовать JDK от официальных поставщиков.
Релиз включает обновления версий сервисов, расширяющие их возможности:
В Trino добавлена поддержка объектного хранилища Ozone, в том числе поддержка работы с Ozone через протокол OFS. В поставку включен специализированный Trino ADB сonnector с поддержкой параллельных операций чтения/записи в кластере ArenadataDB (ADB). Реализован DBCatalogManager с версионированием и режимом обслуживания и расширенные возможности управления: конфигурацию дополнили настройки протоколирования, контроль бесперебойной работы с предустановленными значениями для текущего хранилища (HDFS/Ozone), настройки свойств сессии и групп ресурсов. Также расширены функции безопасности: для Trino добавлен плагин Ranger и возможность настройки LDAP-аутентификации через Arenadata Cluster Manager (ADCM).
В Ozone реализована возможность настройки Ozone Topology Awareness — функции, учитывающей физическую топологию сети при размещении данных. Она важна для обеспечения отказоустойчивости и общей производительности, особенно в географически распределенном кластере. При включенной функции Ozone размещает каждую реплику ключа на хосте в отдельной стойке, что гарантирует доступность данных в случае сетевого сбоя или других проблем.
Добавлена поддержка имперсонации для выполнения действий в Smart Storage Manager. Под имперсонацией понимается механизм, позволяющий сервису производить действия от имени другого пользователя, реализованный для соответствия политикам безопасности, изоляции данных и ресурсов между пользователями, а также аудита действий с фиксацией в журналах имени пользователя, который осуществил запуск.
В Hue теперь доступен преднастроенный интерпретатор Trino с расширенной функциональностью, включающей поддержку kerberos-аутентификации.
Для Kyuubi разработан Open Metadata Lineage Dispatcher для отправки lineage-событий на сервер OpenMetadata.
Оптимизирован ADB Spark Connector, получивший поддержку push-down-предикатов и gp_parallel_retrieve_cursor.
Реализована поддержка высокой доступности (HA) для сервисов Impala StateStore и Impala Catalog.
Вместе с обновленной Arenadata Hyperwave представлен очередной релиз подсистемы безопасности Arenadata Platform Security (ADPS). Актуальная версия 1.2.2 включает апгрейд сервиса Ranger, обновление поддержки MaintenanceМode в ADCM, возможность изменять настройки протоколирования KnoxCLI в ADCM и другие улучшения.
Короткая ссылка
