Поделиться
Вышла новая версия Arenadata Hadoop с обновлёнными компонентами Hbase, Flink и Zookeeper
Arenadata выпустила новую версию дистрибутива на базе Apache Hadoop, адаптированного для корпоративного использования, — Arenadata Hadoop (ADH) 2.1.7_b1. Релиз включил обновление версий компонентов Hbase, Flink и Zookeeper. Также в него добавлен новый сервис Airflow2 и компонент Livy версии 0.7.1 c поддержкой работы со Spark версии 3.3.0 на Scala 2.13.
Arenadata Hadoop 2.1.7_b1 включил следующие улучшения и новую функциональность: возможность установить версию сервиса Flink 1.15.1, а также «по кнопке» обновиться с предыдущей версии. Пользователи смогут воспользоваться функциональностью новой версии и исправить проблемы предыдущей; возможность установить новую версию сервиса Hbase 2.0.4 и «по кнопке» обновиться с предыдущей версии, исправив проблемы старой версии; возможность установить новую версию сервиса Zookeeper 3.5.10, а также «по кнопке» обновиться с предыдущей версии. Новая версия позволит исправить проблемы предыдущей; возможность установить новый компонент сервиса Spark3 — Livy 0.7.1 c поддержкой Spark 3.3.0 на Scala 2.13 в качестве отдельного компонента параллельно Livy для Spark версии 2.3.2. В компонент добавлена возможность поддержки Spark 3.3.0 и Scala 2.13; новый сервис Airflow версии 2.3.3. Он устанавливается параллельно Airflow версии 1.10.11. Это даёт возможность перенести настройки и задания с предыдущей версии; поддержка кастомизации krb5.conf и ldap.conf через интерфейс Arenadata Cluster Manager (ADCM). Это даёт возможность пользователю самостоятельно средствами ADCM изменить содержимое конфигурационных файлов krb5.conf и ldap.conf. Эта функциональность позволит настраивать более сложные и тонкие конфигурации керберизации и авторизации в зависимости от сложности инфраструктуры; добавлена возможность принудительно отключить политики доступа HDFS ACL, если включен плагин Ranger. Это позволит использовать единую «точку правды» для организации доступа пользователей.
«Arenadata стремится предоставить заказчикам возможность получать последние версии компонентов Hadoop. Для нас важно, чтобы у пользователей была возможность обновить их автоматически „по кнопке“». Кроме того, наши специалисты, работая над новыми версиями Arenadata Hadoop, заботятся о том, чтобы продукт был безопасен, а его компоненты совместимы друг с другом и стабильно работали в рамках всей платформы», — сказал Александр Большаков, директор департамента управления продуктами Arenadata.
В краткосрочных планах развития Arenadata Hadoop — обновление Hive до версии 3.1.3, сделать это можно будет «по кнопке». В течение 2023 г. в roadmap Arenadata Hadoop будут включены поддержка отечественной ОС Astra Linux, расширение возможностей отказоустойчивости компонентов и обновление их версий. ADH станет стабильнее и безопаснее, в upstream-версии будут устранены ошибки и уязвимости информационной безопасности. Также специалисты Arenadata планируют переработать и дополнить документацию Arenadata Hadoop.
Дистрибутив Arenadata Hadoop на базе Apache Hadoop адаптирован для корпоративного использования и предназначен для хранения и обработки слабоструктурированных и неструктурированных данных.
Короткая ссылка
