• CNews FORUM 12 ноября
• CNews AWARDS 12 ноября
• Школа Роста
• Российский рынок облаков за 20 лет
• 30 лет рынку ERP в России
• Главные ИТ-сценарии 2026
• Цифровизация
• Импортозамещение
• Безопасность
• ИТ в госсекторе
• ИТ в банках
• ИТ в торговле
• Телеком
• Интернет
• ИТ-бизнес
• Рейтинги
• Инфографика

22 Сентября 2026 11:16 22 Сен 2026 11:16 |

Группа Arenadata представила новую версию модуля ADH Cloud в рамках развития универсальной гибридной платформы данных Arenadata Hyperwave (ADH). Релиз сфокусирован на повышении зрелости работы со Spark в Kubernetes: добавлены spark-оператор, планировщик задач и выделенный shuffle-сервис, усилены механизмы безопасности и реализовано централизованное управление через Arenadata Cloud CLI. Об этом CNews сообщили представители Arenadata.

Модуль ADH Cloud позволяет запускать вычислительные движки Arenadata Hyperwave в среде Kubernetes, сохраняя данные и состояние кластера в базовом ADH. Версия 1.4.0 продолжает эту стратегию: если в прошлой версии акцент делался на Impala и Trino, то теперь ключевым направлением стало развитие экосистемы Spark — от управления ресурсами до анализа завершенных приложений. Релиз позволяет гибко и изолированно масштабировать аналитические нагрузки Spark в облачной инфраструктуре, сохраняя защищенный контур данных.

Для релиза разработан оператор Spark для Kubernetes, покрывающий полный жизненный цикл приложения — от развертывания и масштабирования до автоматической очистки ресурсов. Чтобы сделать работу Spark в Kubernetes эффективной и предсказуемой, в состав ADH Cloud интегрирован планировщик ресурсов YuniKorn, позволяющий гибко управлять очередями задач и распределять ресурсы между пользователями и командами. Для веб-интерфейса YuniKorn реализована поддержка аутентификации Kerberos, SPNEGO и LDAP.

В релиз включен компонент Celeborn — удаленный shuffle-сервис для Spark в Kubernetes. Он переносит высоконагруженные операции с локальных дисков узлов во внешнее хранилище, включая HDFS, Ozone (в том числе по протоколу ofs), S3, что позволяет запускать Spark на рабочих узлах без физических локальных дисков.

Также в платформу вошел Spark History Server для хранения и просмотра истории выполнения приложений Spark. Он позволяет анализировать логи, метрики и статусы задач даже после завершения работы приложения, не требуя доступа к контейнерам или логам отдельных подов.

Иван Никерин, технический менеджер продукта, Cloud & Data Services: «Тонкое управление вычислительными нагрузками — следующий шаг после запуска движков в Kubernetes. YuniKorn и Celeborn закрывают исторические ограничения Spark в контейнерной среде: непредсказуемое распределение ресурсов между командами и зависимость от локальных дисков».

Упрощены сбор и визуализация метрик: реализована интеграция с VictoriaMetrics и Prometheus для сбора метрик состояния оператора Kerberos. Данная функция позволяет отслеживать работоспособность и производительность инфраструктуры Kerberos на единой информационной панели наряду с другими компонентами платформы. Для сбора метрик компонентов добавлена поддержка PodMonitor, ServiceMonitor, VMPodScrape и VMServiceScrape. Администратор может выбрать наиболее подходящий способ подключения в зависимости от используемой системы мониторинга (Prometheus или VictoriaMetrics) без необходимости внесения изменений в код.

Почему ритейл переходит на компактные ПК и неттопы Цифровизация

Продолжена линия на усиление безопасности: разработан механизм использования предварительно созданных секретов Kubernetes с централизованным хранением для Trino, Impala, Spark, YuniKorn и Celeborn. Расширены возможности Arenadata Cloud CLI — в частности, команда adc list дает быстрый доступ к текущему состоянию инфраструктуры без переключения между kubectl и другими инструментами.

Возможности Arenadata Hyperwave

Arenadata Hyperwave (ADH) — универсальная платформа на основе open source компонентов и проприетарных решений, предназначенная для хранения, обработки и анализа данных вне зависимости от их структуры и объема. ADH предоставляет набор инструментов и сервисов для реализации современных паттернов — от Data Lake до Lakehouse и Data Mesh.

Решаемые задачи: хранение, обработка больших объемов структурированных и неструктурированных данных любого типа (системы управления документами и контентом, хранение и регистрация событий, данные датчиков, каталоги товаров, резервное копирование других СУБД); распределенная обработка информации; построение озер данных, lakehouse и data mesh (единый центр всех данных компании, быстрое развертывание и сворачивание «песочниц» для пилотных проектов и проверки статистических гипотез, работа с аналитическими инструментами в единой среде); машинное обучение и искусственный интеллект; импортозамещение и разгрузка систем зарубежных вендоров.

На Arenadata Hyperwave получено свидетельство о государственной регистрации программы для ЭВМ. Продукт включен в единый реестр российских программ для электронных вычислительных машин и баз данных, а также в реестр системы сертификации средств защиты информации по требованиям безопасности информации.