Эксперты системного интегратора и разработчика Navicon проанализировали рынок платформ данных. Они выяснили, что сегмент ETL/ELT движется в сторону более широкого использования low-code и передовых технологий, а также снижения порога входа для аналитиков и бизнес-пользователей, не обладающих продвинутыми навыками программирования.
Зрелость российских компаний в области управления данными продолжает расти — по оценкам аналитиков, с 2019 года число организаций, реализующих подобные инициативы, увеличилось в 5 раз. Компании начали накапливать и анализировать значительно больше информации. Бизнес более внимательно подходит к выстраиванию data-ландшафта — заказчики заинтересованы не только во внедрении, но и в оптимизации работы платформ.
Для того чтобы данные реально работали на достижение бизнес-целей, важно повышать уровень их качества и расширять возможности использования. Эту задачу компании сейчас решают как с помощью специализированных продуктов (например, Arenadata Catalog), так и на уровне инструментов загрузки и преобразования данных — ETL (Extract, Transform, Load) и ELT (Extract, Load, Transform). Растет спрос на рынке на продукты класса ETL/ELT.
«Большинство зрелых компаний стремится к использованию ELT или гибридного подхода, то есть совмещения ETL и ELT, поскольку ELT дает большую гибкость и масштабируемость, позволяет эффективнее использовать вычислительные мощности для работы с данными», — отмечает Евгений Кузьмичев, директор по развитию бизнеса департамента Data Insights в Navicon.
Продуктовые экосистемы для работы с данными от западных вендоров неизменно содержали компоненты ETL или ELT. Сейчас на российском рынке ситуация вынужденно изменилась, и подобная функциональность доступна либо в виде самостоятельных специализированных сервисов, либо в качестве компонентов больших продуктовых платформ.
Функционально российские решения находятся в роли догоняющих, но за последние три года очень хорошо выросли в качестве и количестве предлагаемых возможностей. Во многих из них есть инструменты гибкой загрузки (полной, инкрементальной, по триггеру и т.д.), продвинутый мониторинг, интеграция с различными системами-источниками, элементы low-code и т.д.
Некоторые отечественные ETL/ELT-решения даже выходят за рамки базовой функциональности и позволяют делать прозрачным жизненный цикл данных, data lineage — и повышать их качество без применения дополнительных инструментов еще на этапе подготовки к анализу. Настраиваемые технические и бизнес-проверки исключают большинство ошибок во время формирования витрин для отчётности. Такие продукты становятся частью Data Governance — процессов стратегического управления данными.
Кроме того, они все чаще включают в себя технологии роботизации и искусственного интеллекта, автоматизируют ключевые операции с данными, повышают эффективность их обработки и снижают риск ошибок. Евгений Кузьмичев полагает, что новейшие технологии наиболее полезны в основном в двух случаях: во-первых, при автоматизации простых рутинных и шаблонных операций. В этом случае системы на основе ИИ способны выполнять задачи полностью автономно или при минимальном контроле со стороны человека. И во-вторых, при написании кода и выполнении сложных преобразований данных. В этом случае ИИ выступает в роли ассистента: ускоряет выполнение задач и предлагает более оптимальные решения.
«Искусственный интеллект не сможет вытеснить опытных дата-инженеров — количество случаев, когда шаблонные сценарии не подходят для решения задач бизнеса, сегодня составляют около 40% объёма задач по работе с данными. Поэтому, несмотря на то, что уровень автоматизации процессов ETL/ELT будет неуклонно стремиться к 100%, он никогда не достигнет этого показателя», — убежден Евгений Кузьмичев.
Справка
Navicon входит в топ-10 российских игроков в области BI, CRM, ERP. Компания выступает бизнес-партнером заказчика и помогает комплексно решать задачи его бизнеса. Navicon оказывает услуги по комплексной автоматизации предприятий и внедрению бизнес-решений на базе самых современных технологий.