ETL-круг Громова - исследование российских ETL-решений и open-source инструментов для обработки данных

В исследовании рассматриваются текущее состояние и ключевые тренды развития ETL-решений для корпоративного сектора в России. Особое внимание уделяется анализу функциональных возможностей, производительности и технологических особенностей отечественных решений. Проведено детальное сравнение ETL-систем на основе более чем 200 критериев. Отдельный раздел посвящен анализу открытого программного обеспечения (open-source) и сравнению его с проприетарными продуктами. Приведены рекомендации по выбору оптимальной платформы с учетом специфики бизнеса. Исследование предназначено для руководителей, принимающих решения о внедрении ETL, аналитиков, инженеров данных и всех, кто интересуется развитием данного рынка в России. Оно может быть использовано как практическое руководство для выбора ETL-системы, а также как источник информации о современных тенденциях и перспективах развития отрасли. 

IBP круг Громова

В исследовании проведен анализ российских разработчиков программного обеспечения для интегрированного бизнес-планирования (IBP) и управления цепями поставок (SCP/SCM). Рассмотрены ключевые тренды и перспективы развития отечественных IBP/SCP-продуктов. Продемонстрированы основные сценарии применения российских систем планирования в корпоративном сегменте.

Российские IBP/SCP-решения проанализированы на соответствие требованиям enterprise-пользователей по таким критериям как: функциональные возможности, удобство развертывания, интеграция с учетными системами, масштабируемость, наличие необходимых сертификатов. В исследовании выявлены сильные и слабые стороны решений по следующим ключевым блокам:

• Прогнозирование спроса: методы и алгоритмы прогнозирования, сценарный анализ, план-фактный анализ.
• Планирование запасов и закупок: автоматическое формирование заказов поставщикам, управление страховыми запасами, учет ограничений по срокам и партиям поставок.
• Планирование производства: учет ресурсных ограничений, балансировка загрузки мощностей, расчет производственных расписаний.
• Планирование распределения: анализ транспортной логистики, оптимизация размещения запасов по звеньям сети, управление межскладскими перемещениями.
• Финансовое планирование: расчет себестоимости, план-фактный анализ в разрезе финпоказателей, моделирование P&L и cash flow.
• И другие важные аспекты функциональности, производительности и практической применимости IBP/SCP-систем.

Cloud круг Громова

В исследовании проведен анализ российских провайдеров облачных сервисов. Рассмотрены ключевые тренды и перспективы развития отечественных облачных платформ. Продемонстрированы основные сценарии применения российских облачных сервисов в корпоративном сегменте.

Российские облачные платформы проанализированы на соответствие требованиям enterprise-пользователей по таким критериям как: удобство развертывания, управления и мониторинга, обеспечение безопасности данных, масштабируемость, наличие необходимых сертификатов. В исследовании выявлены сильные и слабые стороны облачных платформ по следующим ключевым блокам:

• Модели развертывания: поддержка публичного, частного и гибридного облака, возможности кастомизации и интеграции.
• Вычислительные ресурсы: виртуальные машины, контейнеры, серверы, кластеры, балансировка нагрузки, авто-масштабирование.
• Хранение данных: блочное и объектное хранилище, базы данных, CDN, резервное копирование и восстановление.
• Сеть и безопасность: виртуальные сети, подключения к ЦОД, брандмауэры, шифрование, контроль доступа, мониторинг безопасности.
• Управление и DevOps: веб-консоль, API, CLI, IaC, CI/CD, мониторинг производительности, уведомления.
• И другие важные аспекты функциональности и корпоративных возможностей облачных платформ.

MDM/НСИ круг Громова

В исследовании проведен анализ систем класса MDM (Master Data Management) для централизованного управления и обеспечения качества мастер-данных организации. Рассмотрены ключевые тренды развития MDM-платформ и основные сценарии их применения в корпоративной архитектуре.

MDM-системы проанализированы на соответствие требованиям enterprise-пользователей по таким критериям как: гибкость развертывания (on-premise/SaaS), функциональная полнота, удобство управления и поддержки, безопасность и контроль доступа. В исследовании выявлены сильные и слабые стороны MDM-платформ по следующим ключевым блокам:

• Архитектура и развертывание: front-end и back-end компоненты, on-premise и SaaS модели, требования к инфраструктуре, масштабируемость и отказоустойчивость.
• Управление метаданными: централизованный словарь данных, создание моделей и иерархий данных, наследование атрибутов, поддержка стандартов метаданных.
• Интеграция и качество данных: импорт/экспорт данных, валидация и обогащение данных, обнаружение и обработка дубликатов, определение связей между сущностями, синхронизация данных.
• Безопасность и аудит: ролевая модель доступа, поддержка LDAP/SSO, политики безопасности, шифрование данных, логирование действий, аудит изменений.
• Бизнес-процессы: workflow управления сущностями, статусы данных, процесс согласования изменений, уведомления и задачи для стейкхолдеров.

Дополнительно рассмотрены аспекты поддержки вендора, зрелости продукта, наличия экспертизы на рынке и общая стоимость владения MDM-платформой.

AI Agent Platforms круг Громова

AI Agent Platforms круг Громова — первое масштабное исследование российских платформ для создания, развертывания, мониторинга и управления AI-агентами.

В отчёте: состояние и тренды рынка (анализ перехода от экспериментов к индустриальным внедрениям, стандартизация протоколов (MCP как «USB для AI», A2A), эволюция RAG 2.0 и мультиагентных архитектур, а также требования к AI Governance и суверенному ИИ.), функциональные возможности платформ (no-code/low-code и code-first конструкторы, RAG-пайплайны, оркестрация агентов, интеграции с CRM/ERP, голосовые каналы, системы безопасности), а также сравнительный анализ по 14 группам и 118 критериям.

Рассмотренные решения: Just AI, Yandex AI Studio, VK AI Space, Cloud.ru Evolution Agents, Nodul, GigaChat Enterprise, MWS AI Agents,  AgentNavigator, TeDoIntelligence, Cognitum и другие.

Оценка выполнена по фирменной методике «Круг Громова» с использованием 14 тематических блоков (архитектура, LLM, RAG, безопасность, стоимость и др.) и 118 критериев с весами (Ключевые/Существенные/Поддерживающие).

Результаты визуализированы в тепловых картах (heatmap), радарных диаграммах и итоговом рейтинге с классификацией (Лидеры, Претенденты, Нишевые игроки, Наблюдатели). Исследование адресовано руководителям AI-направлений, архитекторам и техническим специалистам, которые находятся на этапе выбора платформы для пилотного проекта или промышленного внедрения AI-агентов.

AI в BI Круг Громова

Исследование «AI в BI Круг Громова» — анализ российских BI-платформ с интегрированными AI-функциями, проведённый независимыми экспертами.

Технические характеристики включают детальную информацию о поддержке BYOM (смены LLM), наличии MCP-серверов, типах развёртывания (облако / on-premise), соблюдении RLS/CLS, а также об архитектурных особенностях реализации решений. Особое внимание уделено семантическому слою и глоссарию, без которых AI-агенты теряют точность и начинают «галлюцинировать».

Функционал систем оценены по 55 критериям, включая NL2Viz (генерацию графиков по тексту), анализ дашбордов, root-cause, прогнозирование, мультиагентность и диалоговые сценарии.

Тестирование и оценка проведены в формате выполнения типовых заданий: фактические вопросы, неявные фильтры, генерация визуализаций, анализ дашборда, диалоговые цепочки и провокационные запросы. Все вендоры верифицировали свои ответы. Результаты позволили выявить не только сильные стороны, но и зоны развития каждого решения.

Оценка производилась по критериям, среди которых:

• Инфраструктура: администрирование, облачные и on-premise версии, безопасность, управление пользователями, подключение к источникам данных.
• Управление данными: семантический слой, глоссарий, lineage, работа с метаданными, поддержка ETL/ELT.
• Анализ и создание контента: NL2Viz, генерация формул, прогнозирование, root-cause, диалоговые сценарии, мультиагентность.
• Обмен результатами: экспорт отчётов, интеграция с мессенджерами, рассылки, executive-брифы, API и MCP-серверы.

Data Lakehouse круг Громова

Data Lakehouse круг Громова — исследование отечественных платформ Data Lakehouse

Исследование представляет собой комплексный обзор российского рынка платформ Data Lakehouse — архитектуры, объединяющей преимущества Data Warehouse и Data Lake на едином слое хранения с поддержкой ACID-транзакций, open table formats и управления метаданными.

В отчёте подробно рассматриваются:

• Эволюция архитектур хранения данных: от DWH и Data Lake к концепции Data Lakehouse, а также подходы Data Mesh и Data Fabric.
• Ключевые технологии и тенденции: open table formats (Delta Lake, Apache Iceberg, Apache Hudi, Apache Paimon), ACID-транзакции, time travel, schema evolution, каталоги метаданных и Data Lineage.
• Функциональные возможности отечественных платформ, включая слой хранения на S3-совместимых хранилищах, движки обработки (Spark, Trino, Flink), интеграцию с BI и ML/AI, потоковую обработку и обеспечение качества данных.
• Детальное описание и технические характеристики российских решений, включая архитектуру, безопасность, эксплуатацию и совместимость с отечественной инфраструктурой.
• Регуляторный контекст импортозамещения (152-ФЗ, 187-ФЗ, реестр российского ПО) и уход зарубежных вендоров (Microsoft, Oracle, SAP, AWS, Google Cloud).

Рассмотренные российские решения: MWS Data Lakehouse, Selena, Digital Q.DataFactory, CedrusData Platform, Data Ocean Nova, Tengri Data Platform, Arenadata Hyperwave, VK Data Platform, YTsaurus, Yandex Data Platform (Yandex Data Lakehouse).

Исследование ориентировано на CDO, дата-архитекторов, дата-инженеров и лиц, ответственных за принятие решений о построении платформы данных. Оно может использоваться как источник исчерпывающей информации о современном рынке Data Lakehouse, для сравнения альтернативных решений или в качестве справочника по продуктам в данной области.

1С-коннекторы круг Громова - исследование решений для интеграции с 1С

Проведен анализ отечественных коннекторов и способов для автоматизации выгрузки данных из 1С в аналитические системы. Изучены их функциональные возможности, производительность, надежность и интеграционные возможности.

Основные критерии оценки:

• Функциональность: работа с объектами 1С (справочники, регистры, документы), поддержка трансформации данных, инкрементальная загрузка изменений, совместимость с различными версиями и конфигурациями 1С.
• Интеграция: совместимость с основными СУБД (PostgreSQL, ClickHouse, MS SQL), подключение к BI-системам и промежуточным хранилищам, возможность кастомизации через API.

В исследование даны практические рекомендации для выбора оптимального решения с учетом потребностей бизнеса, объема данных и бюджета. Исследование помогает компаниям выбирать надежные инструменты для интеграции с 1С, минимизируя риски и оптимизируя затраты.

ESB круг Громова — исследование российских и open-source интеграционных шин данных

В исследовании проведён структурированный сравнительный анализ более 20 российских и open-source ESB-платформ для интеграции бизнес-приложений, построения корпоративных DWH и поддержки сквозных процессов. Платформы протестированы по чек-листу из более 200 критериев, охватывающих архитектурные подходы (SOA, EDA, микросервисы), технические возможности, облачные и гибридные сценарии, безопасность, масштабируемость и соответствие российским регуляторным требованиям.

Даны практические рекомендации по выбору и внедрению ESB для различных задач. Выявлены сильные и слабые стороны решений по следующим направлениям:

• Архитектура и масштабируемость: поддержка кластеризации, балансировки, on-premises и облачных развертываний, возможность расширения под задачи DWH и B2B-интеграции.
• Безопасность и соответствие: разграничение доступа, шифрование, аудит, соответствие требованиям законодательства и отраслевых стандартов.
• Интеграционные возможности: широкий набор коннекторов и адаптеров, поддержка протоколов (SOAP, REST, JMS, AMQP, SFTP, API), работа с event streaming и CDC.
• Мониторинг и управляемость: централизованный мониторинг, логирование, трассировка, интеграция с системами наблюдаемости.
• API-менеджмент: публикация и управление API, поддержка авторизации, throttling, документация и аналитику.
• User Experience: удобство интерфейса, визуальное проектирование маршрутов, поддержка low-code/no-code инструментов.
• Лицензирование и поддержка импортозамещения: модели поставки, использование open-source, сертификация, соответствие реестру российского ПО.

Self-Service круг Громова — исследование российских платформ для самостоятельной работы с данными

Self-Service Круг Громова — это исследование нового поколения, посвящённое самостоятельной работе с данными во всем технологическом стеке, а не только на уровне BI. Исторически термин self-service возник именно в бизнес-аналитике: BI был «последней милей» данных, где бизнес-пользователю действительно приходилось напрямую работать с инструментом — строить отчёты, дашборды, проводить анализ без участия ИТ. Поэтому исследования self-service долгое время концентрировались исключительно на BI-платформах и пользовательских интерфейсах визуализации.

Наш подход принципиально шире. Современная работа с данными давно вышла за рамки BI, и реальные ограничения self-service чаще возникают не в визуализации, а на более ранних и более глубоких слоях — при подключении источников, подготовке данных, моделировании, управлении метриками, качестве и доступах. В рамках Self-Service круга Громова мы анализируем, в каких доменах всего data-стека пользователь действительно может действовать самостоятельно, а где self-service остаётся декларацией. Исследование охватывает ingestion, обработку и запросы данных, семантический слой, governance, наблюдаемость, генерацию данных и управляемые СУБД — формируя целостное представление о зрелости self-service подхода в платформах работы с данными и позволяя компаниям осознанно выбирать решения под свои задачи, уровень зрелости и организационную модель.

Возможности self-service оценивались в ключевых доменах работы с данными:

•  BI & визуализация: дашборды, отчёты, интерактивный анализ, экспорт и публикация данных без участия ИТ.
•  Ingestion: визуальные коннекторы к источникам (БД, API, файлы, 1С), загрузка и трансформация данных через drag-and-drop.
•  Query & Processing (OLAP): SQL-движки нового поколения, виртуальные кубы, self-service оптимизация запросов, workload management.
•  Semantic Layer: бизнес-словарь, метрики, вычисляемые поля и KPI, доступные пользователю без знания SQL.
•  Data Governance & Data Literacy: глоссарий, управление качеством, lineage, ролевой доступ и совместная работа.
•  Data Observability: мониторинг процессов и данных, алерты, журнал действий, отслеживание сбоев.
•  Data Generation: синтетические данные, what-if анализ, прогнозирование, сценарное моделирование.
•  СУБД (Managed Service): управляемые облачные хранилища с self-service масштабированием и администрированием.

Data Quality круг Громова — исследование российских решений для управления качеством данных

Подробный анализ российских DQ-систем. Рассмотрены технические характеристики — архитектура, алгоритмы профилирования и очистки, особенности интерфейса. Проанализированы модели лицензирования от разных вендоров. Проанализирован функционал систем и инструменты управления качеством данных. Независимыми экспертами проведено тестирование и оценка систем по чек-листу, включающему более 150 критериев. По результатам выявлены сильные и слабые стороны, определены лидеры рынка. Даны рекомендации по выбору оптимальной платформы с учётом задач и бюджета компании.

Также вендоры оценивались по ключевым критериям, среди них:

• Архитектура и развёртывание: on-premise, облако и гибридные сценарии, контейнеризация (Kubernetes/OpenShift), масштабируемость, отказоустойчивость, поддержка российских ОС (Astra Linux, ALT, РЕД ОС).
• Профилирование и правила качества: статистическое профилирование, семантическое распознавание (ИНН, адрес, телефон), библиотека типовых проверок, визуальный конструктор правил, версионирование.
• Очистка и обогащение: стандартизация ФИО/адресов/телефонов, поиск и объединение дубликатов (fuzzy/ML matching), адресная валидация по ФИАС/КЛАДР, автоматическое исправление по правилам.
• Мониторинг и аналитика: контроль свежести и объёма данных, выявление аномалий, отслеживание изменений схемы, управление инцидентами, дашборды по доменам.
• Интеграции и API: коннекторы к СУБД, lakehouse, Kafka, REST/GraphQL API, интеграция с BI, MDM, Data Catalog, CI/CD-пайплайнами, поддержка lineage (OpenLineage).
• Безопасность и комплаенс: SSO (OIDC/SAML/LDAP), шифрование, маскировка ПДн, row-level security, аудит действий, соответствие 152-ФЗ, интеграция с SIEM.

Clickhouse/Greenplum в облаке

Исследование «ClickHouse/Greenplum в облаках» — это практическое руководство по развёртыванию и эксплуатации этих СУБД в облачных и гибридных средах, включая российские сборки от Arenadata. Мы сравниваем сценарии IaaS, PaaS и BareMetal, разбираем типовые архитектуры (сетевые топологии, объектные хранилища/S3, выбор СХД и вычислительных профилей), вопросы масштабирования и отказоустойчивости, требования к безопасности и соответствию, а также модели затрат. Отдельный блок посвящён облачной экосистеме Arenadata: девять сертифицированных провайдеров (VK Cloud, Cloud.ru, Beeline Cloud, K2 Cloud, T1 Cloud, MWS, O2 Cloud, Selectel, A2 Cloud)

RPA-круг Громова — исследование российских RPA-вендоров, отечественное ПО для роботизации бизнес-процессов

Подробный анализ российских RPA-систем. Рассмотрены технические характеристики — архитектура, используемые технологии, особенности интерфейса. Проанализированы модели лицензирования от разных вендоров. Проанализирован функционал систем и инструменты разработки роботов. Независимыми экспертами проведено тестирование и оценка систем по чек-листу, включающему более 280 критериев. По результатам выявлены сильные и слабые стороны, определены лидеры рынка. Даны рекомендации по выбору оптимальной платформы с учётом задач и бюджета компании.

Также вендоры оценивались по ключевым критериям, среди них:

• Архитектура и развёртывание: типы архитектуры (монолитная, микросервисная), облачные и on-premise версии, масштабируемость, отказоустойчивость (HA/DR), поддержка VDI и контейнеризации.
• Разработка и исполнение: визуальный конструктор и текстовое программирование, attended/unattended роботы, встроенный отладчик, UI-коннекторы для веб, Windows, Java, SAP.
• Интеграции и API: поддержка REST/SOAP, очереди сообщений, event-driven архитектура, интеграция с корпоративными системами и 1С.
• AI и обработка данных: встроенный OCR, NLP, поддержка LLM, Computer Use агенты, Process Mining интеграция.
• Безопасность и комплаенс: шифрование, Credential Vault, интеграция с SIEM, работа в закрытых контурах, соответствие ГОСТ.
• Импортозамещение: наличие в реестре Минцифры, поддержка российских ОС (Astra Linux, РЕД ОС), отечественных СУБД и офисных пакетов.

Process Mining круг Громова — исследование российских систем процессной аналитики

Подробный анализ российских и доступных на рынке РФ систем Process Mining. Рассмотрены технические характеристики — архитектура, алгоритмы обнаружения процессов, возможности визуализации. Проанализированы модели лицензирования от разных вендоров. Проанализирован функционал систем и инструменты аналитики процессов. Независимыми экспертами проведено тестирование и оценка систем по чек-листу, включающему ключевые критерии. По результатам выявлены сильные и слабые стороны, определены лидеры рынка. Даны рекомендации по выбору оптимальной платформы с учётом задач и бюджета компании.

Также вендоры оценивались по ключевым критериям, среди них:

• Подключение данных и ETL: коннекторы к SAP, 1C, Oracle, MS SQL, BI-хранилищам, лог-файлам; поддержка формата event log (case id, activity, timestamp, resource).
• Обнаружение и визуализация: алгоритмы discovery, читаемость диаграмм, variant analysis, conformance checking против нормативных моделей (BPMN/SLA).
• Аналитика и оптимизация: вычисление KPI (lead time, throughput), bottleneck detection, root-cause analysis, сценарии «what-if» и simulation.
• Мониторинг и масштабируемость: поддержка стриминга и alerting в реальном времени, обработка миллионов событий, горизонтальное масштабирование, Big Data.
• Интеграции и экосистема: интеграция с BI, BPM, RPA, ERP; развёртывание SaaS и On-prem.
• Безопасность и локализация: шифрование, соответствие ФЗ-152, локальное хранение данных, поддержка русского языка, готовые шаблоны для банков, телекомов, госструктур.

BPMS круг Громова

BPMS круг Громова — исследование российских систем управления бизнес-процессами

Комплексный обзор российского рынка BPMS/iBPMS-платформ и low-code систем оркестрации бизнес-процессов в парадигме BOAT (Business Orchestration and Automation Technologies).

В отчёте: состояние и тренды рынка 2026–2028 (AI-агенты в BPM, process mining, RPA, low-code/no-code, API-first и event-driven архитектуры, BPMN 2.0 / DMN / CMMN), функциональные возможности платформ (моделирование и исполнение процессов, case management, интеграции с 1С/ERP/CRM, безопасность и импортозамещение), а также сравнительный анализ по 14 группам и 143 критериям.

Рассмотренные решения: BPMSoft, ELMA365, Platform V Flow, Comindware, Directum RX, Citeck ECOS, Digital Q.BPM и другие — свыше 50 платформ в обзоре рынка.

Оценка платформ сводится в фирменный «Круг Громова» с рейтингом по группам критериев и уровнями (Leader и др.). Исследование адресовано CIO/CDO, бизнес-аналитикам и специалистам по автоматизации процессов.

Git-платформы круг Громова

Git-платформы круг Громова — комплексный обзор российского рынка платформ управления исходным кодом и DevSecOps в условиях импортозамещения.

В отчёте рассматриваются:

• Развитие и текущее состояние рынка Git-платформ 2022–2026, уход GitHub/GitLab/Bitbucket и рост спроса на отечественные решения.
• Ключевые тенденции: переход к комплексным ALM-платформам, DevSecOps, self-hosted-развёртывание, Kubernetes-native и air-gapped-сценарии.
• Функциональные возможности российских Git-платформ: работа с репозиториями, merge/pull requests и code review, CI/CD и self-hosted runners, container registry, безопасность (SSO, 2FA, RBAC, SAST/DAST, secret scanning), интеграции и API.
• Совместимость с отечественной инфраструктурой (Astra Linux, Postgres Pro) и соответствие требованиям (152-ФЗ, приказ №166, ФСТЭК, реестр российского ПО).
• Сравнительный анализ решений — GitFlic, GitVerse, SourceCraft, Gitlife Enterprise и других — с учётом зрелости, полноты функционала и enterprise-готовности.

СУБД для DWH круг Громова

СУБД для DWH круг Громова — комплексный обзор российских систем управления базами данных в контексте построения аналитических хранилищ данных (DWH).

В отчёте рассматриваются:

• Состояние и тенденции рынка аналитических СУБД: переход к Data Lakehouse (Iceberg, Delta, Hudi), миграция с Oracle/MS SQL/Teradata, консолидация вокруг PostgreSQL, AI/ML-функции (NL2SQL, pgvector) и снижение Greenplum-рисков после ухода Broadcom.
• Классы решений: MPP-СУБД (Arenadata DB, RT.Warehouse, StarRocks PRO), PostgreSQL-based (Postgres Pro, Tantor, Pangolin, Jatoba, Q.DataBase) и OLAP-движки (ADQM, Platform V DataMarts на ClickHouse, YDB).
• Сравнение по 178+ критериям в 16 группах: производительность и оптимизация запросов, векторное исполнение, интеграции и коннекторы, безопасность (RLS, TDE, маскирование, сертификаты ФСТЭК), масштабируемость, HA/DR и Kubernetes.
• Регуляторный контекст импортозамещения (152-ФЗ, 187-ФЗ, приказ №64 ФСТЭК, 851-ПП, реестр российского ПО), сравнение TCO и сценарии миграции.