RT.Streaming

RT.Streaming – это ETL-инструмент для потоковой и пакетной обработки данных на базе Apache Kafka, Apache NiFi, Apache Airflow.

RT.Streaming решает задачи корпоративной шины обмена данными: способен получать и обрабатывать данные из многочисленных внешних систем, хранить их в течение нужного для бизнеса периода времени и возвращать потребителям с удобной для них нагрузкой.

RT.Streaming может быть использован в самых разных отраслях: Ритейл, Банки, Телеком, Государственный сектор и многих других.

Из существенных преимуществ RT.StreamingKafka можно выделить:

Централизованная автоматизация разворачивания и управления;
Реализована керберизация кластера;
В новых версиях ZooKeeper заменен на KRaft как более современный подход.

Ключевые модули и возможности

RT.StreamingKafka обеспечивает безостановочный и отказоустойчивый обмен данными между различными системами компании и позволяет:

Строить потоковые и конвейеры данных в реальном времени, которые надежно передают данные между системами или приложениями;
Создавать λ-архитектуры различной сложности;
Разрабатывать потоковые приложения в реальном времени, которые преобразуют или реагируют на потоки данных;
Хранить потоки записей, задавая нужный период хранения данных;
Разграничивать права доступа к потокам данных, изолируя критически важную информацию от несанкционированного доступа.

Архитектура решения

RT.StreamingKafka — распределённая система, состоящая из Серверов и Клиентов, которые обмениваются данными через высокопроизводительный сетевой протокол TCP. Инструмент имеет два уровня: уровень хранения и уровень вычислений. Последний состоит из четырех компонентов API: Producer API, Consumer API, Kafka Streams API, Kafka Connect API

Вектор развития

Усиление безопасности в виде добавления поддержки LDAPS, TLS/SSL, FreeIPA;
Расширение операций управления кластером через RT.ClusterManager.

Примеры интерфейса и скриншоты

Экран кластера RT.StreamingKafka

Пример конфигурации

На рис.1 приведен пример развернутого керберизированного кластера RT.StreamingKafka

На рис.2 приведен пример раздела конфигурации кластера. Поля можно редактировать

Реальные кейсы

Автоматизация сбора данных и фиксации инцидентов в рамках Всероссийской переписи населения.

Эффекты:
Увеличение скорости построения оперативной отчетности по показателям технической поддержки;
Своевременное получение информации, необходимой для быстрого решения вопросов, связанных с технической поддержкой;
Полная автоматизация и значительное снижение трудоемкости сбора данных по показателям и инцидентам из Системы Контроля и Управления Функционированием;
Оптимальное управление процессом технической поддержки, снижение времени на обработку и устранение инцидентов;

Задача:

Отсутствие интеграции между Системой Контроля и Управления Функционированием (СКУФ) в инфраструктуре Электронного Правительства (ЭП) (система менеджмента инцидентов) и Проектным офисом «Аврора» не позволяет создать аналитическую отчетность по инцидентам и показателям технической поддержки системы управления парком из 360 тыс. мобильных устройств, функционирующих на операционной системе Аврора (ОС Аврора), используемых переписчиками в рамках Всероссийской переписи населения

Решения:

На базе компонента «Платформа управления данными» настроен процесс автоматизированного импорта данных из Системы Контроля и Управления Функционированием (СКУФ) в аналитическую систему «Система аналитики и отчётности «Проект Аврора».

Для этого в инфраструктуре проекта внедрена база данных по устройствам, пользователям и инцидентам, данные в которую загружаются с помощью инструмента RT.Streaming с заданным регламентом: