USEBUS AI-Code

USEBUS AI-Code — первая российская платформа для управления интеграциями с ИИ. Платформа соединяет любые ИТ-системы, обеспечивая защищенный информационный обмен структурированными и неструктурированными данными, а также устойчивую работу интеграций с гарантией доставки и сохранением порядка сообщений при отказе узлов. Платформа относится к классу решений для управления данными и универсальна для любых отраслей – государственные организации, средние и крупные коммерческие компании. USEBUS AI-Code включен в реестр отечественного ПО Минцифры (№ 13837 от 07.06.2022).

USEBUS AI-Code устраняет разрозненность ИТ-ландшафта, минимизирует ресурсы на управление интеграциями, обеспечивает бесперебойную работу процессов при добавлении или замене систем и обеспечивает необходимое качество данных для систем получателей.

Концепция продукта состоит в том, что USEBUS AI-Code замещает собой функционал различных ESB и ETL в ИТ-ландшафте, предлагая универсальный средний слой, который совмещает в одном инструменте возможности работы с большими данными и интеграциями приложений.
Платформа имеет модульную архитектуру и масштабируется вместе с ростом потребностей — от стартапа до крупных enterprise-компаний. Функциональность позволяет объединять ERP с маркетплейсами, связывать IoT-датчики с аналитикой, синхронизировать данные между облаками разных вендоров. Всё это - безопасно, с шифрованием и полным аудитом.

Ключевые модули и возможности

USEBUS AI-Code бесшовно комбинируется из нескольких приложений для управления данными, образуя единую платформу. Выбирая только нужные компоненты без переплат, можно:

• реализовать процессы ETL/ELT, являясь основой для формирования Data Lakehouse
• использовать в качестве ESB-решения, гарантируя доставку и порядок доставки сообщений (максимальное покрытие EIP- Enterprise Integration Patterns)
• убрать дубли и нормализовать данные, обеспечивая стандартизацию записей для других  систем, аналогично приложениям класса MDM
• контролировать качество и происхождение данных, являясь основой для создания data-продуктов и обеспечения Data Governance
• обеспечить прозрачность жизненного цикла данных (Data Lineage) – фиксировать полную «цепочку происхождения» каждого сообщения от источника до всех целевых систем с отметкой времени, версии схемы и авторов изменений.
• хранить и обрабатывать данные разной природы – от табличных значений до видеопотока, обеспечивая доступ в реальном времени для анализа в модуле для хранения данных uLakehouse.

Кроме того, использование AI-агента для построения и формирования документации помогает пользователю формировать логику обработки данных и автоматически получать описание интеграционных потоков.

Архитектура решения

USEBUS построен как синергия компонентов собственной разработки ГК “Юзтех” и продуктов с открытым исходным кодом (open source).

Разработка ведется на следующих языках программирования:

• Backend: Java и Python;
• Frontend: TypeScript и семейство фреймворков React.

Используются opensource продукты: Kafka, NiFi, MinIO, PostgreSQL, Keycloak (основная поставка), а также Apache ActiveMQ Artemis, Gravitee API Gateway, Apache Camel и другие необходимые брокеры и ETL-s (дополнительная поставка).

Продукт построен на современном стеке и компонентах с использованием слабых связей, имеет модульную архитектуру с ядром маршрутизации и обработки сообщений, поддерживающим кластеризацию, отказоустойчивость (в том числе катастрофоустойчивые сценарии), высокопроизводительную обработку и гарантию доставки. Платформа включает визуальный low-code редактор, расширяемую систему коннекторов, встроенные средства трансформации данных и оркестрацию процессов.

Для внешних и внутренних сервисов используется API-шлюз с функциями безопасности, контроля доступа и мониторинга, механизмы обеспечения качества данных, lineage и аудита. В архитектуру встроены средства интеграции с AI-сервисами, позволяющие автоматизировать создание интеграций.

USEBUS AI-Code развертывается on-premise или/и в облаках, опирается на контейнеризацию (Kubernetes), распределённое хранение (MinIO), Kafka и PostgreSQL, обеспечивая автоматизацию эксплуатации и масштабирование.

Вектор развития

Продукт очень быстро развивается в соответствии с требованиями рынка и бизнеса. В качестве приоритетных направлений развития платформы выделяется несколько ключевых областей:

• развитие полотна первого уровня с возможностью добавления в виде дополнительных модулей различных брокеров или ETL
• расширение возможностей AI-помощника в функциях анализа потока и предложений по его улучшению/исправлению, а также в автоматизации действий без участия пользователя
• поддержка отечественных ОС и баз данных
• соответствие продукта требованиям безопасности на уровне сертификации ФСТЭК
• расширение каталога коннекторов, в т.ч. вынос на полотно первого уровня универсального SAP-адаптера для покрытия проприетарных кейсов
• развитие функциональности, покрытие частных случаев ESB-кейсов

Примеры интерфейса и скриншоты

Рис. 1. Главная страница

Главная страница доступна после успешной аутентификации пользователя. Здесь размещены главное и вспомогательное меню приложения. Интерфейс пользователя Центра управления приложениями (ЦУП) реализован в виде web-приложения и адресован инженеру интеграций, занятому созданием и эксплуатацией потоков данных. Интерфейс пользователя ЦУП позволяет использовать интерфейс пользователя NiFi (полотно второго уровня) и других компонентов USEBUS AI-Code, формирующих контекст интеграции и применения потоков данных (полотно первого уровня).

Рис. 2. Добавление процессора

На полотне второго уровня поток данных формируется средствами Apache Nifi посредством включения в поток маршрутизации и процессоров, обрабатывающих данные. Процессор может получать данные, извлекать их из внешних источников, отправлять их во внешние службы, маршрутизировать, трансформировать и т.д. Платформа содержит около 400 видов процессоров, в т.ч. собственной разработки. Данный перечень регулярно пополняется, по результатам решения новых задач пользователей.

Рис. 3. Настройка прав доступа

Разграничение полномочий в USEBUS AI-Code основано на ролях и ролевых группах. Ролевая модель позволяет предоставить пользователю платформы полномочия согласно его функциям. Роли и ролевые группы соответствуют функциональным обязанностям пользователя, присущим ему в процессах системной интеграции.

Рис. 4. Менеджер интеграций

Менеджер интеграций позволяет пользователю (в соответствии с правами) выполнять групповые операции экспорта и импорта интеграций, а также обновления и сравнения интеграций.

• Экспорт - выгрузка интеграций (одной или несколько) из системы в файл формата JSON, с целью сохранения версии или переноса в другой проект.
• Импорт - загрузка интеграций из файла формата JSON в систему с возможностью создания новых интеграций или обновления существующих.
• Обновление - объединение содержимого редактируемой интеграции с изменениями, отраженными в выбранном файле. Эта операция используется, в частности, для переноса внесённых в интеграцию изменений с одного контура на другой (например, из контура разработки в продуктивный контур). Для этого используется файл, полученный экспортированием интеграции из экземпляра ЦУП в контуре-источнике.
• Сравнение - сравнение версий интеграций в системе и интеграций из файлов.