О том, почему управление данными невозможно без интеграции, зачем платформе сертификат ФСТЭК России и какие новые возможности появятся у пользователей в ближайшее время, — рассказал технический директор DATAREON Станислав Пиголкин.
DATAREON Platform — это low-code платформа для управления данными, которая агрегирует в себе такие функции, как интеграция систем, получение данных, трансформация, обработка данных с возможностью их хранения, реализация процедур контроля качества данных.
Идеология low-code платформы заключается в том, что для построения механизмов управления данными не требуется глубоких технических знаний, которые бы приводили к необходимости самостоятельно заниматься программированием, разработкой структур данных, индексов и запросов. Все механизмы получения данных могут быть реализованы на уровне блок-схем и формирования бизнес-процессов. Также существует возможность собрать прототип системы, оценить, как данные получаются, как преобразовываются, какой вид имеют в результате преобразования, как они доходят до потребителей и т.д.
Интеграционная модель, реализованная в DATAREON Platform, строится на основе событийной модели: платформа готова получать данные, как только по ним возникло событие, — например, в момент изменения или появления записи в системе-источнике. При этом поддерживаются и другие сценарии: вытягивание данных по потребности, когда платформа сама запрашивает их в нужный момент, и получение данных по сигналам других систем. Вся интеграция строится на транспортном уровне: полученные данные преобразуются в транспортные пакеты, после чего эти пакеты перемещаются между узлами системы и доставляются системам-подписчикам.
На уровне архитектуры в DATAREON Platform заложена возможность создания различных конфигураций по управлению данными. Конфигурация — это типовое, шаблонное решение, в которое заложены конкретные идеи конкретной компании по управлению данными и организации интеграционных потоков. Оно может распространяться среди подразделений, партнеров, заказчиков компании, благодаря чему не нужно каждый раз создавать что-то новое и повторять одни и те же действия — все настройки могут быть «запакованы» в конфигурацию и распространяться в качестве готовых решений.
Обработка данных в DATAREON Platform организована через бизнес-процессы. Каждый бизнес-процесс — это четко описанная последовательность шагов по получению и обработке данных, которая может быть включена в конвейер обработки данных. При этом вместо нотации BPMN применяются более простые логические схемы. В них указываются последовательность действий, условия обработки, а также то, что должно происходить с данными и куда они должны попадать. Когда возникают данные, связанные с бизнес-процессом, он автоматически попадает на конвейер обработки. Возможен и ручной запуск — в этом случае стартом процесса управляет пользователь.
Сертификация ФСТЭК и кибербезопасность
Главной задачей DATAREON в текущем году было прохождение DATAREON Platform сертификации ФСТЭК России. Во-первых, этот сертификат требуют отделы информационной безопасности многих наших клиентов исходя из своей внутренней политики, а во-вторых, это подтверждает безопасность продукта для партнеров и заказчиков.
На текущий момент мы уже на финальной стадии получения сертификата.
По завершении процедуры выйдет специализированная версия DATAREON Platform, которая будет поставляться отдельно. В дальнейшем планируется проводить периодическую ресертификацию, чтобы сертифицированная ФСТЭК версия платформы планомерно обновлялась.
«Центр разработки» и эволюция инструментов платформы
Ранее в DATAREON Platform существовало два инструмента: «Центр настройки», в котором выполнялась настройка серверов, типов данных, интеграционных механизмов, бизнес-процессов и функций, и «Центр мониторинга», предназначенный для наблюдения за уже работающей системой. Развитие платформы потребовало выделить новую функциональность в самостоятельный инструмент — «Центр разработки».
«Центр разработки» — это модуль, в котором реализуется обработка данных: создание типов, формирование соответствующих бизнес-процессов, настройка порталов и форм для работы с данными, определение функций проверки и др. Здесь формируется конфигурация по управлению данными, которая затем применяется через «Центр настройки».
Например, вам нужно создать шаблон решения по управлению данными — MDM, реализуемый исключительно инструментарием DATAREON Platform. В «Центре разработки» формирование интерфейса происходит в визуальном редакторе: большинство действий (создание типов данных, настройку пользовательских форм, задание правил форматирования и обработки данных и т.п.) можно выполнить просто прокликиванием мыши, не прибегая к написанию/переписыванию кода.
Импортирование данных из системы-источника также выполняется в визуальном редакторе: создается бизнес-процесс получения данных который привязывается к кнопке на пользовательской форме, без необходимости подключения к системам или использования других инструментов. Далее полученные данные нормализуются, проходят процедуру дедубликации, в том числе с помощью дата-стюарда, — формируется т.н. «золотая запись».
В результате за относительно короткое время (не более 20 минут) создается шаблон решения по управлению данными, способный получать, преобразовывать, нормализовывать данные, форматировать их отображение и искать дубли.
Другая новация — сервер сбора мониторинговой информации. Ранее механизмы сбора и предоставления мониторинговой информации не всегда отвечали потребностям клиентов: DATAREON Platform предлагала одну картину того, какие данные следует собирать в рамках работы системы, а у клиента могли быть другие запросы. Теперь сервер позволяет уже на пользовательском уровне формировать параметры, которые клиент хочет отслеживать, агрегировать их на отдельном сервере и оперировать ими с помощью типовых инструментов мониторинга — Kibana, Grafana или иных — с учетом счетчиков производительности, параметров мониторинга и т.п., которые требуются заказчику в его деятельности. Стандартные средства мониторинга при этом сохраняются в платформе.
Также появилась возможность преобразовывать данные типа XML, JSON и других форматов непосредственно в объекты, с которыми можно работать в рамках бизнес-процессов, и наоборот — из этих объектов создавать типовые структуры данных. Это снижает количество необходимых настроек и повышает уровень абстракции при обработке данных: нет необходимости погружаться в структуру XML и разбираться, какие ключи в него заложены, — мэйпинг полей из XML в объекты и обратно выполняется в визуальном редакторе.
Введен дополнительный уровень абстракции — группа серверов кластера. Это позволило облегчить работу географически распределенных кластеров, когда часть серверов находится, например, в Москве, а часть — во Владивостоке. Для такой группы в DATAREON Platform теперь строго фиксируется, что серверы могут переезжать между серверами только внутри группы, не за ее пределы, то есть можно создать группу «Москва» и группу «Владивосток», и серверы московской группы во Владивосток не переместятся.
Кроме того, в DATAREON Platform был внедрен механизм глобальных констант. Это значения, которые описываются один раз и в дальнейшем часто используются при настройке. Чтобы не запоминать эти значения и не вводить их постоянно вручную, особенно если они большие, из них формируется глобальная константа, и в дальнейшем при настройке используется именно.
Усовершенствован механизм интеграции с 1С
Во-первых, добавлен механизм однократной выгрузки. Ранее, если в одной из 1С происходило событие, например, «Изменение данных», и информация об этом отправлялась в DATAREON Platform, и затем сразу же это событие происходило повторно (т.е. данные как будто изменились, но на самом деле нет), в систему-получатель поступали два пакета. Теперь система самостоятельно отслеживает, что реальных изменений не произошло, и не допускает повторной передачи данных — в систему-получатель уходит только один пакет.
Во-вторых, реализован механизм отслеживания удаления данных в регистре сведений 1С, где исходно и удаление, и обновление данных реализуются через процедуру именно удаления данных. Поэтому четко отследить, когда у происходит удаление, а когда обновление данных, на самом деле достаточно сложно. Благодаря хранению данных на уровне платформы и ряду новых функций этот механизм был внедрен, и теперь появилась возможность подписываться конкретно на удаление данных в регистрах сведений 1С.
Кроме того, были донастроены типы параметров для функции 1С, чтобы в систему не уходили данные, которых она не ожидает, и авторизация при обмене с 1С. Этого требовали отделы информационной безопасности заказчиков, чтобы не было несанкционированных доступов в 1С.
Ведется работа по обновлению дизайна DATAREON Platform. Переработаны иконки, формы — дизайн становится более современным и более интуитивно понятным. Пытаемся избавиться от множества мелких деталей, которыми сейчас страдает текущий интерфейс.
Будут внесены изменения в механизмы запуска компонентов платформы. Сейчас они при старте пытаются запуститься все вместе сразу, а мы планируем сделать возможность выстраивать этот процесс в последовательность. Это снизит пиковую нагрузку на сервер при старте и избавит систему от глобальной массовой обработки данных на старте. Пользователь сможет сбалансировать нагрузку.