Станислав Пиголкин, технический директор DATAREON, рассказал о технологии и функционале решения №1 в России в области интеграции и управления данными.
DATAREON Platform — решение, в которое мы вложили свою идеологию и видение того, каким должен быть продукт для управления данными предприятия. Мы целенаправленно и обдуманно не пытались создать очередной low-code продукт, который позволяет делать все, что угодно. Мы создавали платформу для решения конкретных задач, в частности, задачи комплексного управления данными, — Станислав Пиголкин, технический директор DATAREON.
DATAREON Platform позволяет управлять массивами данных, создавать корпоративные хранилища или озера данных для последующей обработки бизнес-аналитиками. Однако, важно подчеркнуть, что данные не могут существовать изолированно, им необходим иноформационный ландшафт. Они должны перемещаться между системами и позволять этим системам выполнять свои функции. При этом процесс передачи данных не должен нагружать систему и влиять на ее производительность. Надо помнить и о том, что не существует данных, которые можно сразу использовать. Данные всегда требуют обработки, их нужно трансформировать, объединять, разделять и так далее. Эксперты DATAREON постарались создать платформу, которая включает в себя все необходимые инструменты для работы с данными.
В начале года TAdviser опубликовал рейтинг российских платформ для интеграции данных и приложений. DATAREON Platform заняла в нем первое место по общей сумме баллов функциональных, технологических и организационных критериев, что является подтверждением ее обширных возможностей.
Хранение данных
Хранение — неотъемлемая часть процесса управления данными. Использовать данные, которые находятся в изолированных информационных системах предприятия – это одно, но всегда важны и дополнительные данные, которые сопровождают бизнес-процессы и рассказывают о их текущем состоянии.
DATAREON Platform позволяет формировать хранилища данных, управлять ими и обладает инструментами для горизонтального масштабирования хранилищ. Платформа позволяет использовать не одну систему управления базами данных (СУБД), а распределять данные по множеству СУБД различных типов, наращивать их количество и, при этом, обращаться к данным в них как к единому объекту, использовать языки запросов, предоставляемое API, либо формируя хранилища с витринами данных, когда пользователь может открыть форму и получить доступ к информации, проанализировать ее и передать в BI-систему.
Интеграция
Для управления данными необходимо создать ландшафт, в котором они будут «жить» для того, чтобы бизнес-приложения могли брать оттуда необходимую информацию и отдавать другую. Интеграционный механизм является одним из основополагающих в ядере платформы, именно на нем строятся все взаимодействия с данными, которые предлагает DATAREON Platform. Интеграционный механизм платформы может все – от получения данных из систем-источников, до их изменения, обогащения в процессе доставки или «жизни».
Процессная модель
Работа с данными в DATAREON Platform строится на процессной модели. Если в предыдущих решениях DATAREON необходимо было описывать, какие данные нужно передавать и получать, маршруты их доставки, условия маршрутизации и т. д., то в платформе модель несколько иная. В DATAREON Platform нужно просто описать процесс, в который может входить получение данных из источника А, обогащение данных из источника B, передача данных на хранение, получение данных из хранилища, одновременная рассылка данных нескольким источникам, передача данных в дублирующие бизнес-процессы и т.д. Получается, что в одном бизнес-процессе данные доставляются в источник B, в другом — разбиваются и распределяются в аналитические хранилища. Таких процессов может быть несколько, все они выполняются параллельно и независимо друг от друга.
Процессная модель позволяет выстраивать сложные схемы работы с данными, ограничивать доступ к ним на этапе обработки и реализует возможность участия человека в процессе обработки или доставки. Последнее нужно в тех случаях, когда необходимо согласовать данные перед тем, как доставить их в значимую бизнес-систему. С помощью DATAREON Platform возможно именно формирование точек воздействия пользователя непосредственно на процедуру доставки данных.
Язык
Практически вся платформа построена на языке C#. DATAREON Platform можно расширять: дописывать коннекторы, шаги бизнес-процессов, формировать алгоритмы, в том числе, для обработки, маршрутизации и распределения данных. Масштабирование выполняется либо на языке системы, в которой происходит работа с данными, либо на языке C# для описания, например, алгоритмов, расширений, точек воздействия внутри DATAREON Platform.
Написание кода для DATAREON Platform выполняется в любом инструменте разработки, который поддерживает язык C#: Visual Studio, Visual Studio Code и т.д. Интеграция средств разработки с платформой очень глубокая, поэтому с их помощью открывается возможность не только писать код, устанавливать точки основного просмотра и отладки информации, также на этом уровне действуют специальные виртуальные машины, эмулирующие работу самой платформы в целом.
-Вы не пишете код, пытаясь угадать, какие значения в нем будут. Вместо этого вы создаете точную модель сервера DATAREON Platform. Эта модель реагирует на ваши действия так же, как и реальный сервер, работает с теми же данными и выдает те же ответы, — Станислав Пиголкин, технический директор DATAREON.
Соответственно, вся работа может быть построена с использованием современных инструментов по доставке изменений, а развитием платформы могут одновременно заниматься множество специалистов через инструментарий совместной работы.
Отказоустойчивый кластер
DATAREON Platform построена на схеме отказоустойчивого кластера, который умеет как балансировать нагрузку, так и принимать на себя все затраты по обеспечению доставки данных в случае выхода из строя какого-то из узлов, а также имеет единый центр мониторинга.
Чтобы получить отказоустойчивый кластер, нужно развернуть платформу сразу на двух серверах. При этом стоит отметить, что для формирования кластера не требуется ни покупка дополнительных лицензий, ни установка каких-то дополнительных элементов. Достаточно одной DATAREON Platform, установленной на двух разных серверах.
Low-code
Еще один важный механизм, который заложен в платформу, это использование low-code подхода.
-Мы считаем, что для быстрого входа в процессы нужно исключить необходимость в привлечении высококвалифицированного специалиста на некоторых этапах. Например, чтобы при каждом создании новой интеграции не требовалось сначала писать код, а потом уже делать интеграцию. Мы считаем, что лучше сперва сделать прототипирование на уровне low-code, и только если этого подхода оказалось недостаточно – подключать программиста для реализации сложных функциональных условий или обработчиков, — Станислав Пиголкин, технический директор DATAREON.
Однако, low-code — это не решение всех проблем. С помощью этого механизма можно обеспечить быстрый вход, прототипирование и построение рабочей модели, которую затем нужно будет развивать. Даже при использовании low-code подхода глубокая настройка нетипичного функционала, которого не может быть заложено в классические элементы, все равно остается сложным процессом, который требует затрат на разработку.
Поэтому в рамках DATAREON Platform в дополнение к low-code подходу реализован механизм формирования типовых настроек и шаблонов. Он позволяет DATAREON как вендору внедрять функционал, который можно использовать сразу после приобретения платформы без компетенций методолога и знаний в этой области применения. Клиент может взять типовые шаблоны и использовать их, а если они не подошли, то внести в них изменения. К таким шаблонам относятся типовые бизнес-процессы, типовые интерфейсы по работе с данными, типовые конфигурации и т.д.
Типовая конфигурация
Типовая конфигурация — это множество бизнес-процессов, заранее спроектированных типов данных и интерфейсов для решения конкретной задачи, которые может создавать вендор, партнер, осуществляющий внедрение, и компания, внедрившая платформу самостоятельно. Если определенную задачу приходится решать часто, для нее создается типовой шаблон.
Допустим, необходимо создать типовой шаблон по обработке изменений данных из таблицы A. Если в бизнес-процессе прописывается конкретный тип данных — «Таблица A», то в типовом шаблоне этой типизации нет. В нем прописываются шаги преобразования, на каком этапе данные нужно согласовать и где их использовать, но, в отличие от бизнес-процесса, типовой шаблон не привязан к конкретному типу данных. Создав типовой шаблон для таблицы A, вы можете подставить в него данные из таблицы С, если для этого типа данных подписаны типовые формы, они в этот шаблон подхватятся, в бизнес-процессах вы будете видеть формы по управлению типом данных C, конкретные проверки, связанные с типом данных C и т.п.
В DATAREON Platform заложено несколько типовых шаблонов, которые предоставляются пользователям и могут быть адаптированы на этапе их использования. Типовые конфигурации точно также могут быть подключены к типовым инструментам управления изменениями и их доставкой, то есть, их можно самостоятельно развивать, контролировать версии, формировать контейнеры по тестированию и развертыванию. Все современные процессы по управлению программным кодом предприятия могут быть применены и к этим механизмам.
Использование типовых конфигураций позволяет сократить затраты на первичное внедрение и на последующую эксплуатацию, более того, процессы управления разработкой становятся прозрачными. Во-первых, потому что всегда можно «откатиться» к предыдущей версии. Во-вторых, можно отследить историю изменений. В-третьих, есть возможность использовать доработки, сделанные другими — загрузить их из облака или, напротив, выгрузить в облако свои наработки.
Централизованное управление данными
DATAREON Platform предоставляет инструменты, с помощью которых вам не нужно оперировать данными внутри информационной системы. Вы можете создать модель данных, подходящую для потребностей вашего предприятия, затем связать ее с теми структурами данных, которыми оперируют конкретные информационные системы. Также можно прописать нужные механизмы трансформации и построить топонимику данных: где эти данные хранятся, где они требуются, какие процессы преобразования должны пройти и т.д. Все эти инструменты помогают перейти от использования данных в отдельных бизнес-моделях к централизованному управлению. DATAREON Platform позволяет точно отслеживать, какие данные в какой системе создаются, куда они затем передаются, какие изменения претерпевают, и кто имеет к ним доступ.