В DATAREON Platform реализован весь востребованный функционал для интеграции приложений. Что платформа унаследовала от предыдущих решений DATAREON, что получила нового и что будет реализовано в будущем — рассказал Станислав Пиголкин, технический директор DATAREON, на конференции «Данные компании 2024: управление и интеграция».
Инструменты для обеспечения интеграционной составляющей при управлении данными — одна из ключевых особенностей DATAREON Platform. Предыдущее поколение решений DATAREON для интеграции – это шина данных DATAREON ESB, часть наработок оттуда есть в платформе, но функциональность расширена для нужд и удобства управления интеграционными потоками.
DATAREON Pltatform позволяет реализовать различные взаимодействия:
- Синхронные и асинхронные;
- Работу в режиме брокеров данных — без соединения с бизнес-системами, потому что брокеры сами запрашивают нужные данные и передают их платформе;
- Разнообразные сценарии – как с передачей, так и с запросом данных, или со взаимодействием с данными по расписанию
- И т.д.
Как отмечает технический директор DATAREON Станислав Пиголкин, в настоящий момент все, что может прийти в голову по организации обмена данных, в DATAREON Platform уже реализовано тем или иным способом.
Обогащение данных для полноты и актуализации информации
Одним из ключевых аспектов интеграции приложений на уровне платформы для управления данными является механизм, который позволяет обогащать передаваемую информацию. Самая простая схема интеграции — это интеграция типа «точка-точка», когда одна система берет данные и отдает их другой системе в том же виде. Однако, зачастую специалисты DATAREON и партнеры в своей практике сталкиваются с ситуацией, когда передаваемые данные нужно обогатить, чтобы они соответствовали потребностям каждой из систем. Например, система A формирует данные, которые затем поступают в системы B, C и D. Каждая из этих систем может потребовать разный объем данных.
При работе с DATAREON ESB у пользователей возникала потребность обогатить данные во время передачи. Это можно было сделать, обратившись к промежуточной буферной системе с ранее сохраненными данным. Также можно проверить, не передавались ли уже эти данные ранее, и использовать их для дополнения.
В DATAREON Platform реализован механизм, который позволяет обращаться к другим источникам и данным, хранящимся в рамках платформы. На основе этого обогащения можно выполнять маршрутизацию, сплитирование или агрегацию данных. Таким образом, вы полностью контролируете массив данных на этапе доставки.
Пример: во время передачи товарной накладной, сформированной в одной системе, необходимо сделать дозапрос в систему документооборота, чтобы понять, следует ли эту накладную вообще куда-то передавать, определить, есть ли договор с компанией, и на основании полученных данных выполнить дальнейшую обработку.
Механизм дозапроса данных для систем на платформе 1С
В рамках функционала обогащения данных в DATAREON Platform так же был сформирован отдельный механизм, который условно называется «Функции 1С». Механизм позволяет в процессе обработки данных вызывать функции информационных подсистем на базе платформы «1С:Предприятие», чтобы получить те или иные данные.
Например, когда требовалось получать документ из системы документооборота, чтобы реализовать эту задачу на DATAREON ESB или любом другом интеграционном продукте, требовалось отправить пакет из торговой системы. Затем необходимо было проанализировать этот пакет, понять, нужны ли дополнительные данные, сформировать отдельный запрос в систему документооборота. После этого нужно было получить эти данные из системы документооборота, проанализировать их снова и сформировать третий пакет, который уже доставлялся непосредственно в систему-подписчика.
Механизм «Функции 1C» позволяет реализовать взаимодействие с другими системами в рамках единого процесса обработки данных. Это означает, что платформа позволяет получать данные из других систем без прерывания текущего процесса обработки данных. Если вам нужны данные из 1С, то DATAREON Platform просто вызывает ранее созданную функцию внутри этой системы, не создавая отдельный пакет данных и не обращаясь к веб-сервису системы. Запрос выполняется синхронно, без дополнительных затрат и необходимости реализации дополнительных механизмов. Такой подход позволяет создать непрерывную схему обработки данных, включающую получение данных из сторонних систем. В настоящий момент эта функциональность доступна только на платформе 1C.
Кастомные коннекторы для решения нетипичных интеграционных задач
В DATAREON Platform «из коробки» идет набор основных коннекторов, которые чаще всего используются и обычно необходимы для настройки интеграции в проектах. В случае, если требуется нетипичное поведение по обработке заявок, запросов и т.п., можно написать собственный коннектор.
Допустим, у нас есть стандартный коннектор к 1С. Вам необходимо, чтобы при обращении к 1С параллельно отправлялось письмо. И только после того, как письмо придет на сервер Exchange, можно будет установить соединение. Это упрощенный пример, но он хорошо иллюстрирует нестандартную ситуацию. В этом случае вам может потребоваться особая авторизация, работа с определенным токеном или дополнительная обработка данных.
В DATAREON Platform вы всегда можете разработать собственный коннектор и использовать его в своей работе. Он будет функционировать так же, как и стандартные коннекторы, но подчиняться вашим правилам. То есть он будет отражать те правила подключения к системе-подписчику, которые нужны именно вам для успешной работы.
Одним из таких примеров является реализации коннектора к библиотеке NuGet. Все коннекторы пишутся на языке C#, для их реализации в библиотеке платформы есть шаблоны, то есть вы можете взять шаблон, в нем реализованы все типовые функции, которые необходимы для создания коннекторов, и, соответственно, на базе этого шаблона сформировать для себя новый коннектор.
Трансформация без нагрузки на другие системы
Одним из важных механизмов DATAREON Platform является механизм трансформации данных. Поскольку платформа обрабатывает данные по процессному принципу, вы можете реализовать любые необходимые трансформации при доставке данных. Появился также механизм хранения данных, который позволяет разделять, агрегировать и дополнять полученные данные ранее переданными или данными из других систем.
Классическим сценарием трансформации и запроса данных является обогащение информации о контрагентах сторонними системами, такими как DaData. Например, если вы вводите ИНН контрагента, то данные о нем можно получить из DaData и отправить в ERP-систему. В этом случае вы получите все доступные данные, которые будут проверены. В систему WMS можно отправить только ИНН, название организации и БИК. Это означает, что вы можете разделить данные на различные пакеты и отправить их разным получателям. Например, если из системы А пришел пакет из 1000 полей, а в системах B и C они не нужны в таком объеме, то вы можете разделить данные и отправить каждому подписчику только те поля, которые ему нужны.
Также возможен обратный механизм: вы можете объединить пакеты данных из систем A и B и отправить объединенный пакет в систему C. А из объединенного пакета в систему D можно отправить только 10 конкретных полей.
Поскольку платформа позволяет выполнять такие манипуляции с данными, не нужно описывать сторонние типы данных, которые задействованы только для интеграции. Вы всегда оперируете теми данными, которые описаны в системе. Трансформацию данных и формирование из них других пакетов можно выполнять на уровне логики платформы DATAREON. Это позволяет снизить нагрузку на другие информационные системы.
Если перекладывать интеграционную логику на исходную систему-получатель, то интеграционная система работает просто как транспорт и не снимает с вас этой нагрузки. Однако это может привести к появлению новой точки отказа — невозможность бизнес-системы вовремя обработать все запросы. DATAREON Platform помогает защититься от подобных рисков.
Приоритизация обработки сообщений для оптимизации интеграционных процессов
Приоритизация обработки сообщений — востребованный функционал, который реализован в DATAREON Platform. В его основе механизм очередей, то есть все сообщения, полученные от систем-подписчиков, можно разложить по различным очередям и назначить этим очередям различные приоритеты обработки.
Назначение очереди данных приоритета означает, что все сообщения, полученные от систем-подписчиков, будут обрабатываться в настроенном вами порядке. Это означает, что в первую очередь будет обработана очередь с высоким приоритетом, а затем — остальные, в порядке убывания. Важно отметить, что вы можете самостоятельно определять правила формирования этих очередей.
Еще один ключевой момент: таких очередей может быть много. Это не одна-две очереди с разным приоритетом, а гораздо больше. Платформа позволяет создать столько очередей, сколько вам нужно. Для сложных случаев можно описать распределение сообщений по этим очередям на языке C# с помощью определенной логики.
В планах еще больше полезного функционала
В рамках развития DATAREON Platform в части интеграции мы собираемся усовершенствовать механизм трассировки и передачи сообщений. Добавить несколько инструментов для отслеживания скорости обработки данных в системах-получателях и подписчиках.
Планируется создание интеграционных библиотек. Если вы разрабатываете свои продукты и вам нужна интеграция с DATAREON Platform, вы сможете встроить в свой продукт нашу интеграционную библиотеку и легко передавать данные.
Также в планах отдельный коннектор к СУБД Tantor. Эта СУБД выходит на российский рынок и поддерживает системы на базе 1С. По прогнозам DATAREON, ее популярность, а соответственно и количество пользователей будет стремительно расти.
Кроме того, появятся шаблоны интеграционных задач. При покупке DATAREON Platform в комплекте уже будут доступны примеры интеграции между различными типовыми системами. Вам останется только подключить эти системы.