DATAREON

Кроме этого приходится сталкиваться с ситуацией, когда различные типы приложений рассчитаны на различные стандарты и схемы интеграции. Также не редка ситуация, когда изменение интеграционных механизмов существующих приложений невозможно или очень трудозатратно по ряду причин: отсутствие разработчика, отсутствие исходного кода и т.д. Платформа DATAREON позволяет объединять такие приложения в единое целое, скрывая различия в интеграции на уровне механизмов и настроек типовых коннекторов. Это позволяет привести взаимодействие приложений к единой управляемой схеме без участия разработчика.

В платформе DATAREON существуют следующие типы коннекторов: SOAP-сервисы, REST-сервисы, 1С:Предприятие 8, PostgreSQL, MS SQL, IBM DB2, Oracle, SharePoint, OData, TCP, Siemens Team Center, SAP и другие.

Типы коннекторов могут быть дополнены за счет создания пользовательских расширений. Таким образом может быть реализован любой пользовательский сценарий подключения к системам-источникам.

Для обеспечения безопасности данных в платформе DATAREON поддерживается шифрование передаваемых данных с помощью общепринятых алгоритмов шифрования. Также поддерживается установка безопасного сетевого соединения по протоколу SSL или TLS.

Управление архитектурой данных

Данные в крупной компании – это не просто единица информации, это совокупный результат работы бизнес-логики целого набора информационных систем.

Платформа DATAREON позволяет создавать бизнес-ориентированные модели данных. Для их создания не требуется технических знаний структуры таблиц или СУБД. Данные описывается так, как это принято в предметной области. Архитектор данных может описывать данные, не привязываясь к плоской структуре таблиц, принятых в СУБД. Это могут быть иерархии, связи, структуры данных с массивами и составные структуры данных.

Платформа DATAREON самостоятельно преобразует бизнес-ориентированную модель данных к модели данных СУБД. Поддерживается одновременное хранение данных в различных СУБД. Также поддерживается миграция с одной СУБД на другую.

В платформе DATAREON поддерживается изменение модели данных «на лету» без остановки системы.

Обработка, хранение и передача данных

Платформа DATAREON дает возможность разработать различные сценарии работы с данными, начиная от полностью автоматических, заканчивая сценариями, в которые вовлекаются сотрудники (дата-стюарды, эксперты по НСИ и т.п.). Процессы обработки данных могут выполняться последовательно, параллельно, синхронно, асинхронно, с дозапросом данных из внешних источников и другие сценарии. Процессы обработки, хранения и передачи данных описываются в платформе без участия системного программиста с помощью графических схем.

Платформа DATAREON имеет в своем составе инструменты, позволяющие эффективно трансформировать данные в различные форматы с различными алгоритмами преобразования данных. Самые «ходовые» форматы – XML, JSON, DBF, CSV, Base64 – представлены в виде «мастеров» настройки.

В платформе DATAREON используется язык запросов на уровне бизнес-модели. Это дает возможность быстро и легко разрабатывать процессы обработки, не погружаясь в технические детали.

За счет распределенной архитектуры хранения платформа DATAREON позволяет быстро оперировать большими объемами данных.

В платформе DATAREON присутствует механизм нечеткого поиска, который настраивается для конкретной модели данных. Нечеткий поиск может использоваться для таких критичных к скорости операций, как дедубликация. Для реализации нечеткого поиска в платформе созданы отдельные механизмы, значительно повышающие скорость его работы.

Онтологическая классификация

Онтологическая классификация и анализ используются при обработке больших объемов мастер-данных, существенно ускоряя выполнение рутинных ручных операций. В процессе обработки первоначальная информация автоматически классифицируется и структурируется в соответствии с созданными правилами. Одновременно выполняется выделение значимых характеристик для предполагаемых классов.

Ключевым преимуществом является способность к самообучению: правила разбора, структурирования и классификации данных создаются и корректируются им самим в процессе работы и по итогам корректировки результатов дата-стюардом. Таким образом, при обработке каждой следующей позиции механизмы онтологической классификации и анализа предлагает более качественный результат, сокращая тем самым трудозатраты специалиста, выполняющего обработку. При некоторых условиях выполнять обработку можно полностью автоматически.

Отказоустойчивость и балансировка нагрузки

Платформа DATAREON автоматически отслеживает состояние работы всех своих сервисов, управляет их загрузкой и размещением. Построение отказоустойчивого кластера выполняется автоматически без участия администратора, это позволяет снизить требования к квалификации персонала, однако есть возможность более глубокой ручной настройки.

Платформа DATAREON отслеживает отказ аппаратного комплекса и выполняет перестроение размещения сервисов на лету без участия администратора. При этом это перестроение не приводит к потере функционирования всей системы.

Для построения отказоустойчивого кластера не требуется какого-либо дополнительного стороннего ПО.

Масштабирование системы производится автоматически по факту включения в систему нового узла. Система автоматически произведет анализ загруженности и переместит на этот узел необходимые сервисы. Также имеется возможность более тонкой ручной настройки размещения сервисов.

Архитектура платформы DATAREON позволяет функционировать всей системе в режиме 24/7 без использования технологических окон.

Безопасность и ролевая модель

Ответственность за работоспособность различных компонент может разделяться между пользователями. Разграничение прав доступа выполняется посредством ролевой модели. Уровень доступа пользователей может быть настроен в разрезе каждого объекта платформы DATAREON. Это позволяет разделять группы пользователей по зонам ответственности и ограничивать доступ к объектам платформы DATAREON согласно полномочиям.

Мониторинг и проактивная диагностика

Платформа DATAREON обладает широкими возможностями по диагностике и мониторингу состояния как всех узлов платформы в целом, так и каждого компонента платформы в отдельности.

В Центре мониторинга представлена полная схема компонентов платформы DATAREON, их взаимосвязи, текущий статус и детальная информация по каждому компоненту, включающая в себя состояние точек подключения, статистику и состояние очередей передачи данных, журнал трассировки информационных пакетов, журнал работы узла. Центр мониторинга сигнализирует не только об ошибках, но и о потенциальных проблемах в схеме сети до появления самих ошибок, а также дает рекомендации по их устранению.

Платформа DATAREON выступает единым источником сведений о работе всего информационного ландшафта, а также может сигнализировать о состоянии внешних систем, участвующих во взаимодействии с платформой.

Взаимодействие с продуктами на платформе «1С:Предприятие 8»

Особое внимание платформа DATAREON уделяет взаимодействию с программными продуктами, реализованными на платформе «1С:Предприятие 8». Реализованные механизмы платформы DATAREON позволяют полностью разгрузить решения на платформе 1С от интеграционных задач.

В поставку включена специальная подсистема, которая встраивается в любую систему на платформе «1С:Предприятие 8» без необходимости снятия ее с поддержки и не требуется доработки и адаптации. Подсистема обеспечивает все необходимые механизмы для интеграции этих систем с платформой DATAREON.

Правила обработки данных для конфигураций 1С создаются и хранятся централизованно в платформе DATAREON. Создание, распространение и обновление обработчиков в системах 1С также выполняется централизованно в автоматическом режиме без необходимости модификации самой конечной системы непосредственно из центра управления платформы DATAREON. Отсутствие необходимости модификации конечной системы при изменении интеграционной модели является особенно важным, если таких систем много или если предъявляются высокие требования к времени доступности системы, которые значительно ограничивают время, когда изменения могут быть внесены.

В платформе DATAREON реализованы механизмы отладки обработчиков 1С без использования конфигуратора 1С. Отладка кода 1С выполняется непосредственно из центра управления DATAREON. Этот механизм позволяет проверить, каким образом будут выгружены или загружены данные в 1С без их сохранения в 1С и без прямого доступа к системе.

Интерфейсы подключений к системам (API)

Платформа DATAREON предоставляет адаптивные интерфейсы для подключения к системам-источникам и системам-потребителям информации. К наиболее распространенным API можно отнести WEB API (SOAP/REST). Платформа DATAREON предоставляет готовые WEB API и инструменты для настройки и кастомизации API с разработкой спецификации методов и их параметров. Набор API не ограничен предопределенными вариантами, входящими в комплект поставки, и может быть расширен потребителем самостоятельно с использованием языка программирования C#.