ИТ-интегратор «Белый код» настроил потоковую передача данных из 1С:ERP в DWH Greenplum с использованием DATAREON Platform. Перед началом проекта интегратор провел нагрузочное тестирование, чтобы сравнить платформу с аналогом на рынке.
Компания-заказчик — туроператор — оказалась в ситуации, когда ей нужно было экспортировать свыше 200 разнородных объектов данных из системы 1С в корпоративное хранилище, построенное на базе Greenplum. Для каждого из этих объектов требовалось разработать собственный механизм выгрузки и создать специальный скрипт для обработки обновлений в хранилище. При этом в каждом скрипте нужно было вручную перечислить все поля соответствующего объекта. В результате разработка и последующее обновление таких обработчиков отнимала у специалистов значительное количество времени.
Чтобы решить задачу, компания обратилась к специалистам «Белого кода» — партнеру DATAREON. Они должны разработать интеграционный сервис, который будет принимать изменения по заявкам и партнерам и затем сохранять полученные объекты в базе данных Greenplum.
Цель проекта — создать систему, которая будет оперативно обрабатывать поступающие данные и гарантировать быструю передачу информации между различными системами. При этом крайне важно обеспечить минимальную задержку при обмене данными.
Проекту создания сервиса предшествовало нагрузочное тестирование, которое позволило оценить производительность выбранных платформ и определить наиболее подходящее решение для дальнейшей работы.
Специалисты «Белого кода» выполнили настройку интеграции и провели нагрузочное тестирование на двух интеграционных решениях — DATAREON Platform и Apache NiFi. Тестирование позволило объективно оценить возможности каждой платформы и выявить наиболее надежное решение под задачи клиента.
В результате анализа полученных данных было принято решение использовать DATAREON Platform как наиболее эффективный инструмент для реализации поставленных целей.
С помощью платформы DATAREON проектная команда выполнила настройку HTTP-сервиса для приема изменений по заявкам и партнерам и реализовала хранение полученных данных в БД Greenplum в нормализованном виде.
ИТ-интегратор автоматизировал процесс создания обработчиков для выгрузки данных из 1С и операций upsert (скрипта обработки обновлений) в хранилище данных. Также в 1С была доработана консоль запросов для генерации кода обработчиков выгрузки данных. Кроме того, проектная команда разработала в системе 1С интерфейс для получения из DATAREON Platform типа данных и их структуры. С его помощью можно указывать ключевые поля для операции upsert и автоматически обновлять код обработчика в DATAREON Platform через API.
Благодаря автоматизации процесса генерации обработчиков с помощью платформы DATAREON компания-заказчик существенно сократила трудозатраты. Реализованный сервис позволяет эффективно работать с большим количеством объектов данных и значительно ускоряет процесс интеграции и обновления данных.
