Выбор интеграционной шины данных (ESB) — одно из наиболее ответственных решений при развитии ИТ-архитектуры. От того, насколько платформа соответствует текущему ландшафту, требованиям к масштабированию и функционально гибкая, зависит не только скорость запуска новых интеграций, но и устойчивость всей цифровой среды компании.
Сергей Скирдин, технический директор ИТ-интегратора «Белый код», Иван Макушов, аналитик Ikon Tyres, и Дмитрий Сидоренко, архитектор 1С «Уральской Агропромышленной Группы» поделились опытом и рассказали, почему знакомство с шиной лучше начинать с пилота, какие сценарии стоит включить в его периметр и как подобрать интеграционное решение под конкретные задачи предприятия.
ESB — решение с долгосрочными последствиями
Интеграционная шина связывает между собой ключевые корпоративные системы: ERP, CRM, 1С, производственные решения, базы данных, хранилища, внешние сервисы и другие компоненты ИТ-ландшафта. Поэтому ее замена обычно затрагивает десятки, а иногда и сотни уже работающих обменов.
— ESB — это центральный элемент ИТ-ландшафта. Она интегрирована со всеми системами, и ее замена означает переделку всех интеграций. Это долго и дорого, поэтому к выбору ESB надо подходить очень взвешенно, — Сергей Скирдин, технический директор ИТ-интегратора «Белый Код».
На российском рынке ситуация с ESB-решениями остается противоречивой. Хотя в реестре отечественного ПО представлено немало вариантов, при детальном изучении оказывается, что активно внедряются и поддерживаются единицы из них. Большинство решений либо морально устарели, либо существуют только на бумаге. Это означает, что выбор на самом деле гораздо уже, чем кажется на первый взгляд.
Пилот — это не роскошь, а необходимость
На демонстрациях и презентациях любой продукт работает идеально. Но реальность намного сложнее. Именно поэтому проведение пилотного проекта перед окончательным выбором и покупкой лицензии становится критически важным этапом выбора шины.
Пилот должен включать несколько интеграционных потоков из реального ландшафта предприятия, охватывающих разные типы подключений: системы на базе 1С, REST-сервисы, прямые подключения к базам данных, файловые обмены и т.д.
Это позволяет оценить, как продукт встраивается именно в вашу архитектуру, увидеть трудоемкость разработки интеграций и понять, готова ли ваша команда работать самостоятельно или нужна помощь интегратора.
— Чем больше нюансов мы будем знать до начала основного проекта, тем меньше рисков будем закладывать в этот проект, — Сергей Скирдин, технический директор ИТ-интегратора «Белый Код».
Пилот — это также возможность оценить команду интегратора, ее компетенции и ресурсы, которые будут выделены на проект. Чем больше информации обе стороны получат на этом этапе, тем меньше неожиданностей возникнет в основном проекте, а значит, и ниже будет итоговая стоимость.
Пилот можно провести силами собственной ИТ-команды, если у нее уже есть опыт интеграционных проектов и достаточно ресурсов для изучения нового продукта. Однако во многих случаях эффективнее привлечь интегратора. Он поможет выбрать показательные сценарии, быстрее настроить подключения к существующим системам, выявить архитектурные ограничения и оценить будущую трудоемкость проекта.
Именно по такому пути пошла компания Ikon Tyres.
Пилот с интегратором
Компания Ikon Tyres столкнулась с необходимостью импортозамещения после того, как стало невозможно продолжать работу с Oracle SOA: специалисты по Oracle SOA становились дефицитом, качество разработки упало, и поддержка системы стала проблематичной. При этом в компании существовало около 150–200 исторических интеграций, которые необходимо было перенести в новый интеграционный контур.
При выборе шины на замену Ikon Tyres рассмотрела порядка десяти различных решений, оценивая функциональность, требования к ресурсам, возможности масштабирования и отказоустойчивости, требования безопасности и удобство администрирования. Особое внимание уделялось возможности развивать собственную экспертизу, а не полностью зависеть от подрядчика. По всем этим пунктам решение DATAREON оказалось для Ikon Tyres наилучшим вариантом. Однако компания не спешила сразу переносить все две сотни интеграций, сперва команда внедрения попробовала шину в деле.
Пилотный проект включал пять-шесть интеграций, отобранных таким образом, чтобы охватить всю функциональность платформы: разные типы подключений, различные паттерны маршрутизации, высоконагруженные потоки и обмены большими объемами данных. Проект был успешно завершен за полгода. Платформа показала себя стабильно, без неожиданных проблем.
— Крутой коннектор 1С — это не самая простая задача, всегда есть какие-то сложности на проектах, но коннектор DATAREON Platform с этой задачей очень хорошо справляется, причем практически в любых масштабах. Кроме того, банк данных — модуль, работающий как прослойка между СУБД и шиной — позволил решать задачи дедубликации и хранения золотых записей без написания SQL-запросов и создания таблиц вручную, — Иван Макушов, аналитик Ikon Tyres.
После успешного пилота компания развернула три географически распределенных кластера в России, Казахстане и Узбекистане, связав их в единую систему. Это позволило объединить офисные и производственные сегменты сети, которые раньше были практически несвязаны. Платформа стала единственной системой, способной взаимодействовать с любой другой системой во всей группе предприятий независимо от сегмента сети.
Интересно, что компания начала с минимально возможными ресурсами на каждый сервер. Только спустя полтора года, когда появились огромные потребности в сборке данных для хранилища (обработка сотен миллионов записей ежедневно), потребовалось вертикальное масштабирование. Это говорит о высокой эффективности DATAREON Platform даже при скромных начальных ресурсах.
Компания также развернула централизованную систему логирования, собирая логи со всех продуктивных серверов на отдельный сервер и визуализируя их через Grafana. Это создало удобный инструмент для технической поддержки и мониторинга.
Пилот своими силами
Пилотный проект нужен не только для проверки технических возможностей ESB, но и для формирования компетенций внутри компании. Это особенно важно, когда предприятие планирует развивать интеграционный контур самостоятельно, не полагаясь полностью на внешних подрядчиков.
Такой подход выбрала «Уральская Агропромышленная Группа». Компании требовалось создать корпоративное хранилище данных для последующего формирования управленческой BI-отчетности. В качестве источников выступали несколько баз 1С, а также промежуточное «озеро данных» на базе 1С. Данные должны были передаваться как в MS SQL, так и в промежуточный контур, где предусмотрены автоматизированные рабочие места для загрузки, нормализации и подготовки данных к дальнейшему использованию.
Для реализации проекта была выбрана DATAREON Platform. На старте предполагалось подключить три источника, однако по мере развития проекта периметр расширялся.
Перед началом работ два специалиста компании прошли обучение по платформе. Однако для первого практического сценария — обмена между двумя системами 1С — команде потребовалась дополнительная проработка. Учебные материалы давали базовое представление о типовых интеграциях, но конкретный проект требовал адаптировать знания к архитектуре и бизнес-логике предприятия.
Когда команда столкнулась с нестандартными вопросами, важным источником практической помощи стало профессиональное сообщество DATAREON Platform. Экспертная поддержка помогла завершить первый обмен и сформировать подходы, которые затем удалось применять в аналогичных задачах.
— Для нас было принципиально важно не получить готовую интеграцию «под ключ», а пройти этот путь своими силами — с передачей практических знаний. Благодаря помощи сообщества и экспертов мы довели первый обмен до результата, а затем смогли тиражировать полученный опыт на другие интеграции, — Дмитрий Сидоренко, архитектор 1С «Уральской Агропромышленной Группы».
Постепенно команда сформировала устойчивую модель работы. На старте в проекте участвовали архитектор, аналитик, руководитель проекта и два разработчика: один был выделен на проект на полное время и заложил основу для дальнейшей разработки, второй подключался по мере необходимости. После того как базовые принципы были отработаны, знания перешли к основному разработчику, а затем — и в другие проектные команды.
— После того как мы прошли первый, наиболее сложный этап, скорость разработки заметно выросла. За семь дней мы подключили еще два источника, причем уже в рабочем контуре. Сейчас новые интеграции мы в первую очередь рассматриваем для реализации на DATAREON Platform, а в перспективе планируем переносить и исторические обмены, — Дмитрий Сидоренко, архитектор 1С «Уральской Агропромышленной Группы».
До начала проекта многие интеграции в компании были реализованы через HTTP-сервисы. Сейчас DATAREON Platform становится основой для новых взаимодействий между системами.
Что учитывать при выборе ESB
Опыт экспертов позволяет выделить несколько ключевых критериев.
- Функциональность. Платформа должна поддерживать существующие системы, используемые форматы данных и сценарии обмена.
- Гибкость развертывания. Важно учитывать совместимость с операционными системами и возможность работы в разных сегментах сети. Эксперты отметили полную совместимость DATAREON Platform с Windows и Astra Linux, в том числе в составе гетерогенных кластеров.
- Отказоустойчивость. Стоит заранее проверить резервирование и время восстановления обменов при сбоях.
- Масштабируемость и удобство обслуживания. Нужно понимать, как добавлять ресурсы и обновлять платформу без полной остановки обменов. В DATAREON Platform можно постепенно перенаправлять потоки на новые узлы, а при обновлении — временно передавать обработку другим узлам кластера.
- Мониторинг и логирование. Для эксплуатации важно видеть состояние обменов и иметь возможность проследить путь сообщения. Эксперты рекомендуют заранее продумать централизованный сбор логов и визуализацию показателей, а не откладывать эти задачи до первых сбоев.
- Доступность экспертизы. Документация, обучение, поддержка интеграторов и сообщество влияют на скорость освоения продукта.
Пользуйтесь клавишами «Вверх» и «Вниз», чтобы изменить размер панели окна метаданных.