На конференции «Данные компании 2025: управление и интеграция» Владислав Андрияшен, руководитель отдела разработки интеграционных решений Systeme Digital, рассказал об опыте использования стека ELK на DATAREON Platform.
Elasticsearch Logstash Kibana (ELK) – это набор инструментов, который позволяет централизованно управлять логами и анализировать их. Если рассматривать поток информации, то первым звеном цепочки выступает Logstash – инструмент для сбора, обработки и передачи логов из различных источников. Он полностью берет на себя роль «процессора», нормализуя данные перед отправкой в хранилище.
Следующий компонент – Elasticsearch, распределенная поисковая и аналитическая платформа, которая индексирует данные и обеспечивает мгновенный доступ к ним даже при больших объемах. Она позволяет выполнять сложные запросы и полнотекстовый поиск.
Завершает стек Kibana – инструмент визуализации, который превращает сырые данные из Elasticsearch в интерактивные дашборды, графики и таблицы. Благодаря удобному веб-интерфейсу аналитики и разработчики могут быстро исследовать логи, выявлять аномалии и принимать решения на основе актуальной информации.
Почему выбрали ELK?
Изначально необходимость во внедрении ELK возникла в рамках проекта организации корпоративного хранилища данных (КХД) Systeme Digital. Сотрудники регулярно запрашивали исторические данные (за неделю, две и т.д.): «Выгружался ли объект? Были ли ошибки? Сколько времени заняла обработка?». Раньше ответы на все эти вопросы ИТ-специалистам приходилось искать вручную, копаясь в логах на серверах, что было крайне неудобно.
С внедрением ELK в индекс были загружены события ключевых систем, интегрированных с Банком данных, включая процессы сервера и саму DATAREON Platform. Теперь эксперты компании могут восстановить полный жизненный цикл любого сообщения: от момента передачи до финальной записи, включая ошибки и временные метки. Это не только ускорило анализ больших объемов данных, но и позволило выявлять узкие места в бизнес-процессах.
Вторым триггером для расширения использования ELK стал переход с DATAREON ESB на DATAREON Platform. Руководству Systeme Digital требовалось надежное хранилище для критически важных сообщений, которые часто используются для отладки, однако встроенный сервис хранения сообщений на тот момент имел ограничения – показывал только первую тысячу записей и не поддерживал полноценный поиск.
– Мы создали отдельный индекс Message Store, куда через API загружали необходимые сообщения по бизнес-процессам. Elasticsearch обеспечил мгновенный поиск по любому параметру, будь то message ID, тип данных или временной интервал, что облегчило диагностику проблем на стороне клиентов и внутренний анализ данных.
Как анализ логов помогает в реальных условиях?
DATAREON Platform генерирует огромное количество логов, и их анализ дает возможность:
- оценивать производительность системы в динамике;
- отслеживать бизнес-процессы – время старта, завершения, ошибки;
- оперативно выявлять аномалии.
Один из показательных примеров – ситуация со снижением эффективности СУБД Systeme Digital.
– В какой-то момент мы заметили, что очередь сообщений в модуле процессов не обрабатывается, хотя ошибок не было. Благодаря ELK быстро восстановили цепочку событий и обнаружили, что проблема была на шаге завершения бизнес-процесса. По причине снижения производительности СУБД DATAREON Platform также замедляла свою работу, ожидая ответа от системы. Исключив данный шаг из цепочки событий, мы разгрузили систему и восстановили нормальную работу платформы.
Systeme Digital использует классическую архитектуру ELK-решения.
Примеры аналитики ELK
Один из дашбордов отображает полный цикл обработки сообщения – от выгрузки из ERP до записи в Банк данных, включая все промежуточные бизнес-процессы. Это помогает быстро находить узкие места и анализировать задержки.
Второй дашборд – Message Store – включает статистику по критически важным сообщениям: распределение по типам, частоту возникновения, временные метки.
– Важно, что диаграммы оказались полезны не только для работы технических специалистов, но и в рамках разработки стратегии развития компании, т.к. с помощью визуального представления наиболее значимых данных можно было оперативно их проанализировать и найти объяснения, например, всплесков активности определенных процессов.
Набор инструментов ELK стал для Systeme Digital незаменимым инструментом, который закрыл множество задач: от хранения и поиска логов до визуализации ключевых метрик. Гибкость, производительность и масштабируемость делают его идеальным решением для работы с большими объемами данных в DATAREON Platform.