О том, как какой путь работы с мастер-данными выбрать, почему важны комплексные решения и как импортозамещение формирует потребность в MDM-платформах, рассказывает Максим Власов, директор по инновациям и разработке DATAREON.
Как развиваются подходы к управлению мастер-данными, какие стратегии применяют компании?
Работа с мастер-данными начинается с осознания их ценности, понимания того, что данные — такой же актив компании, как оборудование, программное обеспечение, ноу-хау и др. У бизнеса возникает вопрос, как этим активом управлять.
Первый шаг, которые делают компании, это подключение простейших организационных механизмов. Например, становится понятно, что используемые в системе справочники — это некий актив, ценность. Первым делом организуется грамотное наполнение этого справочника — добавление или редактирование данных вменяется в должностную обязанность конкретному сотруднику. Как вариант, формируется порядок создания элементов справочника в одной системе и передача их в другие системы.
Когда источников данных становится больше и организационных методов уже недостаточно, компании начинают внедрять специализированные системы. На первых порах бывает нецелесообразно централизованно управлять сразу всеми мастер-данными, например, если бизнес видит ценность только в сводной отчетности. Для решения этой задачи достаточно выгружать данные из источников в единую систему, приводить их нужному виду и формировать консолидированную отчетность по всем структурным подразделениям компании. Следующий этап развития наступает тогда, когда у компании возникает потребность в единстве данных во всех системах — данные должны быть в едином представлении, обработанные и формализованные. В этом случае MDM-система функционирует в полную силу, работают ETL-механизмы, подключаются функции управления бизнес-процессами, интеграция с источниками данных. Такая система гарантирует целостность и качество всех мастер-данных по всем системам.
Важно сразу отметить, что перечисленные этапы нельзя считать строгой иерархией, каждый бизнес выбирает для себя свой путь работы с мастер-данными, может переходить от этапа к этапу или выбирать гибридные подходы, комбинировать уровни сложности управления мастер-данными.
На каком этапе клиенты чаще всего приходят в DATAREON?
Чаще всего к нам обращаются те, кто только начал задумываться об управлении мастер-данными. DATAREON может закрывать все три уровня работы с данными, о которых я говорил выше. Например, на первом этапе, когда внедряются организационные подходы, можно использовать платформу только для интеграции нескольких систем, что позволит избежать двойного ввода данных.
А на тех этапах, когда потребуется полноценная MDM-система, можно будет использовать механизмы, заложенные в платформу DATAREON, чтобы создать централизованный хаб мастер-данных, загрузить данные из внешних систем, обработать их для повышения качества и дальнейшего тиражирования в другие системы.
Как я уже говорил, каждая компания может выбрать оптимальный для себя этап или вариант использования MDM-платформы, но для того, чтобы сделать правильный выбор, необходимо иметь достаточное представление о существующих подходах и возможностях систем. Мы стараемся предоставлять нашим клиентам, существующим и потенциальным, максимум полезной информации. Так, например, скоро выходит обновленное русское издание книги «Управление мастер-данными». Алека Берсона, Лоуренса Дубова, выполненное под моей научной редакцией. Это не первая наша инициатива по адаптации западных изданий под российские реалии, но фактически единственное всеобъемлющее руководство по вопросам управления мастер-данными, которое охватывает критически важные принципы, концепции и практические подходы.
Ваша компания развивает MDM-функциональность на базе комплексной платформы интеграции и управления данными. Почему вы считаете такой подход оптимальным?
Управление мастер данными включает в себя не только создание централизованного хранилища, но и выгрузку данных из других систем, обработку этих данных — они не всегда выгружаются корректно, их нужно «причесывать», сопоставлять с бизнес-моделями. Для этих задач в DATAREON реализованы ETL-механизмы.
Еще одна функция платформы — управление бизнес-процессами. Создание мастер-записи чаще всего идет многоступенчатно, так как для заполнения нужных данных часто приходится привлекать специалистов из разных отделов компании. И эта задача требует отдельного управления. Если мы говорим о создании товарной номенклатурной позиции, то за разные наборы атрибутов могут отвечать разные люди. Например, для заполнения технических характеристик потребуется технический специалист. Для заполнения финансовых атрибутов нужно будет привлечь бухгалтера. Для того, чтобы наладить взаимодействие между всеми участниками процесса в DATAREON предусмотрены специальные BPM-механизмы.
Следующая функция — передача данных, взаимодействие в реальном времени с другими системами, которые используют эти данные или являются источником сырых данных. Эта возможность реализуется с помощью механизма интеграционной шины, встроенного в платформу DATAREON.
Бизнесу не выгодно использовать в качестве MDM-системы решения, которые умеют только хранить и обрабатывать данные. В этом случае ETL, BPM, ESB-механизмы придется подключать в виде отдельных сервисов. Такое сопряжение различных систем — это сложный и затратный процесс. Гораздо удобнее и выгоднее, когда все перечисленные функции объединены в одном продукте. Мы видим четкий тренд на комплексный подход к работе с данными, на использование платформенных решений. DATAREON — это интеграционная платформа, в ней объединены все необходимые функции, а, значит, все задачи по управлению мастер-данными решаются с единым подходом и в единой среде.
Какой новой функциональности бизнес ждет от решений для работы с мастер-данными?
Как я отмечал ранее, бизнес, прежде всего, требует комплексных решений. Если говорить о непосредственных функциях MDM-системы, то компаниям нужна возможность создания моделей данных в пользовательском режиме, без участия программиста. Здесь на помощь приходит Low-code подход, позволяющий создавать модели данных, процессы и интерфейсы, не имея серьезных навыков в разработке, программировании.
Все более востребованными становятся облачные решения. Несмотря на то, что у многих остаются определенные опасения в использовании облачных технологий именно для работы с данными, и on-premise-решения все еще актуальны, мы видим активный рост интереса к облакам. Во многом ситуацию меняет появление качественных публичных облаков от российских провайдеров.
Что касается самой работы с данными, то здесь пользователям нужны все более функциональные решения — задачи бизнеса становятся сложнее, а значит, нужно больше возможностей по сбору и обработке данных. Например, поддержка иерархии в данных, поддержка различных классификаторов и классозависимых характеристик.
В DATAREON мы стараемся внедрять требуемую функциональность, например, такие возможности как поддержка мультидоменной структуры данных для работы обособленных групп, управление взаимосвязями между объектами данных или между доменами, версионность и хранение изменений данных, безопасность и разграничение доступа к данным.
Продолжая тему функциональности, невозможно пройти мимо вопросов использования искусственного интеллекта. Как эти технологии используются в MDM?
Использование искусственного интеллекта, машинного обучения — значимый тренд в управлении мастер-данными. Одно из самых частых применений ИИ — работа с неформализованными, слабоструктурированными данными.
Есть относительно формализованные данные, например, по ИНН мы можем получить достаточно информации о контрагенте из открытых источников, чтобы оценить его надежность.
Но есть и гораздо менее структурированные мастер-данные, например, товарная номенклатура. Описание компьютера у разных поставщиков может выглядеть совершенно по-разному — модель, процессор, объем памяти и жесткого диска могут быть указаны в любой последовательности. Это же касается любых сложных устройств, материалов, которые мы можем выбирать и сравнивать сразу по нескольким характеристикам.
Так как каждый поставщик в лучшем случае придерживается собственных правил описания подобных товаров, требуется очень много времени на унификацию этих данных и создание собственных каталогов. Такую работу сейчас поручают искусственному интеллекту, в последнее время мы наблюдаем действительно прорыв в этой области. Ведущие вендоры MDM-систем включают в свои продукты механизмы, которые позволяют обрабатывать неформализованные данные с помощью ИИ.
Алгоритмы искусственного интеллекта в платформе DATAREON универсальны и могут использоваться для различных задач. Наша модель обучена на большой выборке и, например, в случае с товарной номенклатурой по наименованию товара помогает определить категорию, выделить конкретные характеристики вне зависимости от того, как и в каком порядке они указаны. При необходимости модели ИИ можно обучать и на данных клиента, если речь идет об узкой, специфической области деятельности.
Почему для управления мастер-данными в рамках проектов цифровизации бизнеса так важна «единственная версия правды»?
Давайте начнем с того, какие именно проекты цифровизации бизнеса сейчас актуальны. Все большую популярность набирают композитные ИТ-инфраструктуры и одним из триггеров, которые создают потребность в таких решениях, становится импортозамещение.
Компаниям приходится менять довольно большие блоки своей инфраструктуры, переходить с зарубежных решений, например, с SAP, на российские платформы. И это очень болезненный процесс, очень сложно взять и перейти с одной ERP, которая покрывает до 80% учетных задач предприятия, на другую. Это годы усилий по внедрению, настройке, адаптации, обучению сотрудников и выстраиванию бизнес-процессов. Гораздо более простой кажется последовательная замена, когда внедряются отдельные, локальные системы для небольших задач и уже между ними организуется взаимодействие в реальном времени.
В этом случае необходимо не только наладить техническое взаимодействие между несколькими системами, но и реализовать интеграцию на уровне данных, управление мастер-данными. Таким системам необходим единый базис, «язык» общения, взаимодействия, в роли которого выступает MDM-система. Именно она обеспечивает наличие «единой правды» — единых данных в унифицированном представлении, с которыми работают все системы компании.
Фактически внедрение MDM-решений позволяет бизнесу перейти от монолита к композитной инфраструктуре, постепенно подключая системы для решения отдельных задач.
Что конкретно получает бизнес и ИТ от слаженной работы с мастер-данными компании?
Представим холдинг, в который входит несколько производственных предприятий. У каждого завода своя учетная система, собственные справочники, номенклатура и т.д. А значит, сложно получить общую картину о состоянии дел на всех предприятиях. В отсутствие мастер-данных и той самой «единой версии правды» штаб-квартира компании не сможет принять эффективные решения о закупке сырья или о перераспределении излишков. Поскольку у каждого завода своя учетная система и свой способ именования позиций, информация не унифицируется и не обрабатывается в рамках всего холдинга. Наличие качественных мастер-данных могло бы повысить эффективность сократить затраты, упростить процессы принятия верных управленческих решений.
Мастер-данные позволяют обеспечивать прозрачность, оперативность действий не только в рамках одной организации, но и в рамках целой цепочки действий, например, в логистике, в цепях поставок. Это задача уже другого порядка, но и ее способна решить MDM-система.
Говоря о внедрении решений МДМ, кому бы вы рекомендовали стартовать такие проекты уже сейчас?
Тем, кто находится в процессе смены ИТ-ландшафта, замены систем, внедрения новых систем.
Либо тем компаниям, которые осознали, что мастер данные — это актив, которым надо управлять. Это те, у кого сейчас фокус направлен на выстраивание бизнеса и принятие стратегических решений на основе данных.