DATAREON Platform предлагает широкий спектр инструментов для создания единой централизованной системы управления ключевыми данными компании. Платформа уже имеет готовые шаблоны и конфигурации, которые позволяют быстро настроить необходимые бизнес-процессы, типы данных и объекты.
О возможностях платформы DATAREON в контексте управления мастер-данными предприятия рассказал Станислав Пиголкин, технический директор компании DATAREON.
Библиотека шаблонов: готовые шаблоны для решения ваших задач
Первым шагом в создании системы управления MDM является определение того, какими типами данных нам нужно будет управлять. Не все данные, с которыми вы работаете в организации, следует вносить в MDM-систему. Некоторые типы данных требуют управления, в то время как другими пусть и можно управлять, но это не обязательно, или управление ими может привести к избыточности, а иногда даже к негативным последствиям.
Вы можете определить типы данных, которые требуют управления, и создать для них систему хранения, если это необходимо. Обычные MDM-системы предполагают, что все управляемые ею данные требуют хранения. Однако это не всегда так. Многие данные могут храниться там, где они создаются, и просто передаваться другим системам. Следующим шагом следует разработать все необходимые процессы, связанные с управлением данными. Это процессы первичной обработки данных, контроль качества, дедубликация и нормализация, обогащение данных согласно установленным правилам, правила периодической проверки и верификации данных. На последнем этапе реализуются механизмы распространения данных между системами-подписчиками. Также в этот момент реализуются правила вытеснения и устаревания данных.
Библиотека шаблонов в DATAREON Platform поможет вам реализовать управление MDM-данными конкретно под ваши потребности. В конфигурацию MDM входит библиотека вспомогательных и проверочных функций, атрибутов, бизнес-процессов — всего, что вам потребуется для управления мастер-данными. Внося в платформу новый тип данных, не нужно разрабатывать бизнес-процессы или формы для него с нуля, можно выбрать подходящие из библиотеки.
Если типы данных, которыми вы оперируете, не включены в конфигурации, содержащиеся в библиотеке платформы, вы можете выбрать наиболее подходящую, использовать ее в качестве основы и расширять функционал.
Библиотека шаблонов также содержит механизм атрибутов. С его помощью можно создавать типы данных на пользовательском уровне: просто выберите атрибут в типе данных, и все остальное будет автоматически подставлено.
Например, если вы создаете тип данных «Сотрудник» и хотите указать, что у него есть номер телефона, вам не нужно говорить, что это поле такого-то типа, с такой-то длиной. Вы просто указываете, что у него есть атрибут «телефон». Из библиотеки уже берется стандартная длина, тип и ширина этого атрибута. Кроме того, настраиваются проверки, которые атрибут должен проходить при взаимодействии с ним, что очень важно.
Инструменты управления мастер-данными, удобные для пользователя и разработчика
При формировании структуры данных очень важно использовать уже существующие типы данных.
В своем практическом опыте специалисты DATAREON никогда не сталкивались с тем, чтобы предприятия просили создать структуру данных с нуля. Обычно у предприятий уже есть какие-то данные, которыми они пользуются, или им нужно добавить новые данные, нормализовать существующие и так далее. Но чтобы у предприятия совсем не было данных и нам приходилось создавать их с нуля — такого не бывает.
В DATAREON Platform предусмотрен инструмент, который позволяет импортировать существующие данные и на их основе построить более правильные и эффективные структуры данных. С помощью этого инструмента также возможно указать процессы обработки и задать другие параметры. Импорт данных в DATAREON Platform позволяет получать и формировать данные из различных источников, при этом к ним можно сразу привязывать типовые процессы обработки и формы взаимодействия. Если в дальнейшем потребуется изменить типовую форму, вам не нужно будет каждый раз создавать новую, она уже будет привязана к типу данных.
Другой важной частью управления данными для построения эффективной MDM-системы является взаимодействие с пользователями. Существует теория, согласно которой можно создать систему управления данными, которая будет автоматически нормализовать, дедублицировать данные и проверять их с точки зрения правил и механизмов Data Quality (качества данных). В результате она сформирует мастер-запись, которая будет удовлетворять требованиям всех подразделений предприятия. Однако на практике такая ситуация встречается редко. Поэтому при формировании бизнес-процессов управления данными, особенно в отношении мастер-данных, часто требуется участие дата-стюардов в механизмах согласования, дополнения и обогащения данных, а также принятия решений по конфликтам.
В DATAREON Platform реализован механизм, который позволяет в рамках стандартных бизнес-процессов управления данными создавать интерактивные задачи. Эти задачи после создания в том или ином виде попадают к пользователям, и бизнес-процесс ожидает от них решения. Это позволяет добавить интерактивность в автоматический процесс управления данными.
Важно отметить, что в задаче не нужно указывать, какие поля должен согласовать дата-стюард и прописывать другие детали. В задаче следует указать тип данных, с которым нужно работать, а также правило, которое должно применяться к этому типу данных. Выходная форма и результат выполнения задачи будут автоматически определены в соответствии с бизнес-процессом.
Конфигурация «Контрагенты»
Продолжая развитие в сторону разработки типовых шаблонов, DATAREON добавил в платформу две конфигурации. Первая из них — конфигурация для управления доменом «Контрагенты». В нее вошли структуры данных, характерные для работы с контрагентами в системах на базе «1С:Предприятие». При необходимости эти типы данных можно расширить.
Мы разделили типы данных на поставщиков, покупателей и другие категории. Создали типовые функции для контроля дубликатов и обогащения данных при взаимодействии с внешними системами. В конфигурации «Контрагенты» по умолчанию используется система DaData.
Также были сформированы все бизнес-процессы управления данными, включая процессы согласования и создания новых типов данных. Используя эту конфигурацию, можно формировать заявки на создание новых типов данных в системах-источниках.
Например, если в 1С:ERP создается новый элемент справочника «Контрагенты», то это не означает автоматическое создание элемента справочника. Вместо этого формируется заявка, которая попадает в MDM, она обрабатывается автоматически или с подтверждением дата-стюарда. И только после обработки в справочнике появляется новый элемент «Контрагенты».
Конфигурация «Номенклатура»
Вторая конфигурация предназначена для управления номенклатурой. Это тоже шаблонная конфигурация, в ее основе также лежит механизм взаимодействия с системами, работающими на платформе «1С:Предприятие». Структура конфигурации разработана для эффективного автоматического взаимодействия с ними.
В конфигурации реализованы различные функции для контроля дубликатов, управления данными и так далее. Кроме того, мы использовали взаимодействие с сервером искусственного интеллекта (ИИ) для обработки входящих данных. Этот сервер выполняет предварительную идентификацию полученных данных, выделяет характеристики, предлагает варианты для их дополнения или исправления, а также взаимодействует с дата-стюардом для решения коллизий.
Также в конфигурации поддерживается механизм множественной классификации и классозависимых атрибутов. Это означает, что одна и та же запись типа «Номенклатура» может относиться к нескольким классам, и у каждого класса может быть свой набор атрибутов. Таким образом для бухгалтерии запись будет выглядеть одним образом, для производственников — другим, а для кладовщиков — третьим.
Обратите внимание, в этом примере использован бизнес-процесс с прогнозированием от сервера ИИ, основанный на искусственном интеллекте. Взаимодействие с сервером не требует заполнения специальной формы. В low-code инструменте для настройки бизнес-процессов по обработке данных вы указываете необходимость получения прогноза от сервера, затем выполняете процедуру обработки и принимаете решения на основе полученного прогноза.
Планы развития: новые механизмы в DATAREON Platform — новые возможности для вашего предприятия
В ближайших планах DATAREON улучшить процесс управления метаданными предприятия. Для этого мы планируем создать механизм версионирования структуры данных. Он позволит более эффективно управлять метаданными, изменять их, откатываться к предыдущим версиям при необходимости.
Также будет разработано рабочее место архитектора данных. Это будет специальное место в рамках инструментария DATAREON Platform, где ответственный сотрудник сможет выполнять различные действия, связанные с созданием и моделированием данных. Он сможет получать данные, преобразовывать их в нужную структуру, проверять, как эта структура распознается на серверах, проводить разметку данных и управлять структурой перед тем, как она будет внедрена в промышленную эксплуатацию. Это поможет повысить эффективность внедрения MDM-систем на предприятии, снизить количество ошибок на начальных этапах.
Часто при внедрении MDM мы исходим из предположения, что у нас уже есть единая структура данных, которую мы можем нормализовать и отдать пользователям. Однако на практике оказывается, что единого пользователя данных нет, и нет единого мнения о том, как эти данные должны выглядеть. Без моделирования этого процесса мы часто сталкиваемся с ситуацией, когда для кого-то данные достаточны, а для кого-то — нет, и они оперируют не теми структурами, которые требуются. Рабочее место архитектора данных поможет решать такие коллизии еще на этапе проектирования, до внедрения.
Еще один механизм, который DATAREON планирует развить в платформе — это связанные проверки данных. Он позволит создавать проверки, зависящие от значения других атрибутов. Это особенно востребовано при создании правил контроля качества и корректности данных, когда мы должны оперировать такими понятиями, как структура и тип данных. Сейчас это делается на уровне написания кода в шагах бизнес-процесса, но будущем в платформе появится механизм, который позволит в парадигме low-code расставлять связи между последовательностью и правилами проверок и выстраивать иерархию проверок в зависимости от заданного типа данных. Это сделает управление мастер-данными предприятия с помощью DATAREON Platform еще удобнее и эффективнее.