Разработка математического и программного обеспечения для систем управления мастер-данными

В современном мире информационные технологии стали неотъемлемой частью абсолютно любой организации. Точно также, как совершенно в любой организации неизбежно возникает отдел, подразделение или какая-то другая* часть, занимающаяся бухгалтерским учетом, точно также любое предприятие, в котором больше одного сотрудника, неизбежно подвергается информатизации. Обнаружив многочисленные преимущества, которые несет в себе внедрение компьютерных технологий, предприятия стремятся развить свою информационную структуру, извлечь как можно больше выгоды из своих вложений в автоматизацию производства и создание средств обмена данными и документами внутри предприятия. И в конечном итоге они стремятся к интеграции своей информационной среды. С целью ли достижения большей прозрачности, или большей оперативности управления, или повышения качества бизнес-процессов, но ставится задача превратить каждый программный компонент информационной среды в часть целого, способную отвечать на запросы, уведомлять о своем состоянии другие части среды, поддаваться настройке и эффективно взаимодействовать с любым другим компонентом среды, с каким только можно придумать осмысленный способ взаимодействия.

Однако повсеместное распространение информационных систем и взрывообразное, стихийное их развитие, наблюдавшее в последние годы, оказывается, создают препятствия для такой интеграции. Одно решение «говорит» на языке, совершенно непонятном другому решению, и даже отдаленно не похоже на аналогичное, которое было внедрено в компании, которую только что поглотила организация, стремящаяся к унификации своей информационной среды.

Объединение разрозненных участков информационной среды становится непростой задачей. И первым шагом в ее решении служит сообщение разным компонентам среды возможности понимать данные, с которыми они работают. Как правило, в организации существует определенный набор относительно постоянной информации, которая проникает практически во все аспекты ее деятельности. Списки подразделений, сотрудников, стандартов, спецификаций, все это создает терминологический контекст существованияпредприятия. Вся эта информация неизбежно попадает и в программные компоненты среды. И как правило в каждом из них выглядит по-своему.

Соответственно, чтобы добиться возможности взаимодействия компонентов друг с другом сначала надо добиться того, чтобы они одинаково обрабатывали одни и те же базовые понятия. И решение этой задачи в настоящее время выделилось в отдельное направление разработки программного обеспечения, которое называется управление нормативно-справочной информацией, или иначе мастер-данными.

Существует ряд коммерческих решений в этой области, обзор некоторых из них можно найти в первой главе этой работы. Вкратце можно сказать, что эти решения имеют два общих свойства. Во-первых, они все в первую очередь решают задачу интеграции мастер-данных в единое информационное пространство. Интеграция достигается либо путём представления справочников в единой, общей для всего предприятия форме и адаптации всей информационной среды для работы с этим новым, единым справочником, либо путем построения множества преобразований из каждого существующего представления каждого справочника в каждое отличное от него. Таким образом достигается возможность обмена данными между прежде изолированными частями информационной среды. Это решение, пусть и является существенным шагом вперед по сравнению с неконтролируемым внедрением программных компонент, не связанных друг с другом, лишь частично решает проблему. Ведь мастер-данные, будучи сложными, медленно меняющимися данными, с которыми редко связаны большие объемы информации требуют специфического управления. Вовторых, все эти системы являются коммерческими решениями, которые 5 предназначены для внедрения в больших компаниях в, виде отдельного компонента. В то же время: задача управления мастер-данными решается постоянно при разработке любой крупной информационной системыИ внедрение отдельного сервера управления мастер-данными поряду причин, в том числе и экономических, может быть нежелательным. В? то же времяв открытойпечати практически отсутствуют материалы, посвященные методике разработки системили подсистем" управления мастер-данными. То есть всесуществующие в настоящее время решения являются проприетарными и предназначены исключительно для внедрения в крупных организациях.

Эта работа своей целью предложить способ проектирования системы управления мастер-даннымикоторый можно было использовать в системе любого размера, на основе любой платформы. Что необходимо для тогочтобы спроектировать и реализовать компонент управления НСИ? Во-первых, необходима формальная модель, которая с одной стороны позволила бы описывать с максимальной степенью достоверности, или, как предлагается в дальнейшем говорить в этой работе, с сохранением максимального объема знаний о системе те данные, которые должны быть сохранены в системе, а с другой стороны позволяла бы реализацию своих абстракций с разумными трудозатратами на основании существующих технологий программирования и хранения баз данных. Во-вторых, необходим способ априорной верификации проектируемой системы управления мастер-данными. Так как по самой своей природе системы управления мастер-данными являются распределенными системами и основные проблемы, которые в них возникают связаны с передачей данных из одной точки внедрения в другую, речь идет об описании механизма верификации распределенной сети распространения мастер-данных в рамках информационной среды.

Таким образом, данная работа ставит перед собой следующий задачи:

• Анализ существующих технологий управления нормативно-справочной информации;

• Разработать специфически предназначенную для описания мастер-данных модель данных, гарантирующую возможность представления данных в разных формах для разных компонентов информационной среды;

• Обеспечить явную поддержку данной моделью элементов математического моделирования, необходимых при описании справочников, но отсутствующих в распространенных моделях данных, таких как иерархии, множества и наследование одними сущностями свойств других сущностей;

• Обеспечить реализуемость модели на базе наиболее распространенных в настоящее время технологий программирования;

• Реализовать на основе данной модели действующий программный продукт по управлению НСИ и тем самым продемонстрировать ее практическую применимость;

• Разработать механизм верификации качества работы распределенной СУ НСИ, с учетом взаимодействия мастер-данных с текущими данными;

• Реализовать этот механизм и применить его для оценки реально существующей системы управления мастер-данными, тем самым продемонстрировать его эффективность в качестве средства оценки результатов проектирования новых систем управления мастер-данными. I.

В соответствии с поставленной целью и сформулированными задачами, в данной работе на защиту выносятся следующие результаты:

• Модель данных, позволяющая описывать НСИ с учетом ее сложной структуры и многообразия представлений в информационной среде;

• Математическая модель, описывающая взаимодействие мастер-данных с текущими данными в распределенной СУ НСИ;

• Метод обнаружения потенциальных сбоев в работе распределенной СУ НСИ, связанных с взаимодействием текущих данных и мастер-данных, на этапе проектирования системы;

• Реализация программного комплекса, обеспечивающего имитационное моделирование распределенной СУ НСИ на основании предложенной модели и позволяющего обнаруживать возникающие в ходе моделирования сбои.

4. Выводы.

В данной главе описана реально решаемая в настоящее время задача по обеспечению актуальности и полноты одной из важнейших пар справочников, задействованных в автоматизированной обработке результатов всероссийской переписи населения 2010. Описана архитектура подсистемы, решающей эту задачу, спроектированной на основе модели МКМ. Отмечено снижение затрат на разработку и рисков с ней связанных в результате применения заранее продуманной модели, успешно описывающей все необходимые системе функции.

Описан перспективный путь развития подсистемы, обеспечивающий постоянную адаптацию результатов переписи к текущему территориальному делению. С помощью двухпоточной модели распределенной СУ НСИ предсказано запаздывание результатов работы системы по отношению к текущим нормативным документам, совпадающая с экспертными оценками. Тем самым подтверждена применимость модели к реальным системам и снижены риски, сопутствующие реализации доработок, необходимых для дальнейшего развития АС ВПН-2010.

Заключение

.

Корректное управление мастер-данными — это актуальная и: сложная задача. Настолько сложная, что в данной работе для работы с ними было предложено воспользоваться элементами логического программирования и объектно-ориентированного моделирования. Следуя поставленным: н начале работы целям, были разработаны математические инструменты, существенно облегчающие проектирование даже весьма сложных по своей структуре СУ НСИ. При разработке этих инструментов были достигнуты следующие результаты:

• Разработана оригинальная модель данных МКМ на базе релядионной модели данных, учитывающая характерные особенности задачи управления НСИ. Для модели построена алгебра запросов по аналогии с реляционной алгеброй, доказана реляционная полнота этой алгебры и ее большая выразительность по-сравнению с реляционной. Доказана возможность обновления справочников через их особые альтернативные версии, получившие название граней;

• Так как модель основана на реляционной модели данных, она допускает хранение всех своих объектов в реляционной СУБД, а реализация ее логики требует введения слоя доступа к данным над I.

СУБД, который бы использовал бы не выразимые в ре л зэдиоыной модели абстракции для манипуляции данными там, где это необходимо системе;

• Модель успешно использована при проектировании подсистетугы ВСТЕ, входящей в автоматизированную систему ВПН-2010, предназначенную для обработки результатов всероссийской переписи населения 2.010;

• Разработана оригинальная модель, описывающая функционирование распределенной СУ НСИ на основе двуцветных графов, существенно отличная от сетей Петри. Идентифицированы два схожих класса потенциальных проблем обновления. Получено аналитическое решение для задачи вычисления вероятности возникновения одной, наиболее опасной, из них в некоторых случаях;

• Реализован программно-аппаратный комплекс, позволяющий имитировать процесс работы распределенной СУ НСИ, описанной с помощью предложенной модели. Программа апробирована, как путем испытания на примерах, для которых получено аналитическое решение, так и при решении промышленной задачи в рамках проектирования дальнейшего пути развития АС ВПН-2010. Оригинальное сочетание компонентов модели МКМ, каждый из которых, хотя и имеет аналоги в различных видах программного обеспечения, но никогда не использовался, как часть СУ НСИ составляет научную новизну модели МКМ. Двухпоточная модель распределенной СУ НСИ и поставленная в ее рамках проблема, обнаружения конфликтов на основании сравнения набора обновлений в исходном и принимающем узлах при пересылке рабочих документов из одного узла распределенной системы в другой также являются оригинальными разработками, впервые предложенными в этой работе. Решение этой проблемы, как численное, так и аналитическое следовательно также являются оригинальными.

В заключение работы хотелось бы выразить благодарность моему научному руководителю, доценту, к.т.н., Белову Александру Владимировичу и заведующему кафедрой Кибернетики профессору, д.т.н., Афанасьеву Валерию Николаевичу за их помощь в подготовке этой работы. Также, хотелось бы выразить благодарность компании «КРОК Инкорпорэйтед» за разрешение на публикацию материалов, связанных с АС ВПН-2010 и содействие в проведении апробации результатов данной работы на практике. Полученный в ходе работы над АС ВПН-2010 опыт оказался без преувеличения бесценен при написании данной работы.