Методы и средства интеграции разнородных информационных систем на железнодорожном транспорте

В настоящее время развитие информационных технологий (ИТ) на железнодорожном транспорте достигло достаточно высокого уровня и это выражено в частности в таких формах информационных систем (ИС), как автоматизированные системы управления технологическими процессами (АСУТП) и производствами (АСУП), а также системы технической подготовкой производства (АСТПП). При этом, наряду с задачами автоматизации отдельных технологических процессов и производств, все острее встает проблема интеграции уже созданных и вновь создаваемых систем в единый информационный комплекс, который позволил бы повысить качество управления, и, как следствие, эффективность работы отрасли в целом [1].

Только путем последовательной увязки существующих систем управления по иерархическим уровням и интеграции их в единую систему сбора и обработки данных и оперативного управления можно повысить качество и эффективность всех звеньев, участвующих в процессах транспортировки грузов.

При разработке систем АСУ приходится решать целый ряд проблем, вызванных разнородностью систем, а также различным временем их создания:

• Несовместимость аппаратных и программных платформ, на которых построены интегрируемые системы;

• Несовместимость поддерживаемых ими протоколов доступа и форматов сообщений;

• Несовместимость версий поддерживаемых стандартов обмена информацией.

На транспорте задача интеграции усложняется в связи с распределенным характером информационного комплекса отрасли и необходимостью обеспечение надежности передачи информации.

В настоящее время существуют методики решения отдельных подзадач задачи интеграции приложений, таких как обеспечение гарантированности доставки и преобразование форматов сообщений, совместное администрирование и др. [2], [3], [4], но ни одна из существующих методик не рассматривает задачу интеграции приложений в комплексе. В связи с этим в транспортной отрасли встает необходимость создания комплексной методики создания распределенных систем интеграции (РСИ), обобщающей опыт построения систем интеграции приложений и позволяющей понизить трудоемкость их создания и повысить качественные показатели процесса проектирования [1].

Системы АСУТП, АСУП и АСТПП состоят в конечном итоге из отдельных приложений, под которыми понимаются средства для решения задач информационного обмена, работающих на различных программных и аппаратных платформах. Поэтому задачу интеграции АСУ можно считать задачей интеграции приложений, решению которой в применении к АСУТП управления процессом перевозок (УПП) посвящена данная работа. По прогнозам [5], [6] рынок систем интеграции приложений ожидает рост более чем на 200% в течение ближайшего десятилетия, что подтверждает актуальность выбранной темы.

Первый раздел работы содержит анализ актуальности задачи интеграции АСУ и построения распределенных систем интеграции (РСИ) в транспортном комплексе. Дано определение задачи интеграции, приведена классификация и анализ направлений решения задачи интеграции, таких как электронный обмен данными, промышленная интеграция приложений, интеграция бизнес-процессов между организациями. Также в первом разделе предложена классификация подзадач, возникающих при разработке РСИ и проведен их анализ. Сделан вывод об актуальности проблемы интеграции АСУ и о необходимости разработки новой методики интеграции для случая интеграции большого числа приложений.

Второй раздел работы содержит описание предлагаемой структуры РСИ на базе ядра системы интеграции (ЯСИ), основной принцип построения которой заключается в выделении подзадач задачи интеграции, не зависящих от специфики интеграции с конкретной АСУ (таких как синхронизация процессов и маршрутизация сообщений) и решении их в отдельном модуле системы — ядре интеграции.

Помимо этого, второй раздел содержит описание методики расчета трудоемкости реализации РСИ на базе ЯСИ и сравнение предлагаемого подхода с традиционным, что позволяет определить предпочтительный подход в каждом конкретном случае решения задачи интеграции. В разделе подтверждается вывод о преимуществе структуры РСИ на базе ЯСИ при большом числе интегрируемых приложений или при наличии перспективы их роста.

Третий раздел работы посвящен описанию методики сравнения и выбора базовых программных продуктов для реализации ядра РСИ. Проведен анализ возможных критериев для сравнения, дано описание алгоритма сравнения и выбора продукта. Также в разделе приведены рекомендации по базовому набору критериев для реализации РСИ для интеграции АСУ на транспорте и проведен выбор базового продукта для реализации РСИ АСУ У1Ш со стандартами международного обмена информацией EDIFACT.

Дополнением к третьему разделу является «Приложение 1. Методика построения ядра интеграции», содержащее описание методики создания РСИ в случае применения для реализации ЯСИ выбранного базового программного продукта — Microsoft BizTalk Server 2000.

Четвертый раздел содержит описание методики расчета параметров ЯСИ, необходимых для обеспечения заданного уровня качества обслуживания РСИ. Приведено описание методики расчета числа каналов обработки сообщений ЯСИ и производительности каждого из каналов, необходимых для обеспечения заданного времени ожидания обработки каждым сообщением во входной очереди.

Дополнительно четвертый раздел содержит краткое описание и пример использования разработанного автоматизированного рабочего места (АРМ) для расчета параметров ЯСИ в зависимости от требуемых показателей уровня качества обслуживания.

В пятом разделе приведено описания внедрения предложенной в работе методики создания РСИ на базе ЯСИ для проекта, осуществленного и внедренного в Главном Вычислительном Центре (ГВЦ) ОАО РЖД в 2000;2003 годах. Проект осуществлялся в составе работ по программе «TEDIM» (Telematics in Foreign Trade Logistics and Delivery Management — Телематика в логистике международной торговли и управлении поставками [7]), включающая в себя несколько проектов по разработке электронных решений в области международной торговли и логистики. Задача проекта заключалась в автоматизации обмена документами при осуществлении экспортно-импортных операций между Российскими железными дорогами и дорогами Финляндии. Решение этой задачи позволяет увеличить скорость прохождения грузов через границу, снизить себестоимость перевозок и повысить эффективность управления транспортной отраслью на данном направлении в целом. В указанной системе, перешедшей к данному моменту в промышленную эксплуатацию, РЖД, ГТК и финский грузооператор VR Cargo обмениваются железнодорожными накладными и таможенными разрешениями на перевозку. Разработанная РСИ реализует функции приема и обработки электронных документов в соответствии со схемой операциями экспорта и импорта, протоколирование выполняемых операций, обеспечения гарантированности доставки информации. Применение методики создания РСИ на базе ЯСИ, предложенной в диссертации, позволило создать и внедрить описанное решение в кратчайшие сроки.

В заключении содержатся основные выводы, полученные в работе.

4.5 Выводы.

В данном разделе предложена методика определения параметров ЯСИ для интеграции АСУТП, необходимых для достижения заданного уровня качества обслуживания РСИ, что позволяет еще на этапе проектирования системы планировать необходимые затраты на аппаратные средства.

5 Описание примера внедрения распределенной системы интеграции по предлагаемой методике.

Пятый раздел посвящен описанию внедрения методики, описанной в диссертации на базе интеграционного решения, осуществленного в ГВЦ МПС РФ.

5.1 Цели и задачи проекта.

Решение создано в составе работ по программе «TEDIM», включающая в себя несколько проектов по разработке электронных решений в области международной торговли и логистики. Цель программы «TEDIM» — автоматизация обмена документами при осуществлении экспортно-импортных операций между транспортными, таможенными и торговыми организациями стран северной Европы.

МПС России принимает активное участие в этой программе. Задача описываемого проекта заключается в автоматизации обмена документами при осуществлении экспортно-импортных операций между Российскими железными дорогами и дорогами Финляндии. Решение этой задачи позволяет увеличить скорость прохождения грузов через границу, снизить себестоимость перевозок и повысить эффективность управления транспортной отраслью на данном направлении в целом. В рассматриваемой задаче интеграции участвуют три организации:

• ГВЦ МПС РФ;

• Финская транспортная компания VR Cargo;

• Государственный таможенный комитет (ГТК) РФ. Организации обмениваются следующими документами:

• Железнодорожные накладные, оформляются отправляющей стороной;

• Таможенное разрешение на перевозку, выдается органами ГТК РФ на основании информации железнодорожной накладной.

Обмен документами между указанными организациями производится в соответствии с международным стандартом EDIFACT. Со стороны VR Cargo и таможенных органов используются специализированные EDIFACT-сервера. В ГВЦ МПС необходимая информация находится в системе МППС (Модель Перевозочного Процесса Сетевая). При операциях экспорта и импорта обмен документами организован по различным технологическим процессам (разные схемы маршрутизации документов).

Со стороны ГВЦ МПС было необходимо обеспечить поддержку обмена EDIFACT-документами с финской стороной и органами ГТК РФ. Полученная информация должна передаваться в МППС. Все операции по пересылке сообщений и обработке должны протоколироваться. При обмене информацией используется следующая модель (Рисунок 16):

• Со стороны VR Cargo — железнодорожные накладные;

• Со стороны ГТК РФ — таможенные разрешения на перевозку;

• Со стороны ГВЦ МПС РФ — информация в системе МППС.

Ш. €"Tg® ГТК РФ.

ГВЦ МПС РФ.

Рисунок 16. Модель обмена информацией в интеграционном решении.

EDIFACT-сервер обеспечивает перемещение сообщений в формате EDIFACT в соответствии со схемой перемещения грузов из-за границы («операции Импорта») и перемещения груза из России за границу («операции Экспорта»). В обоих случаях в процессе принимают участие три субъекта: ГВЦ МПС, VR Cargo (Финляндия) и ГТК РФ.

Все субъекты — участники процесса обмениваются сообщениями, оформленными по стандартам EDIFACT. Разработанная система обеспечивает получение входящих сообщений, синтаксический анализ, формирование выходящих сообщений и протоколирование процесса для последующего анализа. В качестве программного продукта для реализации ЯСИ используется Microsoft BizTalk Server 2000, выбранного по предлагаемой методике.

Система реализует следующие функции:

• Прием и обработка документов в соответствии со схемой операции импорта;

• Прием и обработка документов в соответствии со схемой операции экспорта;

• Протоколирование выполняемых операций и возможность просмотра журнала;

• Повторная отправка сообщения, на которое не получена квитанция о доставке (обеспечение гарантированности доставки информации);

• Обмен сообщениями между партнерами с помощью электронной почты.

Дистрибутив системы состоит из серверной и клиентской частей. Их компоненты взаимодействуют друг с другом, используя протокол DCOM (Distributed Component Object Model).

Серверная часть включает в себя:

• ЯСИ на базе Microsoft BizTalk Server 2000;

• Тестовое приложение, используемое для проверки работоспособности системы, использовавшейся, в частности для экспериментальной проверки результатов расчета требуемых для обеспечения заданного качества обслуживания параметров ЯСИ;

• Эмулятор обработки сообщений партнерами.

Клиентская часть включает в себя административный АРМ «Журнал событий», позволяющий просматривать журнал работы ЯСИ и выполнять повторную отправку требуемых документов. Документы от организаций-партнеров (VR Cargo и ГТК РФ) поступают в почтовые ящики или файловые каталоги системы. Обмен информацией с МППС происходит через механизм технологической почты на основе IBM MQSeries. Использование MQSeries позволяет обойти проблему организации межплатформенного взаимодействия (т.к. МППС функционирует на базе мэйнфрейма IBM) и обеспечивает гарантированность доставку информации путем дублирования отправки сообщений до получения подтверждения.

5.4 Описание решения.

5.4.1 Архитектура системы.

Архитектура системы с точки зрения обмена данными между системами партнеров (VR Cargo, ГТК РФ) и МППС (МПС) представлена на рисунке (Рисунок 17). Система взаимодействует с внешними отправителями/получателями сообщений только через выделенные почтовые ящики, а с системой на базе Mainframe — через разделяемые с клиентом MQSeries файловые каталоги. Для операций протоколирования и внутренних операций BTS используются базы данных Microsoft SQL Server 2000.

Ж Сшр" ГТК РФ 0.

F=J 1 о t: ¦ f вер на оазе wm uiziaiK и ть buL berver.

Обработка и журналирование сообщений.

Г J. i.

Ч. if it *.

Рисунок 17. Архитектура системы.

5.4.2 Формат обрабатываемых сообщений.

Обмен данными с финскими партнерами (VR Cargo) и ГТК РФ производится в формате EDIFACT. Система обрабатывает следующие сообщения:

• IFCSUM (Forwarding and consolidation summary message) -входящие и исходящие сообщения. Электронный аналог железнодорожных накладных.

• CUSRES (Customs response message) — входящее сообщение. Сообщение CUSRES является ответом ГТК на сообщение IFCSUM, содержит разрешение/запрет на перевозку, выданное таможней.

• CONTRL — входящие и исходящие сообщения. Служебное сообщение CONTRL является ответом на полученное от партнера сообщение формата EDIFACT. Сообщение CONTRL представляет собой уведомление отправителя о получении входящего сообщения, либо результатах синтаксического разбора входящего сообщения.

Обмен данными с МППС производится во внутреннем согласованном формате (позиционный текстовый файл).

5.4.3 Протоколирование.

В процессе работы системы выполняется протоколирование проходящих через систему сообщений. Протоколирование выполняет две функции: сохранение истории движения сообщений и средство оповещения администратора системы о возникающих проблемах.

Администратор системы имеет возможность сделать выборку по журналу для получения списка сообщений, у которых возник конфликт для принятия решения о дальнейших действиях.

Для сохранения журнала используется две базы данных MS SQL Server: стандартная БД для протоколирования MS BizTalk Server и дополнительная БД.

5.5 Технологические процессы предметной области.

Система поддерживает технологические процессы двух типов: операция «импорт» и операция «экспорт». Ниже представлены блок-схемы, содержащие алгоритмы работы обмена сообщениями в обоих случаях.

5.5.1 Операция импорт.

На рисунке ниже (Рисунок 18) приведена схема перемещения сообщений IFCSUM для операции импорта.

5.5.2 Операция экспорт.

На рисунке ниже (Рисунок 19) приведена схема перемещения сообщений IFCSUM для операции экспорта. о.

•IFCSUM.

I"————-CQNTRL (IFCSUM)—.

410.Получкние сообщения IFCSUMa/ip ее ат груэоотлр ai отель i А.

Грузоотгравител.

I ь VRCargo.

М^'РИи.

420. Вюдной контроль IFCSUtol формиро< ание CONTRL (IFCSUIUJ.

433. Отсылка сообщении CONTRLOFCSUm. адресат грузоотправитель.

IFCSUM.

4BQ. Отсылка сообщения IFCSUMaflpecar таможня грузополучателя.

CUSRES 1 I CONTRL. (JFCSUIVp I.

CONTRLpFCSUMf о.

ЭДрнмнр мани".

470. Получение сообщении CONTRL (IFCSUtu) адресат, таможни rpyion случают я I, А к.

CUSRES (IFCSUM5 I I.

4Э0. Оживание сообщения CUSRES (IFCSUHl. адресат таможня груюлолучателя CONTRL | (CUSRES}.

XQ’RHI JHflBIIHNt.

OUJ. ьздднои контроль.

CUSRES (IFCSUH/Ц форми-ро| ание CONTRL IX U 5 RE S3.

510. Отсылка сообщения CONTRL CCUS RE Si адресат, там ox ня груэоп олуч ател я.

W3 Передача IFCSUM, ЭГРЛН.

530. Огсылк, а со общ ен ия CUSRES. адресат, гдооогтлрак отель.

5GQ. Формирояание сообщения для hitainframe иэ CUSRES.

ЯС’Рнали ропни*.

540. Ос и дан ие сообщения CONTRL (CUSRES), адресат г рухо отп pai иге ль ft едом-л ение по.

570. Передача CUSRES" (Л infra me System.

455. Форм сообще Mainframe ир о" ание ним для w IFCSUM.

457. Перед * Mai г ача IFCSUM iframe Ж?'рна JHP0H НИ*:

Рисунок 18. Технологический процесс операции импорт.

Рисунок 19. Технологический процесс операции экспорт.

Заключение

.

Предметом исследования в диссертации является задача последовательной увязки существующих АСУТП на железнодорожном транспорте, в частности систем автоматического управления процессом перевозок, по иерархическим уровням и интеграции их в единую систему сбора и обработки данных на базе предлагаемой структуры РСИ, основным принципом построения которой является выделение отдельного модуля ядра системы интеграции (ЯСИ).

Целью исследования является разработка методов построения РСИ для АСУ УПП на железнодорожном транспорте на основе предлагаемой структуры РСИ на базе ЯСИ.

В диссертации поставлены и решены следующие задачи:

1. Выполнен анализ задачи интеграции АСУТП на транспорте, разбиение задачи на подзадачи и их классификация;

2. Выполнен анализ и классификация проблем, возникающих при создании РСИ в транспортной отрасли;

3. Разработана типовая структура РСИ для АСУТП на базе ЯСИ;

4. Разработана методика создания РСИ на предлагаемой типовой структуре при решении задачи интеграции АСУТП на транспортных предприятиях;

5. Выработаны рекомендации по применению предлагаемого алгоритма решения задачи интеграции с использованием РСИ на базе ЯСИ для АСУТП на железнодорожном транспорте;

6. Предложена методика расчета трудоемкости применения РСИ на базе ЯСИ.

Теоретические исследования в диссертации проводились с использованием теории множеств, теории автоматического управления, теории проектирования автоматизированных систем управления, теории массового обслуживания. Для оценки достоверности численного моделирования сопоставлялись результаты расчетов с данными, полученными в ходе экспериментов.

Научная новизна работы заключается в следующем:

1. Предложена классификация подзадач и проблем, встающих перед разработчиками РСИ;

2. Предложена типовая структура РСИ на базе ЯСИ для АСУТП на транспорте, разработана методика определения параметров РСИ, требуемых для обеспечения заданного уровня качества обслуживания;

3. Разработана методика сравнения и выбора программных продуктов верхнего уровня, используемых в качестве основы для построения РСИ;

4. Разработана методика применения типовой структуры РСИ при решении задачи интеграции АСУТП;

5. Предложена методика расчета трудоемкости применения типовой структуры РСИ на базе ЯСИ.

Практическая ценность диссертации состоит в применении предложенных методик построения РСИ на базе ЯСИ для решения задач интеграции АСУТП управления процессом перевозок ОАО РЖД. Создана система, интегрирующая между собой АСУТП «Модель процесса перевозок сетевая» (Mill 1С) с ИС Государственного таможенного комитета (ГТК РФ) и ИС железных дорог Финляндии. В системе реализован обмен информацией о движении грузов через российско-финскую границу, требуемый для управления процессом перевозок, а также для решения задач планирования. Внедрение РСИ на базе ЯСИ позволяет существенно повысить эффективность взаимодействия контрагентов, участвующих в процессе перевозок (РЖД и иностранных железных дорог, государственных органов, грузооператоров и т. д.) при информационном обмене РЖД с ИС сторонних организаций. Применение разработанных в диссертации методик позволяет сократить время разработки и внедрения РСИ.

Результаты исследований, полученные в диссертации, являлись основой для проекта, осуществленного и внедренного в Главном Вычислительном Центре (ГВЦ) ОАО РЖД в 2000;2003 годах. Проект осуществлялся в составе работ по программе «TEDIM», включающая в себя несколько проектов по разработке электронных решений в области международной торговли и логистики. Задача проекта заключалась в автоматизации обмена документами при осуществлении экспортноимпортных операций между Российскими железными дорогами и дорогами Финляндии. Решение этой задачи позволяет увеличить скорость прохождения грузов через границу, снизить себестоимость перевозок и повысить эффективность управления транспортной отраслью на данном направлении в целом. В указанной системе, перешедшей к данному моменту в промышленную эксплуатацию, РЖД, ГТК и финский грузооператор VR Cargo обмениваются железнодорожными накладными и таможенными разрешениями на перевозку. Разработанная РСИ реализует функции приема и обработки электронных документов в соответствии со схемой операциями экспорта и импорта, протоколирование выполняемых операций, обеспечения гарантированности доставки информации. Применение методики создания РСИ на базе ЯСИ, предложенной в диссертации, позволило создать и внедрить описанное решение в кратчайшие сроки.

Основные положения диссертационной работы докладывались и обсуждались на таких конференциях, как:

• Международных научно-практических конференциях «Инфотранс» в 2002 и 2003 годах (Санкт-Петербург);

• Конференции «Платформа Microsoft» в 2001, 2002 и 2003 годах (Москва);

• Конференция «Неделя науки в ПГУПС» в 2002 году (Санкт-Петербург);

• Семинары, проводимые компаниями Microsoft и Digital Design («Клуб архитекторов», «День разработчика» и др.) в Москве и Санкт-Петербурге.

Материалы диссертации опубликованы в 13 печатных работах, а также в монографии автора диссертации.

На защиту выносятся следующие основные научные и практические результаты и выводы по результатам выполнения диссертационной работы:

1. Показано, что существующие и применяемые в настоящее время методики создания РСИ для АСУТП не удовлетворяют требованиям по снижению трудоемкости разработки, выдвигаемым в транспортной отрасли по причине использования неэффективной структуры системы интеграции, основанной на принципе объединения АСУ «многие-ко-многим».

2. Разработана классификация задач и проблем, встающих при разработке РСИ для АСУТП в железнодорожном транспорте, что позволяет ускорить процесс проектирования РСИ. Выявлены общие и независящие от специфики интегрируемых АСУТП компоненты РСИ, что позволяет вынести решения ряда задач, решаемых в традиционной структуре РСИ «многие-ко-многим» в повторяющихся модулях в отдельный общий модуль ЯСИ.

3. Впервые разработана типовая структура РСИ для АСУТП в транспортной отрасли, позволяющая решать задачи интеграции АСУТП с меньшими трудозатратами, чем существовавшие ранее методики. Разработана методика сравнения трудоемкости разработки РСИ с использованием предлагаемой структуры на базе ЯСИ и с использованием традиционной методики интеграции «многие-ко-многим».

4. Предложена методика разработки РСИ на базе ЯСИ, позволяющая значительно сократить трудоемкость проектирования систем интеграции для АСУТП при решении задач УПП за счет вынесения повторяющихся и независящих от стыкуемых АСУТП функций в отдельный модуль ЯСИ, а также существенно снизить количество ошибок проектирования за счет применения шаблонов проектирования.

5. Разработана методика сравнения и выбора программных продуктов верхнего уровня, применяемых в качестве основы для построения РСИв методике используется набор качественных и количественных характеристик программных продуктов, что позволяет осуществлять объективный выбор наиболее подходящего в каждом конкретном случае продукта.

6. Впервые в железнодорожной отрасли предложена методика определения параметров ЯСИ для интеграции АСУТП, необходимых для достижения заданного уровня качества обслуживания РСИ, что позволяет еще на этапе проектирования системы планировать необходимые затраты на аппаратные средства.

7. Разработанные методики создания РСИ на базе ЯСИ были использованы при создании проекта по интеграции АСУТП «МППС» в ГВЦ ОАО РЖД с ИС ГТК РФ и железными дорогами Финляндии, что позволило увеличить скорость прохождения грузов через границу, снизить себестоимость перевозок и повысить эффективность управления транспортной отраслью на данном направлении в целом.