Разработка алгоритмов и процедур повышения надежности и точности прогнозирования процессов, представленных короткими временными рядами

Актуальность проблемы. Современный менеджмент — менеджмент постиндустриального периода развития общества — уже не может опираться на принципы организации более чем столетней давности. На смену реактивного управления эпохи индустриального развития приходит упреждающее управление постиндустриальной эпохи. Различия между реактивным и упреждающим управлением сводятся к тому, что в первом случае принятие решений опирается на анализ внешнего окружения, а во второмна его прогнозирование.

Прогнозирование — это ключевой момент при принятии управленческих решений в постиндустриальном обществе. Конечная эффективность любого решения зависит от последовательности событий, возникающих уже после принятия решения. Возможность предсказать некоторые аспекты этих событий перед принятием решения позволяет сделать наилучший выбор, который, в противном случае, мог бы быть не таким удачным.

Базой упреждающего управления являются методы социально-экономического прогнозирования. Факт включения «прогнозирования и планирования» в качестве типовых элементов управленческого цикла зафиксирован еще в 1981 г. в государственном стандарте (ГОСТ 24 525.0−80. Управление производственным объединением и промышленным предприятием).

Формирование рыночных механизмов в России в последнее время связано с целым рядом трудностей. Меняются организационные формы функционирования предприятий различных отраслей, усложняются экономические и социальные связи и отношения. Поэтому в деятельности менеджеров упор приходится делать не на стандартные решения, а на способность достаточно оперативно и правильно оценивать хозяйственную ситуацию и искать подход, являющийся оптимальным в конкретных условиях.

Основой для такого подхода в принятии управленческих решений является экономическое прогнозирование, призванное выявить общие перспективы и тенденции организационно-структурного развития, обеспечить сбалансированность краткосрочных и долгосрочных программ. При этом важно суметь обнаружить всю совокупность факторов и причин, определяющих функционирование и развитие исследуемой хозяйственной структуры [59].

Изменчивость производственно-экономических отношений, неустойчивость, концептуальная непоследовательность и неполнота законодательной базы, регулирующей эти отношения, приводят к тому, что временные ряды, представляющие многочисленные социально-экономические процессы, имеют короткую актуальную часть. Многие новые процессы социальной и производственной сферы представляются физически короткими рядами, поскольку ранее не являлись предметом статистического учета.

Наиболее полно теоретические концепции подходов к проблеме прогнозирования изложены в научных трудах Айвазяна С. А, Андерсена Т., Бендита Дж., Бокса Дж., Бриллинджера Д., Вучкова И., Демиденко Е. З., Дженкинса Г., Джонсона М., Кендэла М., Монтгомери Б., Мхитаряна B.C., Пирсола А., Степанова B.C., Стьюарта А., Уолкера Г., Чатфилда К.

К числу наиболее известных статистических пакетов, получивших распространение в России, относятся STATGRAPHICS, SPSS, SYSTAT, BMDP, SAS, CSS, STATISTICA, S-plus, CART, MVSP, Forecast Expert, Predictor, STADIA, ЭВРИСТА, МЕЗОЗАВР, ОЛИМП: СтатЭксперт, Статистик-Консультант, САНИ, КЛАСС-МАСТЕР, Deductor [3, 11, 12, 13, 18, 19, 126]. Однако они не могут быть эффективно использованы для прогнозирования процессов, представленных малым объемом статистического материала. Существующие системы прогнозирования представляют собой набор инструментальных средств анализа статистических данных и предлагают пользователям самим конструировать алгоритмы прогнозирования, что требует глубоких теоретических знаний в области статистики и эконометрики. Для подавляющего большинства реальных процессов, в силу их неустойчивости, невозможно построить эффективную процедуру автоматического выделения тренда из временного ряда. Многие алгоритмы используют для построения прогнозов предварительные оценки автокорреляционной функции, что само по себе представляет достаточно сложную задачу, учитывая необходимость выбора порядка модели и работы на коротких выборках [126]. К сожалению, почти все коммерческие программные продукты не содержат в себе элементы адаптивности и самообучения, несмотря на то, что техническая возможность и необходимый математический аппарат вполне достаточны [7].

В настоящих условиях развития экономики страны назрела необходимость повышения степени автоматизации процессов разработки прогнозов. Поэтому задача разработки алгоритмов и процедур повышения надежности и точности прогнозирования процессов, представленных короткими временными рядами, за счет автоматизации процессов экспертной квалификации прогнозов, выбора значений свободных параметров прогнозирующих описаний и обобщения результатов многоальтернативного прогнозирования, поставленная в данной диссертационной работе, является актуальной.

Целью работы является повышение точности и надёжности прогнозирования процессов с преобладающей детерминированной составляющей, представленных временными рядами с короткой длиной актуальной части, в условиях отсутствия априорной информации о вероятностных характеристиках процесса за счет повышения уровня автоматизации процедур построения адекватных формализованных описаний и их применения для решения задач прогноза.

Задачи исследования. Для достижения целей диссертационной работы необходимо решение следующих задач.

1. Разработать теоретические основы, позволяющие автоматизировать процесс экспертного сравнения вариантов прогнозирующей модели и выбора наилучшего, по мнению эксперта, варианта прогнозирующего описания изучаемого процесса.

2. Определить критерий качества прогнозирующей модели, позволяющий синтезировать описания, обладающие наибольшей прогностической силойразработать методы определения наилучшего значения свободного (структурирующего) параметра прогнозирующей модели.

3. Разработать альтернативные способы прогнозирования, учитывающие специфику совокупности актуальных процессов и методику обобщения прогнозов, полученных альтернативными моделями.

4. Разработать концепцию построения интеллектуальной автоматизированной системы поддержки прогнозирования (ИАСПП) процессов, представленных короткими временными рядами.

Методы исследования. При выполнении работы использовались теория вероятностей, математическая статистика, теория математического и статистического моделирования, методы вычислительной и прикладной математики, эвристическое и объектно-ориентированное программирование.

Научная новизна работы состоит в следующем:

1. Разработана теоретическая платформа для создания системы автоматизации процесса формирования экспертных заключений относительно качества прогноза процессов с целью повышения степени извлечения интуитивных знаний эксперта, основанная на исчислении формальных мнений.

2. Для определения наилучшего порядка модели, оценки точности и надежности прогноза предложено использовать методы тестовой последовательности фиксированной и оптимальной длины, а также способ автоматического уточнения наилучшего значения свободного параметра прогнозирующей модели посредством группирования последовательных результатов прогноза.

3. Разработан новый альтернативный способ прогнозирования, названный балансовой схемой, позволяющий учесть специфику совокупности актуальных процессов.

4. Предложена методика разработки прогноза, отличающаяся применением альтернативных прогнозирующих описаний, обеспечивающая наиболее полное использование информационного содержимого статистических данных за счёт консолидации альтернативных прогнозов.

5. Предложена концепция построения интеллектуальной автоматизированной системы поддержки прогнозирования (ИАСПП), функционирующей в автоматическом и полуавтоматическом режимах, включающая в себя экспертную систему, использующуюся для анализа результатов прогнозирования, а также адаптации алгоритмов определения свободных параметров прогнозирующих описаний и алгоритмов консолидации.

Практическая ценность. Результаты диссертации нацелены на повышение эффективности процессов разработки прогнозов процессов, представленных короткими временными рядами, и обеспечивают:

1) высокую надежность и точность прогноза процессов, представленных малыми объемами статистического материалавысокую скорость разработки прогноза;

2) высокую эффективность использования человеческого фактора в процессе разработки прогноза (экспертное сопровождение различных этапов прогнозирования);

3) формирование методологии систематического построения прогнозов.

Исследования, проведенные в рамках диссертационной работы, были применены при проектировании и внедрении системы Авгур v 1.1 прогнозирования процессов, представленных короткими временными рядами. Указанная система внедрена в деятельность Федеральной службы государственной статистики. Результаты диссертации успешно использованы при разработке прогнозов показателей занятости населения РФ в экономике страны, показателей производственного травматизма («Численность пострадавших с утратой трудоспособности на 1 рабочий день и более и со смертельным исходом, чел.», «Численность пострадавших со смертельным исходом, чел.», «Численность пострадавших с утратой трудоспособности на 1 рабочий день и более и со смертельным исходом в расчете на 1000 работающих», «Численность пострадавших со смертельным исходом в расчете на 1000 работающих», «Число дней нетрудоспособности у пострадавших с утратой трудоспособности на 1 рабочий день и более и со смертельным исходом в расчете на 1 пострадавшего», «Численность лиц с впервые установленным в отчётном году профзаболеванием») в РФ, процессов спроса и предложения на оптовом рынке электроэнергии.

Результаты диссертационной работы являются основой для проектирования и создания интеллектуальной автоматизированной системы поддержки прогнозирования (ИАСПП) процессов, представленных короткими временными рядами. Предложенные методы и алгоритмы позволяют наиболее эффективно строить подобные системы.

Разработанные методы и средства построения ИАСПП могут быть приняты за основу при создании современных программных инструментальных систем подобного типа.

Достоверность и обоснованность научных положений, результатов, выводов и рекомендаций, приведенных в диссертационной работе, обеспечиваются использованием надежных методов исследования и подтверждаются: корректностью использования адекватного математического аппаратасовпадением полученных результатов в частных случаях с известными в теории результатамихорошей апробацией материалов диссертацииуспешным внедрением результатов в практику разработки прогнозов социально-экономических процессов в РФ.

Реализация и внедрение результатов работы. Результаты диссертационной работы внедрены в деятельность Федеральной службы государственной статистики и используются для прогнозирования показателей занятости населения Российской Федерации (численность безработных, численность занятых в экономике, численность экономически активных и неактивных) — в учебный процесс студентов специальности 220 400, 351 400 в Рязанской государственной радиотехнической академии.

Программный продукт имеет свидетельство № 502 005 318 от 23.03.05 об официальной регистрации программы «Программная система прогнозирования процессов с детерминированной составляющей» (краткое название «Авгур» vl. l) для ЭВМ в Отраслевом фонде алгоритмов и программ (ОФАП) Государственного координационного центра информационных технологий Минобразования России.

Основные результаты, выносимые на защиту.

1. Основы исчисления формальных мнений — теоретическая платформа для создания системы автоматизации процесса формирования экспертных заключений относительно качества прогноза.

2. Алгоритм и программа определения наилучшего значения свободного (структурирующего) параметра модели методом тестовой последовательности оптимальной длины. Алгоритм и программа автоматического уточнения наилучшего значения свободного параметра прогнозирующей модели посредством группирования последовательных результатов прогноза.

3. Методика прогнозирования, учитывающая специфику совокупности актуальных процессов (балансовая схема).

4. Методика консолидации результатов альтернативных прогнозов.

5. Концепция построения интеллектуальной автоматизированной системы поддержки прогнозирования (ИАСПП), включающая в себя экспертную систему анализа результатов прогнозирования, а также адаптации алгоритмов определения свободных параметров прогнозирующих описаний и алгоритмов консолидации.

Апробация работы. По теме диссертации сделаны доклады на 8-ой, 9-ой и 10-й всероссийских научно-технических конференциях «Новые информационные технологии в научных исследованиях и в образовании», Рязань, 2003;2005 гг.- всероссийском конкурсе на лучшие научно-технические и инновационные работы творческой молодежи России по естественным наукам, Саратов, 2003 г.- 12-ой международной научно-технической конференции «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций», Рязань, 2004 г.- межвузовской научно-технической конференции студентов, молодых ученых и специалистов «Новые информационные технологии в учебном процессе и производстве», Рязань, 2004 г.- 5-ой межрегиональной научно-практической конференции «Современные информационные технологии в образовании», Рязань, 2004 г.- 5-ой всероссийской научно-технической конференции «Проблемы информатики в образовании, управлении, экономике и технике», Пенза, 2004 г.- 13-ой международной научно-технической конференции «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций», Рязань, 2004 г.- а также на научных семинарах кафедры ВПМ РГРТА.

Публикации. По теме диссертационной работы опубликовано 11 печатных работ, среди которых 2 статьи, 9 тезисов к докладам на международных и всероссийской научно-технических конференциях. Получено 1 свидетельство об официальной регистрации программы для ЭВМ.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы и пяти приложений. Основной текст содержит 154 страницы, 16 таблиц, 29 рисунков.

Список литературы

состоит из 137 наименований. Приложения выполнены на 15 страницах.

Основные результаты работы состоят в следующем.

1. Рассмотрены цели, этапы и методы анализа временных рядов. Дано описание наиболее распространенных линейных моделей для случайных компонент временных рядов. Подробно рассмотрены существующие системы анализа данных, а также пакеты анализа временных рядов.

2. Выявлены недостатки существующих систем анализа временных рядов. В связи с этим предложено использовать многоальтернативное прогнозирование, призванное компенсировать потенциальные ошибки частных прогнозов. Предложено использовать в качестве одного из альтернативных прогнозирующих описаний рекуррентную схему, позволяющую восстанавливать широкий класс процессов и осуществлять выделение детерминированной составляющей процесса в автоматическом режиме. Предложено разработать аппарат, позволяющий производить адаптацию алгоритмов выбора модели, оценки ее параметров и обобщения альтернативных прогнозов. Осуществлена классификация формальных описаний процессов, применимых для прогнозирования процессов, представленных короткими временными рядами.

3. Разработана теоретическая платформа для создания системы автоматизации процесса формирования экспертных заключений относительно качества прогнозирующих описаний и результатов прогнозов — теория исчисления формальных мнений. Доказаны теоремы о свойствах степеней положительной квадратной матрицы с нормализованными столбцами, о существовании предела её степени, о свойстве правильной матрицы парных сравнений. Дается определение формального мнения как произвольной PSCN-матрицы. Предложены альтернативные методы унификации и согласования формальных мнений. В процессе рассмотрения процедур согласования и унификации доказывается теорема о наилучшей процедуре в классе методов ранжирующего вектора. Определена метрика для вычисления различий между формальными мнениями и различными способами их согласования и унификации. На основе введённой метрики определяются операции ранжирования, отбраковки и классификации мнений. В процессе решения задачи ранжирования доказана теорема о расстоянии между частным мнением эксперта и исходным групповым мнением.

4. Разработаны альтернативные методы определения наилучшего значения структурирующего параметра модели (порядка рекуррентной схемы, степени полинома, порядка модели Бурга), основанные на использовании тестовой последовательности: метод последней точки, метод тестовой последовательности фиксированной длины, метод тестовой последовательности оптимальной длины. Введено понятие отношения однонаправленности тенденций, которое используется в качестве критерия качества прогноза, в соответствии с которым производится подбор свободного параметра для построения модели прогнозирования тенденций процесса. Определен векторный критерий, формируемый в составе аналитического приложения к результатам прогнозирования, предназначенный для экспертной оценки качества прогноза. Предложен способ автоматического уточнения наилучшего значения свободного параметра прогнозирующей модели посредством группирования последовательных результатов прогноза. Разработан альтернативный способ прогнозирования для случаев функционально связанных процессов — балансовая схема. Разработана методика получения консолидированного прогноза как результат обобщения прогнозов, полученных альтернативными моделями.

5. Предложена концепция построения интеллектуальной автоматизированной системы поддержки прогнозирования (ИАСПП) и сформулированы предъявляемые к ней требования. Предложена архитектура системы, функционирующей в двух режимах: автоматическом и полуавтоматическом (с экспертным сопровождением различных этапов прогнозирования). Дано подробное описание модулей системы и определено их функциональное назначение. Изложена концепция использования экспертной системы для анализа результатов прогнозирования, а также адаптации алгоритмов определения свободных параметров прогнозирующих описаний и алгоритмов консолидации. Предложена архитектура системы прогнозирования процессов с преобладающей детерминированной составляющей «Авгур», реализующей отдельные принципы, идеи и положения концепции построения ИАСПП. Приведены системные требования, общая структура программы, предложен интерфейс пользователя. Рассмотрены результаты внедрения системы прогнозирования процессов с детерминированной составляющей «Авгур» .

Эксплуатация системы «Авгур» показала, что предложенные алгоритмы и методы построения прогнозирующих описаний позволяют существенно повысить качество прогнозирования многих социально-экономических процессов. Ошибка прогноза по большинству приложений была уменьшена на 20−30%. Достигнута абсолютная точность прогнозирования знаков приращений рассмотренных процессов.

Результаты диссертационной работы могут использоваться в качестве основы для создания интеллектуальной автоматизированной системы поддержки прогнозирования (ИАСПП) процессов с детерминированной составляющей. Дальнейшее развитие положений диссертации может быть направлено на развитие и реализацию отдельных компонентов ИАСПП, в следующих направлениях:

1) создание системы формирования исходных данных на основе статистического материала;

2) построение иерархических многошаговых методов моделирования прогнозирования процессов;

3) разработка новых алгоритмов определения свободных параметров прогнозирующих описаний и консолидации результатов прогнозов;

4) создание информационной системы пополнения банков алгоритмов и моделейреализация системы управления архивами прогнозов и архивами протоколов прогнозирования;

5) разработка и реализация системы поддержки экспертных заключений о качестве прогноза и экспертной системы анализа результатов прогнозирования и адаптации алгоритмов;

6) развитие системы формирования отчетов в сторону расширения форматов представления результатов.

ЗАКЛЮЧЕНИЕ

.

Выполненная диссертационная работа включает исследования, направленные на разработку методов, алгоритмов и программ для решения задач, связанных с прогнозированием процессов с детерминированной составляющей, представленных малым объемом статистического материала, в условиях нестабильности экономики РФ. Предметными областями применения результатов диссертации явились: занятость населения РФ в экономике страны, производственный травматизм в РФ в разрезах отраслей экономики и территориального деления страны, оптовый рынок электроэнергии. В диссертации представлен тщательный анализ задач прогнозирования процессов, представленных короткими временными рядами, выявлены задачи, решение которых позволит повысить надежность и точность прогноза, а также сократить время на его разработку. Реализовано программное обеспечение для решения актуальных задач. В качестве иллюстрирующих примеров в работе приведены решения конкретных задач прогнозирования социально-экономических процессов в РФ, а именно показателей: численность безработных, численность занятых в экономике, численность экономически активных и неактивных.