Исследование и разработка программного комплекса системного сопровождения вычислений для вычислительной системы с автоматическим распределением ресурсов

Актуальность темы

диссертации.

Современные высокопроизводительные вычислительные системысуперЭВМ — играют значительную роль в ключевых областях науки и техники. Традиционная сфера применения суперЭВМ — научные вычисления. Например, в физике — статистическая механика, газовая динамика, исследование свойств плазмы, астрофизика. В химии — молекулярная динамика, квантовая химия, конструирование лекарств. Значительные исследования с применением суперЭВМ проводятся в области биологии — например, исследование генома человека. В области метеорологии с помощью суперЭВМ делаются попытки долгосрочного прогнозирования погоды. Решение ряда инженерно-технических задач также требует использования суперЭВМ. Среди них — задачи аэрокосмической и автомобильной индустрии, ядерной энергетики, поиск месторождений полезных ископаемых, конструирование новых ЭВМ.

Таким образом, в настоящее время научно-технический потенциал любого государства в значительной степени определяется уровнем развития высокопроизводительных вычислительных систем. Для решения фундаментальных задач науки и техники создаются многопроцессорные суперкомпьютеры с производительностью 1012−1015 операций в секунду, которая достигается благодаря распараллеливанию вычислительных процессов [9, 16]. Дальнейшее повышение производительности возможно как за счет увеличения количества содержащихся в вычислительной системе процессоров или машин, так и за счет поиска более эффективных методов распараллеливания вычислений [6, 8, 56].

В настоящее время во всем мире основное внимание уделяется созданию кластерных и массивно-параллельных систем на основе процессоров общего назначения. По данным сайта www. top500.org, на июнь 2006 года 73% списка Тор500 составляли кластеры [12], 20% - массивно-параллельные системы. Для создания 93% систем списка Тор500 были использованы процессоры общего назначения производства фирм Intel, IBM и AMD. Производительность подобных систем сильно зависит от класса решаемых задач. Так, на задачах пакета UNPACK лучшие из современных суперЭВМ показывают максимальную производительность, равную 60−80% от пиковой производительности. Вместе с тем, на многих реальных задачах их производительность существенно ниже и может составлять 10−20% от пиковой производительности [13, 64, 70]. Основными причинами этого являются:

• Сложность балансировки нагрузки на блоки вычислительной системы.

• Высокие накладные расходы на синхронизацию вычислительных процессов.

• Низкая эффективность механизмов кэширования данных при определенных схемах доступа к памяти (например, при нерегулярном доступе к данным или при частом доступе к глобальным данным из параллельно выполняющихся вычислительных процессов).

Для того чтобы обойти ограничения, присущие традиционным архитектурам высокопроизводительных вычислительных систем, во всем мире делаются попытки исследования и создания новых, нетрадиционных архитектур: асинхронных, реляционных, рекурсивных, функциональных, потоковых и других. Весьма перспективными являются архитектуры, основанные на модели вычислений, управляемых потоком данных, работа над которыми проводилась и проводится во многих странах мира, в том числе, в США, Японии, Великобритании и России. Одним из важнейших достоинств потоковых архитектур является возможность автоматического распараллеливания вычислений и балансировки загрузки процессоров [4].

В отделе «Проблем построения информационно-вычислительных систем высокого параллелизма» Института проблем информатики Российской академии наук под руководством академика [B.C. Бурцева! были разработаны новые принципы организации вычислительного процесса и на их основе создана вычислительная система с автоматическим распределением ресурсов.

ВСАРР), использующая гибридную модель вычислений, управляемых потоком данных, с динамически формируемым контекстом [5]. Для данной системы завершен этап имитационного моделирования и первый этап макетирования. Создана блочно-регистровая поведенческая модель системы, на которой исследовано прохождение ряда вычислительных задач, частично проработана поддержка виртуальной памяти и многозадачного режима работы. Ведется подготовка к созданию макета второй очереди, который будет полностью поддерживать виртуальную память и многозадачный режим работы. Разработаны инструментальные средства, позволяющие вести программирование для ВСАРР с использованием как языка ассемблера, так и языка повышенного уровня. Таким образом, уже можно говорить о перспективах применения созданных и создаваемых моделей и макетов в качестве «испытательной лаборатории» для исследования различных научно-технических решений, отработки подходов к практическому применению ВСАРР.

Эффективность практического применения высокопроизводительного вычислительного комплекса во многом зависит от его операционной системы. Основными функциями операционной системы являются [10]:

• Управление задачами.

• Управление памятью.

• Организация ввода-вывода.

• Поддержка файловой системы.

Как правило, при выполнении своих функций операционная система полагается на имеющиеся в ее распоряжении аппаратные средства, так что структура и алгоритмы работы операционной системы в значительной степени зависят от структуры и алгоритмов работы аппаратных средств [24].

Необходимо заметить, что модель вычислений, которая положена в основу ВСАРР, и архитектура ВСАРР обладают рядом принципиальных отличий от моделей вычислений и архитектур других вычислительных систем. Поэтому не представляется возможным использовать для организации вычислений в ВСАРР какую-либо из существующих операционных систем (пусть даже с некоторыми доработками). С другой стороны, некоторые из функций операционной системы являются в значительной степени нейтральными по отношению к модели вычислений и архитектуре ВСАРР. Например, механизмы удаленного доступа к вычислительной системе, реализованные во всех современных операционных системах, лишь в малой своей части привязаны к конкретным аппаратным средствам.

В данной диссертационной работе решается проблема создания программного комплекса системного сопровождения вычислений для вычислительной системы с автоматическим распределением ресурсов. Разрабатываемый программный комплекс предназначен для организации многозадачного многопользовательского режима работы ВСАРР с возможностью удаленного доступа к ВСАРР. Программный комплекс обеспечивает возможность одновременной работы с ВСАРР большого количества пользователей, которые могут запускать на ВСАРР различные вычислительные задачи. Программный комплекс выполняет те функции операционной системы, которые являются зависимыми от модели вычислений и архитектуры ВСАРР — управление задачами, управление памятью, ввод-вывод исходных данных и результатов вычислений. При этом остальные функции ввода-вывода и поддержка файловой системы возлагаются на обычную операционную систему — такую, как Windows или Linux, что позволяет существенно сократить размер и сроки создания программного комплекса.

Цель и задачи работы.

Настоящая диссертационная работа посвящена исследованию и разработке принципов организации вычислений с использованием вычислительной системы с автоматическим распределением ресурсов и созданию программного комплекса системного сопровождения вычислений для ВСАРР, позволяющего организовать эффективное практическое применение ВСАРР в составе традиционной вычислительной среды.

Для достижения поставленной цели в работе решаются следующие основные задачи:

1) Анализ различных вычислительных систем с моделью вычислений, управляемых потоком данных, с точки зрения роли системного программного обеспечения при организации вычислений.

2) Исследование модели вычислений и архитектуры вычислительной системы с автоматическим распределением ресурсов.

3) Разработка принципов функционирования и структуры программного комплекса системного сопровождения вычислений для ВСАРР.

4) Реализация компонентов программного комплекса системного сопровождения вычислений для ВСАРР.

5) Исследование выполнения различных программ на инструментальном испытательном комплексе ВСАРР с использованием программного комплекса системного сопровождения вычислений для ВСАРР.

Объект и предмет исследования.

Объектом исследования является вычислительная система новой нетрадиционной архитектуры — вычислительная система с автоматическим распределением ресурсов, а также ее математическое обеспечение. Предметом исследования является программный комплекс системного сопровождения вычислений для ВСАРР.

Методы исследования.

Исследования проводились с использованием основных положений теории параллельных вычислений, теории высокопроизводительных вычислений и теории построения операционных систем. Реализация программного комплекса системного сопровождения вычислений для ВСАРР велась с применением компонентного подхода.

Научная новизна.

Впервые предложены программные средства, позволяющие организовать эффективное практическое применение ВСАРР в составе традиционной вычислительной среды.

Основные научные результаты работы таковы:

1) Предложены принципы функционирования программного комплекса системного сопровождения вычислений для ВСАРР, в том числе, принципы планирования задач в многозадачном режиме работы ВСАРР и принципы организации программной поддержки виртуальной памяти ВСАРР.

2) Предложена структура программного комплекса системного сопровождения вычислений для ВСАРР, позволяющая организовать многозадачный многопользовательский режим работы ВСАРР.

3) Созданы программные интерфейсы доступа к ВСАРР, позволяющие обеспечить удаленный доступ к ВСАРР и упростить интеграцию ВСАРР в традиционную вычислительную среду.

4) Исследовано выполнение различных программ на инструментальном испытательном комплексе ВСАРР с использованием программного комплекса системного сопровождения вычислений для ВСАРР, подтверждена работоспособность программного комплекса и получены оценки его эффективности.

Практическая значимость.

Практическая значимость работы заключается в следующем:

1) Реализован программный комплекс системного сопровождения вычислений для ВСАРР.

2) Разработаны и апробированы различные способы доступа пользователей к программному комплексу системного сопровождения вычислений для ВСАРР.

3) Создана интегрированная среда разработки программ для ВСАРР.

4) Создан ряд прикладных программ для ВСАРР.

Положения, выносимые на защиту.

1) Разработанные методы планирования задач в многозадачном режиме работы ВСАРР и программные механизмы поддержки виртуальной памяти ВСАРР.

2) Разработанная структура программного комплекса системного сопровождения вычислений для ВСАРР.

3) Разработанные программные интерфейсы доступа к ВСАРР.

4) Исследование выполнения различных программ на инструментальном испытательном комплексе ВСАРР с использованием программного комплекса системного сопровождения вычислений для ВСАРР.

Реализация результатов работы.

Разработанные научно-технические решения были реализованы в Институте проблем информатики РАН в ходе исследования и разработки вычислительной системы с автоматическим распределением ресурсов, прошли апробацию на инструментальном испытательном комплексе ВСАРР и вошли в состав инструментального испытательного комплекса.

Апробация работы.

Основные положения и результаты работы докладывались и обсуждались на научных семинарах в ИЛИ РАН в 2003;2007 гг., а также на конференциях и научных форумах: на международной научной конференции «Искусственный интеллект — 2004. Интеллектуальные и многопроцессорные системы — 2004» (пос. Кацивели, Крым, 2004), на «II Научной сессии Института проблем информатики Российской академии наук: Проблемы и методы информатики» (Москва, 2005), на международной научно-технической конференции «Интеллектуальные и многопроцессорные системы — 2005» (пос. Дивноморское, 2005), на научно-практическом семинаре «Новые информационные технологии в автоматизированных системах» (Москва, 2006).

Исследование разработанных методик, алгоритмов и программных решений проводилось в Институте проблем информатики РАН на инструментальном испытательном комплексе ВСАРР.

Структура и объем диссертации

.

Диссертационная работа состоит из введения, четырех глав, заключения и списка литературы. Общий объем диссертации составляет 138 страниц.

Основные результаты диссертационной работы таковы:

1) Проведено исследование ранее разработанных потоковых архитектур и моделей вычислений, определены их основные недостатки.

2) Предложены принципы функционирования программного комплекса системного сопровождения вычислений для ВСАРР, в том числе, принципы планирования задач в многозадачном режиме работы ВСАРР и принципы организации программной поддержки виртуальной памяти ВСАРР, учитывающие аппаратные механизмы функционирования многозадачного режима работы и виртуальной памяти ВСАРР.

3) Предложена структура программного комплекса системного сопровождения вычислений для ВСАРР, позволяющая организовать многозадачный многопользовательский режим работы ВСАРР.

4) Созданы программные интерфейсы доступа к ВСАРР, позволяющие обеспечить удаленный доступ к ВСАРР и упростить интеграцию ВСАРР в традиционную вычислительную среду.

5) Реализован программный комплекс системного сопровождения вычислений для ВСАРР, создана интегрированная среда разработки для ВСАРР.

6) Проведено исследование выполнения различных программ на инструментальном испытательном комплексе ВСАРР с использованием программного комплекса системного сопровождения вычислений для ВСАРР, подтверждена работоспособность программного комплекса и получены оценки его эффективности.

Исходя из результатов диссертационной работы, дальнейшие исследования целесообразно вести в направлении уточнения методов планирования задач и способов организации обменов между ООЗУ и дисками. Также необходимо проведение дополнительных исследований с целью определить оптимальные параметры разработанных алгоритмов планирования задач и откачки данных из ООЗУ в дисковую память.

ЗАКЛЮЧЕНИЕ

.