Информационное обеспечение оценки качества программного продукта при управлении процессом тестирования технической документации

Обязательным условием разработки любого программного продукта (ПП) является наличие заказчика (потребителя), а цель разработкиформируют его требования. Потребителей условно можно разделить на конкретного заказчика, который знает какой должен быть «релиз» ПП и массового потребителя, неопределенного в своих требованиях, а соответственно и в качестве желаемого продукта. Следствие такого разделения приводит к делению понятия качества ПП на «качество разработчика ПП» и «качество пользователя ПП». Качество разработчика ПП.

При ориентации разработчика на конкретного заказчика, качество ПП регулируется степенью формализации требований, количеством ошибок в коде программы, временем выполнения заказа. Количество ошибок в коде программы и время выполнения заказа зависит от освоенных разработчиком технологий программирования, стандартов, методов тестирования, т. е. качество разработчика ПП определяется качеством нормативной документации и методами контроля её исполнения. Качество разработчика ПП понятие далеко не новое, количество предлагаемых стандартов, технологий разработки программного обеспечения, методов его тестирования очень большое, как показывает практика, многие производители, утверждая свою позицию, приводят статистику ошибок на количество строк в программном коде. Обширный анализ данной области можно найти в трудах профессора Липаева В. В. [36−42], стандартах ИСО и др. источниках, тем не менее, диаграмма доходов российского рынка от средств автоматизированного тестирования программного обеспечения (рис. 1)[3] показывает преобладание зарубежных компаний в силу перечисленных ниже сложностей. Проблемы достижения качества разработчика ПП.

• Несовершенство методов формализации требований заказчика при подготовке технического задания на создание программных комплексов и информационных проектов.

• Избыточность номенклатуры документов предлагающей стандартизированные и нормативные подходы для реализации различных информационно-технических решений и концепций.

• Многообразие узко направленных методов тестирования 1111, приводящих к увеличению времени ввода в эксплуатацию.

Решение обозначенных проблем повысит рыночную долю российского производителя ПЛ.

Ш Mercury Interactive.

Rational.

Compuware.

Segue Software 0 Empirix.

Ш RadView Software.

Borland Software.

McCabe & Associates.

Quest Software.

Telelogic.

Другие.

Рис. 1. Доходы российского рынка средств автоматизированного тестирования программного обеспечения.

Качество пользователя ПП.

Хорошо известная фраза разработчиков ПП «потребитель сам не знает, что хочет», раскрывает массового потребителя как непараметрический объект, динамически изменяющий свои свойства во времени, делая неполноценным понятие качество ПП, показывая слабую изученность данной области. Причинами такого явления могут быть: большой масштаб областисубъективность мнений, порождающая сложные высококоррелированные связиплохо адаптированные для информационных технологий закономерности изменения функции качества и в следствие плохая предсказуемость.

400 350 300 250 200 150 100 50 0.

Mercury Interactive Rational.

Compuware Segue Software Empirix.

RadVew Software Borland Software McCabe & Associates Quest Software Telelogic Другие.

Однако, являясь прибыльной и важной с позиции государства, заинтересованного в повышении качества информатизации страны, затрагивающая практически все отрасли область, требует более детального изучения. Наиболее близкими к качеству 1III с позиции потребителя, автору видятся методы определения качества японских ученых [14, 19, 32].

Массовый потребитель не обращается к разработчику, а ждет его предложений, которые могут его удовлетворить. Сложно определить границы требуемого качества, складывается ощущение независимости от потребителя, но проблемы определенные ниже, с которыми сталкиваются и разработчик, и массовый пользователь, отрицательно сказываются на качестве ПЛ.

Проблемы достижения качества пользователя ПП.

• Сильная коррелированность метрик характеризующих программный продукт, факторов и закономерностей, определяющих качество программного обеспечения.

• Несовершенство методов формализации требований заказчика при подготовке технического задания на создание программных комплексов и информационных проектов.

• Почти полное отсутствие автоматизированных методов определения метрик характеризующих качество ПП, их взаимосвязанности, важности (избыточности) для пользователя.

• Отсутствие комплексной методологии оценки качества ПП, при огромном количестве 1111 направленных на выполнение одинаковых функций.

• Неопределенность понятий «качественный ПП», «качественный процесс разработки ПП», «качественная ИС», в силу абстракции стандартов, регламентирующих понятие «качество», прозрачной для особенностей Г1Г1.

Отмеченные недостатки качества разработчика ПП и качества пользователя ПП определяют нишу диссертационного исследования. Актуальность, которой подчеркивают действия российских и зарубежных фирм по созданию дорогостоющих отделов, решающих эти вопросы.

На практике исследование проводится с сервисными ППотвечающими за автоматизацию обслуживания ЭВМ, в частности файловыми менеджерами.

Цель исследования — повышение эффективности процессов принятия решения о качестве программного обеспечения для пользователя в сервисных сферах применения продуктов на основе разработки и автоматизации процедур определения и формализации семантического представления программного продукта.

В соответствии с поставленной целью в диссертации решены следующие задачи.

• Системный анализ основных факторов и закономерностей, определяющих качество программного обеспечения.

• Разработка моделей автоматизированных процедур: выбор нормативных документов для определения показателей качества, формализация требований заказчика, определение корреляции метрик характеризующих программный продукт (ПП), принятие решений о качестве ПО с учетом предпочтений пользователя.

• Разработка информационного и программного обеспечения реализующего методику частотно-контекстного определения семантики документа, структурирования функций качества, сбора и обработки статистики необходимой в принятии решения о качестве программного продукта.

• Разработка парадигмы оптимизации тестирования программного обеспечения фрагментированных процессов разработки.

Методами исследования являются принципы системного анализа, теории управления качеством, методы классификации, квалиметрии, математического моделирования, теории графов, теории автоматов, математической статистики, теории принятия решений, методы прикладного программирования.

Научная новизна состоит в том, что разработанная модель, метод и алгоритмы позволяют эффективнее решать задачи обеспечения качества ПО с позиции конечного пользователя по количественным и качественным оценкам.

• Разработана методика автоматизированной градации стандартов, в которой предлагается ранжировать нормативные документы, используя автоматизированные методы распознавания контекстных образов основанные на графовых моделях.

• Произведена автоматизация структурирования функции качества ПО с целью определения весовых коэффициентов, корреляций и свертывания показателей качества с учетом требований заказчика.

• Разработана методика оптимальных статистических решений распределения метрик качества ПО, необходимая для выбора базовых (эталонных) показателей качества.

• Обоснованы методы воздействия на лицо принимающее решение.

ЛПР), и механизмы адаптации, улучшающие качество выбора, при построении автоматизированных процедур оценивания программного * продукта.

Результаты исследования.

Основные теоретические результаты подтверждены экспериментально при физическом моделировании, а также при внедрении основных выводов и положений диссертационной работы. Правительство Санкт-Петербурга отметило важность полученных результатов, оказывая материальную л поддержку в виде гранта.

Основные положения диссертации, разработанные модели, рекомендации и методики использованы и внедрены в учебном процессе Санкт-Петербургского государственного университета аэрокосмического приборостроения, на холдинговой компании «Ленинец», ОАО «Авангард», ЗАО «Пантес». Программа автоматизации структурирования функции качества является официально зарегистрированным программным продуктом I" в российском фонде алгоритмов и программ.

Основные результаты исследования по теме диссертации отражены в 11 печатных работах.

Структура диссертации.

Диссертация состоит из введения, четырех глав, заключения, списка используемых источников и приложения. Общий объем работы составляет 181 страницу, в том числе 73 рисунка, 24 формулы, 21 таблица, список I используемых источников из 136 наименований.

Выводы.

Результаты экспериментальных исследований успешно подтвердили выдвинутые ранее теоретические положения. Тестирование программной реализации разработанного метода и алгоритмов показало высокую точность и корректность полученных значений.

Вместе с тем, стоит отметить сложность оценки полученных результатов, и значительное влияние субъективной составляющей, присутствующей при оценке. Отчасти это вызвано характером и особенностью решаемых в данной работе задач, отчасти отсутствием формализованных методик оценки подобных исследований. Разработка таких методик может значительно упростить анализ результатов и однозначно определить их корректность и точность.

ЗАКЛЮЧЕНИЕ

.

В работе рассмотрены теоретические и практические вопросы решения задачи автоматизации принятия решения о качестве ПП. Можно выделить следующие основные результаты, полученные в диссертации:

• Проведен системный анализ основных факторов и закономерностей, определяющих качество программного обеспечения.

• Разработаны модели: выбора нормативных документов для определения показателей качества, формализация требований заказчика, определение корреляции метрик характеризующих программный продукт (ПП), принятие решений о качестве ПО с учетом предпочтений пользователя.

• Разработано программное обеспечение реализующего методику частотно-контекстного определения семантики документа, структурирования функций качества, сбора и обработки статистики необходимой в принятии решения о качестве программного продукта.

• Предложена парадигма оптимизации тестирования ПП фрагментированных процессов разработки.

Разработанная модель, метод и алгоритмы позволяют значительно повысить точность и адекватность анализа ПП. Их реализация применительно к решению задач позволяет значительно повысить качество и эффективность ПП. Программное обеспечение, разработанное в рамках диссертационной работы, нашло свое применение в ряде инженерных проектов, ориентированных на решение задач консалтинга и информационно-справочного обеспечения.

Разработанный аппарат исследования позволяет на основании проверенных оценок показателей формальных показателей провести объективный выбор конкретного ПО, отвечающего индивидуальным требованиям потребителя.

Основные положения и отдельные результаты работы докладывались и обсуждались на 6 международных и 8 российских конференциях. Правительство Санкт-Петербурга отметило важность полученных результатов, оказывая материальную поддержку в виде гранта. Принималось участие в подготовке заключения о перспективе развития проекта «Консалтинг производителей программного обеспечения» СПИИРАН, 2005 г. Прототип инновационной коммерческой системы на основе результатов диссертационной работы был представлен в фонд Бортника по программе СТАРТ 2005 и рекомендован для следующего этапа конкурсного отбора.