Методы, алгоритмы и программные средства повышения эффективности работы порталов

Актуальность работы. Возросшие за последние десятилетия возможности информационных технологий и, в частности, сети Интернет, существенно изменили модель общения между отдельными людьми. Раннее казавшиеся нереальными возможности по оперативному и удобному способу обмена информацией стали стандартными сервисными услугами, предлагаемыми провайдерами за приемлемую для «среднего класса» плату. Это стало возможным в первую очередь благодаря значительному прорыву, в результате которого в течение последних двадцати лет технологии сети Интернет превратились из экспериментального проекта во всемирно распространенную общедоступную информационную среду.

Основная ценность Интернет заключается в уничтожении географических барьеров в распространении информации. Для доступа к тем или иным ресурсам для человека, имеющего подключение к сети, совершенно не важно его реальное местоположение. Количество узлов Интернет и число людей, имеющих постоянный доступ к сети непрерывно увеличивается. Согласно [39,42], на начало 2001 г. сетью, объединяющей свыше 110 млн. узлов, постоянно пользовались не менее 300 млн. человек. При этом считается, что количество людей, изредка имеющих доступ к Интернет, превышает последний показатель в несколько раз.

Наиболее распространенной услугой, предоставляемой Интернет, является система World Wide Web (WWW). Разработанный в 1990 году специалистом из CERN Tim Berners-Lee [17] способ организации данных посредством гипертекстовых ссылок HyperText Markup Language (HTML) оказался практичным и эффективным средством для объединения изначально разнородных данных в распределенной гетерогенной среде, которой и является Интернет.

Число документов в формате HTML, предоставленных в публичное пользование постоянно растет. Как показывают [29,43], объем информации, предоставляемой на отдельных узлах и доступных посредством сети Интернет, а также количество самих узлов непрерывно увеличиваются. Согласно [50], в начале 2000 года количество отдельных страниц в формате HTML в Интернет оценивалось примерно 1 млрд., к июлю 2000 г. их количество удвоилось и превысило 2.1 млрд., а в начале 2001 г. ожидается достижение отметки в 4 млрд. Ежедневно появляется более 7.3 млн. новых страниц.

В связи с возросшим количеством пользователей сети Интернет, оказалось выгодно применять новые способы обмена данными для реализации товаров и предоставления иных услуг. Для реализации данных функций потребовалось расширение возможностей традиционных серверов WWW, что, наряду с высокой конкуренцией, привело в конечном счете к появлению порталов.

Обширность пользовательской аудитории сети Интернет ставит новые требования к ее узлам. Для оптимального и эффективного использования имеющихся ресурсов, требуются новые, научное обоснованные методы, позволяющие повысить нагрузочную способность сервера и уменьшить время обработки запроса.

Портал является сложным программно-аппаратным комплексом, поэтому к нему применимы общие методы анализа вычислительных систем, рассмотренные в [47]. В то же время существуют определенные особенности, которые необходимо учитывать при оценке характеристик работы конкретного портала. Эти свойства могут и должны быть использованы для улучшения характеристик работы портала.

Создание и поддержка функционирования порталов является сложной задачей, требующей от исполнителя высокой и разносторонней квалификации [10,11,14]. Для упрощения этой задачи разработан специальный Программный Комплекс разработки Порталов (ПКП), предназначенный для создания и эксплуатации порталов. При разработке ПКП использовались методы теории массового обслуживания для расчета загрузки портала и применялись специальные эффективные алгоритмы обработки данных. В некоторых случаях применение известных алгоритмов было невозможно либо неэффективно, вследствие чего потребовалась адаптация имеющихся и разработка новых алгоритмов и методов, используемых для создания ПКП.

Актуальность исследования заключается в необходимости поиска путей и способов сокращения времени обработки заявок и повышения качества обслуживания пользователей порталов при современной востребованности сети Интернет. При этом необходимы поиск и разработка новых методов, математических моделей и алгоритмов с возможностью реализации их на практике при существующих аппаратных возможностях.

Цель работы. Повышение эффективности работы порталов путем разработки новых методов, алгоритмов и программных средств для оптимизации использования имеющихся программно-аппаратных ресурсов с сокращением времени обработки заявок.

Основными задачами работы являются:

1) исследование методов и алгоритмов, используемых в программном обеспечении проектирования и использования порталов;

2) построение математической модели портала как системы массового обслуживания;

3) разработка эффективных алгоритмов, приемлемых для автоматизированного использования в работе ПКП;

4) создание программных средств, использующих разработанные алгоритмы для оценки параметров работы портала;

5) экспериментальная проверка полученных результатов на примере реального портала.

Методы исследования. При решении поставленных задач использовались методы теории массового обслуживания и линейных стохастических систем, методики оценки эффективности алгоритмов и структур, используемых для обработки данных, методы математического моделирования.

Научная новизна. Разработка алгоритмов расчета характеристик порталов, пригодных для автоматизированного использования и расширяющих возможности применения теории массового обслуживания, а также новых алгоритмов кодирования данных.

Подтверждена обоснованность применения методов теории массового обслуживания для автоматизированного анализа характеристик работы порталов, как закрытой системы массового обслуживания терминального типа.

Предложены алгоритмы приближенной оценки характеристик работы системы массового обслуживания, позволяющие использовать для расчета входные данные, которые могут быть измерены в режимереального времени.

Произведен анализ точности предложенных алгоритмов в зависимости от исходных характеристик системы и даны рекомендации по выбору используемых коэффициентов.

Предложен новый способ кодирования данных в соответствии с форматом СБЯ.

Сформулирована и доказана теорема о представлении кортежа.

Практическая ценность. Полученные в работе результаты позволяют оптимизировать работу порталов, а также других сложных программно-аппаратных комплексов, обладающих сходными характеристиками, с сокращением времени кодирования и общего времени обработки заявки. Реализована возможность регулирования количества пользователей в зависимости от загрузки портала.

При проектировании новых и использовании имеющихся порталов применение полученных результатов позволяет:

1) автоматизированно обнаруживать «узкие» места в системе;

2) анализировать предполагаемые характеристики работы системы при изменении одного или нескольких входных параметров;

3) сократить сроки создания порталов, обладающих высокой надежностью и нагрузочной способностью за счет применения разработанных программных средств.

Реализация результатов работы. Результаты диссертационной работы нашли практическое применение при разработке ПКП на основе сервера приложений Baikonur в компании Epsylon Technologies. Созданы программные средства, позволяющие упростить процесс разработки портала со сложным информационным наполнением.

Созданные программные средства использовались при разработке портала EpsylonGames [36], что оптимизировало характеристики работы сервера и повысило качество обслуживания пользователей.

Апробация работы. Результаты, полученные в ходе проведения исследований, докладывались и обсуждались на III, IV и V Всероссийских научно-технических конференциях «Электроника и информатика» (МИЭТ) в 1998, 1999 и 2000 гг. По итогам конкурса, доклады, представленные на III Всероссийскую научно-техническую конференцию «Электроника и информатика», были отмечены дипломом второй степени.

В первом разделе показана доминирующая роль порталов среди остальных серверов. Дано определение сервера класса портал. Показана возможность применения методов теории массового обслуживания для оценки загрузки портала. Определены возможности по оптимизации работы портала и выбраны способы оценки имеющихся характеристик порталов и увеличения их производительности.

Во втором разделе приведены основные новые научные результаты, полученные при исследовании возможностей оптимизации работы портала.

Для оценки текущей загрузки портала использован алгоритм PAMI приближенной оценки характеристик системы массового обслуживания, основанный на методе анализа средних величин [41]. Выбор этого алгоритма аргументируется его наилучшими показателями времени расчета и пространства поиска решения относительно других алгоритмов приближенной оценки. Алгоритм РАМ1 является единственным неитеративным алгоритмом, поведение которого изучено и который обладает удовлетворительной точностью расчета. Показано, что алгоритм РАМ1 не может быть применен для оценки характеристик модели портала из-за недостаточности входных данных, требуемых для данного алгоритма.

На основе алгоритма РАМ1 предложено два новых алгоритма расчета выходных характеристик сети, РАМ1−81 и РАМ1−82. Алгоритмы РАМ1−81 и РАМ1−82 отличаются от алгоритма РАМ1 тем, что в качестве входных данных вместо требований к обслуживанию для каждого класса заявок используются величины, полученные усреднением между всеми заявками для каждого узла сети. Преимуществом алгоритмов РАМ1−81 и РАМ1−82 относительно РАМ1 является возможность непосредственного измерения всех входных параметров с высокой степенью точности. Недостатком является дополнительная методическая погрешность, которая вызывается сделанными предположениями.

В качестве входных данных, алгоритм РАМ1−82 требует указания коэффициентов зависимости требований заявок каждого класса от усредненного требования заявок всех классов, получаемого непосредственными измерениями. Даны рекомендации по выбору данных коэффициентов и приведена методика, позволяющая использовать в алгоритме РАМ1−82 любой набор неотрицательных коэффициентов.

Для повышения эффективности обмена информацией предложен новый способ кодирования данных сложной структуры в виде неструктурированного потока данных. В системе, поддерживающей функционирование портала, используется формат кодирования данных СБЯ, разработанный в рамках спецификации ССЖВА [28].

Формат СБЯ позволяет кодировать данные произвольной структуры в виде последовательности восьмиразрядных значений. Для обеспечения возможности использования этого формата на различных аппаратных платформах выдвигается требование выравнивания. При этом закодированные данные могут иметь разный вид при изменении начальной позиции в потоке, начиная с которой выполняется кодирование. Это требование не позволяет эффективно реализовать кодирование отдельных участков потока, например для распараллеливания обработки данных, а также требует перекодирования данных при объединении, либо разделении потоков. Перекодирование само по себе влечет дополнительные временные затраты, кроме этого для осуществления перекодирования требуется наличие информации о структуре потока, которая может иметь большой объем.

С целью улучшения характеристик процесса кодирования, разработан новый алгоритм кодирования, основанный на результатах теоремы, которая устанавливает необходимые и достаточные условия для того, чтобы закодированный вид некоторой подпоследовательности не зависел от ее положения в закодированном потоке. Предложен новый способ разбивки произвольной последовательности данных на небольшое количество подпоследовательностей, которые могут быть закодированы единожды и объединены далее для формирования произвольного неструктурированного потока.

В третьем разделе приведена сравнительная экспериментальная оценка точности результатов, получаемых при помощи алгоритмов РАМ1 и РАМ1−81. Произведен анализ зависимости величины ошибки от характеристик системы массового обслуживания.

Показана точность расчета алгоритма РАМ1−82 при различных способах выбора исходных коэффициентов. Сделан вывод о степени применимости коэффициентов различного вида для ПКП.

Исследована эффективность применения нового алгоритма кодирования данных. Показано повышение производительности процедуры кодирования и ПКП в целом, демонстрируется практическая выгода возможности распараллеливания обработки данных, получаемая вследствие применения нового алгоритма.

Экспериментальные оценки выполнены для большого количества случайно сгенерированных моделей с различными характеристиками.

В четвертом разделе показано практическое использование предложенных и разработанных методов и алгоритмов в ПКП, а также приведена оценка разработки реального портала Ерзу1опОате8 при внедрении ПКП.

В разделе общих выводов перечислены основные научные результаты, полученные в рамках диссертационного исследования.

ОБЩИЕ ВЫВОДЫ.

В рамках проделанной работы решены следующие задачи:

1. Выполнен анализ методов и алгоритмов, показаны возможности возможности повышения производительности порталов и перспективность ориентации на Интернет.

2. Создана математическая модель портала как системы массового обслуживания.

3. Предложены алгоритмы РАМ1−81 и РАМ1−82, допускающие автоматизированный расчет характеристик портала на основании входных данных, измеренных непосредственно системой.

4. Предложен алгоритм кодирования данных в соответствии с форматом СБЫ, позволяющий сократить время обработки заявки.

5. Сформулирована и доказана теорема о представлении кортежа.

6. Произведена экспериментальная оценка методической погрешности алгоритмов РАМ1−81 и РАМ1−82.

7. Предложена методика отыскания коэффициентов для алгоритма РАМ1−82, выполнен поиск данных коэффициентов применительно к ПКП.

8. Получено сокращение времени кодирования и обработки заявки с использованием распараллеливания обработки данных.

9. Экономическая эффективность разработки выражается в сокращении времени кодирования на 14% и общего времени обработки.

88 заявки в среднем на 3%, что повышает нагрузочную способность портала на данном аппаратном обеспечении.

10. Реализована возможность регулирования количества пользователей в зависимости от загрузки портала, определяемой алгоритмом РАМ1−82.

11. Показано практическое применение ПКП при разработке и вводе в эксплуатацию реального портала ЕрзуЬпОатеБ.

12. Основные положения и результаты исследования подтверждены «Актом внедрения результатов диссертационной работы» от 18 мая 2001 г. и «Актом внедрения программного комплекса разработки порталов» от 18 мая 2001 г.