Дипломы, курсовые, рефераты, контрольные...
Срочная помощь в учёбе

Разработка и исследование методов построения регрессионных моделей на основе алгоритма опорных векторов и его модификаций

Диссертация: Разработка и исследование методов построения регрессионных моделей на основе алгоритма опорных векторов и его модификаций
ДиссертацияПомощь в написанииУзнать стоимостьмоей работы

При построении регрессионных моделей изначально в БУМ использовалась функция потерь Вапника, которая представляет собой расширение функции потерь Лапласа путем добавления зоны нечувствительности. В последствии Дж. Сайкенсом было предложено расширение БУМ, где использовалась квадратичная функция потерь (Гаусса). Данная модификация БУМ получила название иЗ-БУМ. Подробное исследование ЬЭ-ЭУМ в… Читать ещё >

Содержание

  • ГЛАВА 1. ПОСТАНОВКА ЗАДАЧ ИССЛЕДОВАНИЯ
    • 1. 1. Задача построения математической модели явления
    • 1. 2. Теория машинного обучения
      • 1. 2. 1. Машинное обучение и связанные с ним проблемы
      • 1. 2. 2. Принцип минимизации структурного риска
    • 1. 3. Алгоритм опорных векторов как метод построения непараметрической регрессии
      • 1. 3. 1. Алгоритм опорных векторов
      • 1. 3. 2. Двойственная задача БУМ
      • 1. 3. 3. Вычисление параметра смещения
    • 1. 4. Разреженность решения
    • 1. 5. Нелинейная регрессия на основе БУМ
    • 1. 6. Обзор подходов к решению оптимизационной задачи
    • 1. 7. Выбор гиперпараметров алгоритма ЭУМ
    • 1. 8. Исторический обзор
    • 1. 9. Выводы
  • ГЛАВА 2. КОНСТРУИРОВАНИЕ ДВОЙСТВЕННОЙ ЗАДАЧИ БУМ С АДАПТИВНЫМИ ФУНКЦИЯМИ ПОТЕР
    • 2. 1. Построение квазиоптимальных функций потерь
      • 2. 1. 1. Функции потерь
      • 2. 1. 2. Функционал риска
      • 2. 1. 3. Метод максимального правдоподобия и модели плотностей
    • 2. 2. Робастные функции потерь в условиях асимметричных засорений
    • 2. 3. Конструирование двойственной задачи 8УМ
      • 2. 2. 1. Двойственная задача для классических функций потерь
      • 2. 2. 2. Двойственная задача для адаптивных функций потерь
      • 2. 2. 3. Решение двойственной задачи с динамическими ограничениями
      • 2. 2. 4. Альтернативный подход к построению двойственной задачи для адаптивной функции потерь
    • 2. 4. Исследования
    • 2. 5. Выводы
  • ГЛАВА 3. КОНСТРУИРОВАНИЕ ДВОЙСТВЕННОЙ ЗАДАЧИ SVM С АСИММЕТРИЧНЫМИ ФУНКЦИЯМИ ПОТЕР
    • 3. 1. Скошенные распределения и их моделирование
    • 3. 2. Конструирование квазиоптимальных функций потерь на основе линейно-квадратичных аппроксимаций для использования их в SVM
    • 3. 3. Конструирование двойственной задачи для случая асимметричных функций потерь в SVM
    • 3. 4. Исследования
    • 3. 5. Оценка параметра скошенности распределения
    • 3. 6. Квантильная регрессия на основе SVM
    • 3. 7. Построение доверительных интервалов
    • 3. 8. Оценка неизвестной дисперсии ошибок наблюдений
    • 3. 9. Выводы
  • ГЛАВА 4. ПОСТРОЕНИЕ РАЗРЕЖЕННЫХ РЕШЕНИЙ
    • 4. 1. Задача построения компактной модели регрессии
    • 4. 2. Функция 8-нечувствительности Вапника и разреженные решения
    • 4. 3. Использование адаптивных функций потерь для получения разреженных решений
    • 4. 4. Метод «решето» Лапласа
    • 4. 5. Двухшаговый метод аппроксимации
    • 4. 6. Разреженность в условиях гетероскедастичности ошибок наблюдений
    • 4. 7. Исследования
    • 4. 8. Выводы
  • ГЛАВА 5. ПРИМЕНЕНИЕ SVM В ЗАДАЧАХ ПОСТРОЕНИЯ ЗАВИСИМОСТЕЙ
    • 5. 1. Построение параметрических моделей на основе SVM
    • 5. 2. Построение полупараметрических моделей на основе SVM
    • 5. 3. Построение регрессии в условиях гетероскедастичности ошибок наблюдений
    • 5. 4. Построение регрессии в условиях мультиколлинеарности данных
    • 5. 5. Построение регрессии в условиях автокорреляции ошибок наблюдений
    • 5. 6. Выбор параметров алгоритма SVM
    • 5. 7. Применение метода SVM в прикладных задачах
      • 5. 7. 1. Анализ экспериментальных данных химического производства
      • 5. 7. 2. Анализ выборки «LIDAR»
      • 5. 7. 3. Анализ выборки «Motorcycle»
      • 5. 7. 4. Анализ выборки «Boston Housing»
    • 5. 8. Выводы

Разработка и исследование методов построения регрессионных моделей на основе алгоритма опорных векторов и его модификаций (реферат, курсовая, диплом, контрольная)

Современное состояние и актуальность темы исследований. Одной из важнейших задач, стоящих перед современной наукой, является моделирование сложных систем на основе наблюдения их взаимодействия с окружающим миром. Моделирование необходимо для того, чтобы выбрать структуру и параметры модели сложного объекта (задача идентификации) и определить соответствующие средства активного воздействия на него (задача управления) или, если мы не располагаем такими средствами в полной мере, чтобы узнать, что можно ожидать от объекта в будущем (задача прогнозирования или экстраполяции).

Задача восстановления зависимости по эмпирическим данным была и, вероятно, всегда будет одной из главных в прикладном анализе. Эта задача является математической интерпретацией одной из основных проблем естествознания: как найти существующую закономерность по разрозненным фактам.

В наиболее простой постановке проблема построения регрессионной модели состоит в восстановлении функции по ее значениям в некоторых точках. Существуют различные варианты конкретизации постановки этой задачи. Они основаны на разных моделях измерения с ошибками. Однако каковы бы ни были эти модели, изучение этой задачи приводит к утверждению следующего классического принципа восстановления функциональных зависимостей по эмпирическим данным: следует из допустимого множества функций выбирать такую, которая наилучшим образом описывает совокупность имеющихся эмпирических данных.

Этот принцип является достаточно общим. Он оставляет свободу в толковании того, что является мерой качества приближения функции к совокупности эмпирических данных. Возможны различные определения меры, такие, например, как величина среднеквадратичного отклонения значений функции, величина среднего отклонения, величина наибольшего отклонения и т. д. Каждое определение меры порождает свой метод восстановления зависимости (метод наименьших квадратов, наименьших модулей и т. д.). Однако во всех случаях принцип отыскания решения — поиск функции, наилучшим образом описывающей эмпирические данные, — остается неизменным.

В более общей постановке проблема восстановления зависимости приводит к задаче подбора модели оптимальной сложности. Изначально данная задача была как бы внешней и не встраивалась сразу в одну общую задачу. Примером нового подхода является подход по самоорганизации моделей, в свое время развитый школой А. Г. Ивахненко [17], а впоследствии и А. А. Поповым [23, 24], принесшим в него идеи оптимального планирования эксперимента, в частности, разбиения выборки на обучающую и проверочную, в целом — идею активной структурной идентификации. Пожалуй, одним из первых подходов, когда организуется одна общая задача, в параметрическом случае является метод LASSO, предложенный Р. Тибширани [101]. В непараметрическом случае одним из подходов является алгоритм опорных векторов (Support Vector Machines — SVM).

SVM является одним из сравнительно новых и многообещающих методов для построения регрессионных моделей и классификации данных. SVM — это оформившийся к 1990;м годам результат работ В. Н. Вапника [8, 9] и.

A. Я. Червоненкиса, начатых в 70-е годы прошлого столетия. Данный метод основан на теории статистического обучения [104]. Изначально SVM был использован для решения задачи классификации данных. Позже, в 1996 году.

B. Вапником, X. Драккером, К. Берджесом, Л. Кауфман и А. Смолой была предложена модификация SVM применительно к задаче построения регрессионных моделей [59]. Метод SVM активно развивался в последующие годы такими учеными как А. Смола, Дж. Сайкенс, К. Кортес, Т. Джоагимс и др.

За небольшой промежуток времени алгоритм опорных векторов был использован для решения задач классификации данных и восстановления зависимостей во многих областях. Особенно успешным его применение было в таких областях как распознавание лиц [81], категоризация текстов [72], построение регрессионных моделей [59, 88, 94, 51], предсказание временных рядов [80] и распознавание рукописных символов [89]. Достаточно подробный анализ алгоритма опорных векторов можно найти в [53, 88, 104].

При построении регрессионных моделей изначально в БУМ использовалась функция потерь Вапника, которая представляет собой расширение функции потерь Лапласа путем добавления зоны нечувствительности. В последствии Дж. Сайкенсом было предложено расширение БУМ, где использовалась квадратичная функция потерь (Гаусса) [98]. Данная модификация БУМ получила название иЗ-БУМ. Подробное исследование ЬЭ-ЭУМ в — задаче построения регрессионных моделей было проведено Дж. Брабантером [51]. Исследования ЬБ-ЭУМ в условиях автокорреляции ошибок наблюдений проводились М. Эспинозой, Дж. Сайкенсом и Б. Де Муром [62]. Подробные исследования аппарата ядерных функций [4], который позволил расширить применение 8УМ для восстановления нелинейных зависимостей, проводились А. Смолой, Б. Шелкопфом и К. Берджесом [88]. Также в этой области исследований активно работали Н. Кристианини, Дж. Шов-Тейлор [58] и др.

В подавляющем большинстве публикаций, посвященных построению регрессионных моделей с использованием 8 УМ, проводятся исследования лишь с использованием функций потерь Лапласа или Гаусса. Однако на практике встречается необходимость использования и других функций потерь, что связано с тем, что распределения ошибок наблюдений могут существенно отличаться от нормального. Более того, возможны случаи и асимметричных распределений ошибок наблюдений, а, как известно, даже функция потерь Лапласа не обеспечивает робастности в таких условиях [13]. К тому же могут иметь место осложняющие факторы, такие как, явление мультиколлинеарности данных, гетероскедастичности и автокорреляции ошибок наблюдений.

В связи с тем, что БУМ сравнительно недавно разработанный метод, остается целый ряд вопросов его применения в задаче построения регрессии. Этот ряд вопросов включает в себя использование 8УМ при различных моделях ошибок наблюдений, в условиях мультиколлинеарности данных, при нарушении предположений о независимости и постоянстве дисперсии ошибок наблюдений. Исследование перечисленных вопросов нашло свое отражение в данной диссертационной работе. Поднятые в ней вопросы разработки и исследования модификаций 8УМ для применения в условиях нарушения предположений классического регрессионного анализа (независимости и нормальности ошибок наблюдений) представляются весьма актуальными. Цель и задачи исследований. Основной целью диссертационной работы является дальнейшее развитие, на основе использования компьютерного моделирования, БУМ в задачах построения регрессионных моделей, и разработка его модификаций для более адекватного описания реальной ситуации.

Для достижения поставленной цели предусмотрено решение следующих задач:

— исследование возможностей использования БУМ при построении регрессионных моделей в условиях наличия сильных выбросов в данных;

— разработка модификаций БУМ для учета асимметричности ошибок наблюдений;

— разработка методов построения разреженных решений на основе БУМ;

— исследование БУМ в условиях мультиколлинеарности данных;

— построение модификаций БУМ, направленных на возможность учета гетероскедастичности и автокорреляции ошибок наблюдений;

— разработка на основе БУМ методов для построения квантильной регрессии и оценок неизвестной дисперсии ошибок наблюдений;

— разработка эффективных методов выбора гиперпараметров БУМ. Методы исследования. Для решения поставленных задач использовался аппарат теории вероятностей, математической статистики, вычислительной математики, математического программирования, статистического моделирования.

Научная новизна диссертационной работы заключается в:

— формулировках двойственных задач 8УМ для применения данного метода в условиях наличия сильных выбросов в данных и асимметричного засорения;

— результатах исследования БУМ при асимметричных распределениях ошибок наблюдений и обобщении модификации БУМ для построения квантильной регрессии на случай произвольной функции потерь;

— модификациях БУМ для: получения разреженных решений, учета эффекта гетероскедастичности и автокорреляции ошибок наблюдений;

— результатах численных исследований предложенных методов с использованием технологии статистического моделирования.

Основные положения, выносимые на защиту.

1. Формулировки двойственных задач БУМ при использовании адаптивных функций потерь и алгоритмы их решения.

2. Результаты исследования БУМ в условиях асимметричных распределений ошибок наблюдений.

3. Расширение возможностей БУМ при построении разреженных решений за счет использования адаптивных функций потерь.

4. Результаты исследования возможности использования БУМ в условиях мультиколлинеарности данных, гетероскедастичности и автокорреляции ошибок наблюдений, а также при построении параметрических и полупараметрических моделей.

5. Результаты исследования возможности использования квантильного варианта БУМ для построения доверительных интервалов и оценки неизвестной дисперсии.

Обоснованность и достоверность научных положений, выводов и рекомендаций обеспечивается:

— корректным применением аналитического аппарата математического анализа, теории вероятностей и математической статистики для исследования свойств построенных моделей;

— подтверждением аналитических выводов и рекомендаций результатами статистического моделирования.

Личный творческий вклад автора заключается в проведении исследований, обосновывающих основные положения, выносимые на защиту. Практическая ценность результатов:

— разработанные модификации БУМ позволяют строить регрессионные модели в условиях иаличия выбросов в данных и асимметричных распределений ошибок наблюдений;

— предложенные методы на основе адаптивных функций потерь позволяют получать разреженные модели при использовании 8УМ на выборках данных большого объема;

— проведенные исследования позволяют корректно использовать 8УМ в условиях мультиколлинеарности данных, а также в условиях гетероскедастичности и автокорреляции ошибок наблюдений;

— созданное программное обеспечение позволяет эффективно строить регрессионные модели, применяя разработанные подходы;

Апробация работы. Основные результаты исследований, проведенных автором, докладывались и обсуждались на Российской НТК «Информатика и проблемы телекоммуникаций» (Новосибирск, 2008 и 2010) — Всероссийской конференции студентов, аспирантов и молодых ученых «Молодежь и современные информационные технологии» (Томск, 2008) — Третьем международном форуме по стратегическим технологиям ПЮБТ (Новосибирск, 2008) — Четвертом международном форуме по стратегическим технологиям ¡-БОБТ (Хошимин, 2009) — IX международной конференции «Актуальные проблемы электронного приборостроения АПЭП12 008» (Новосибирск, 2008). Публикации. Основные научные результаты диссертации опубликованы в 11 печатных работах, из которых 2 — в журналах, рекомендованных ВАК, одна — в докладах АН ВШ РФ, 5 — в сборниках научных работ, 3 — в материалах конференций.

Структура работы. Диссертация состоит из введения, пяти глав, заключения, списка использованных источников (106 наименований) и двух приложений. Общий объем диссертации составляет 177 страниц, включая 21 таблицу и 58 рисунков.

5.8. Выводы.

Основные полученные результаты:

1. Проведены исследования возможности использования SVM для построения параметрических и полупараметрических моделей.

2. Предложены модификации SVM для учета эффекта гетероскедастичности ошибок наблюдений.

3. Предложены поправки для SVM при построении моделей в условиях автокорреляции ошибок наблюдений.

4. Проведены исследования использования SVM в условиях мультикол-линеарности данных, которые показали его достаточно низкую чувствительность к эффекту мультиколлинеарности.

5. Предложено использование оценки степени гладкости решения в качестве дополнительного критерия оценки качества модели в SVM.

6. Проведены исследования предложенных модификаций SVM на прикладных задачах, которые показали высокую эффективность предложенных модификаций в «осложненных» условиях.

ЗАКЛЮЧЕНИЕ

.

В соответствии с поставленными целями исследований получены следующие основные результаты:

1. Для решения задачи устойчивого оценивания модели регрессии по технологии БУМ в условиях зашумленных данных с помехой, имеющей распределение с «тяжелыми хвостами» или имеющей асимметричное засорение, предложено использование адаптивных функций потерь. Сформулирована двойственная задача для этого случая и реализована итерационная схема решения задачи квадратичного программирования с динамическими ограничениями.

2. Для построения регрессионных моделей в условиях, когда ошибки наблюдений имеют асимметричное распределение, предложено использование асимметричных функций потерь в методе БУМ. Сформулирована прямая и двойственная задачи для этого случая.

3. Обобщен метод квантильной регрессии на основе БУМ на случай произвольной функции потерь. На его основе предложен метод построения доверительных интервалов для отклика, а также непараметрический метод оценки неизвестной дисперсии ошибок наблюдений.

4. Для построения компактной модели регрессии в условиях работы с выборками большого объема разработаны алгоритмы построения разреженных решений в БУМ. Показана их эффективность в сравнении с классическим методом построения разреженных решений на основе функции нечувствительности Вапника. Предложена модификация БУМ, позволяющая строить разреженные решения в условиях гетероскедастичности ошибок наблюдений.

5. Проведено экспериментальное исследование возможности построения регрессионных моделей с использованием БУМ в условиях мультиколлинеар-ности данных, автокорреляции и гетероскедастичности ошибок наблюдений. Предложены модификации БУМ для учета гетероскедастичности и автокорреляции ошибок наблюдений. Для предложенных модификаций сформулированы прямые и двойственные задачи SVM. 6. Разработана программная система для построения регрессионных моделей с использованием SVM. Разработанное программное обеспечение используется при проведении научных исследований.

Показать весь текст

Список литературы

  1. С. А. Прикладная статистика: основы моделирования и первичной обработки данных / С. А. Айвазян, И. С. Енюков, Л. Д. Мешалкин. -М.: Финансы и статистика, 1983. 472 с.
  2. С. А. Прикладная статистика: Исследование зависимостей / С. А. Айвазян, И. С. Енюков, Л. Д. Мешалкин. М.: Финансы и статистика, 1985.-487 с.
  3. С. А. Прикладная статистика: Классификация и снижение размерности / С. А. Айвазян, В. М. Бухштабер, И. С. Енюков, Л. Д. Мешалкин. М.: Финансы и статистика, 1989. — 607 с.
  4. М. А. Метод потенциальных функций в теории обучения машин / М. А. Айзерман, Э. М. Браверманн, Л. И. Розоноэр. М.: Наука. -1970.-384 с.
  5. М. Нелинейное программирование. Теория и алгоритмы / М. Базара, К. Шетти. М.: Мир, 1982. — 583 с.
  6. М. В. Знаковый статистический анализ линейных моделей / Бол-дин М. В., Симонова Г. И., Тюрин Ю. Н. М.: Наука, 1997. — 208 с.
  7. А. А. Математическая статистика. -М.: Наука, 1984. 472 с.
  8. В. Н. Теория распознавания образов (статистические проблемы обучения) / В. Н. Вапник, А. Я. Червоненкис. М.: Наука, 1974. — 416 с.
  9. В. Н. Восстановление зависимостей по эмпирическим данным / В. Н. Вапник. М.: Наука, 1979. — 447 с.
  10. Ф. Р. Теория матриц / Ф. Р. Гантмахер. М.: Наука, 1988. -522 с.
  11. Е. 3. Линейная и нелинейная регрессии / Е. 3. Демиденко. -М.: Финансы и статистика, 1981. 302 с.
  12. Е. 3. Оптимизация и регрессия / Е. 3. Демиденко. М.: Наука, 1989.-296 с.
  13. В. И. Методы построения многофакторных моделей по неоднородным, негауссовским, зависимым наблюдениям / В. И. Денисов, Д. В. Лисицин. — Новосибирск: Изд-во НГТУ. 2008. — 360 с.
  14. В. И. Знаковый метод: преимущества, проблемы, алгоритмы /
  15. B. И. Денисов, В. С. Тимофеев // Научн. вестн. НГТУ. 2001. — № 1(10).1. C. 21−35.
  16. В. И. Построение алгоритмов оценивания параметров уравнения квантильной регрессии / В. И. Денисов, В. С. Тимофеев // Научн. вестн. НГТУ. 2009. — № 2(34). — С. 13−22.
  17. Дж. Эконометрические методы / Дж. Джонстон. М.: Статистика. — 1980.-444 с.
  18. А. Г. Помехоустойчивость моделирования / А. Г. Ивахненко, В. С. Степашко. — Киев: Наукова думка, 1985. 216 с.
  19. Г. И. Математическая статистика / Г. И. Ивченко, Ю. И. Медведев. -М.: Высшая школа, 1984. 248 с.
  20. Э. Теория точечного оценивания / Э. Леман. М.: Наука, 1991. -444 с.
  21. В. А. Математическая статистика в медицине: учеб. пособие / В. А. Медик, М. С. Токмачев. М.: Финансы и статистика, 2007. — 800 с.
  22. В. И. Методы обработки измерений: Квазиправдоподобные оценки / В. И. Мудров, В. Л. Кушко. М.: Радио и связь, 1983. — 304 с.
  23. А. И. Часто ли распределение результатов наблюдений является нормальным? / А. И. Орлов // Заводская лаборатория. 1991. — Т. 57. -№ 7. — С. 64−66.
  24. А. А. Планирование эксперимента в задачах структурного моделирования с использованием критерия скользящего прогноза / А. А. Попов // Заводская лаборатория. 1996. — № 10. — С. 42−44.
  25. A.A. Разбиение выборки для внешних критериев селекции моделей с использованием методов планирования эксперимента / А. А. Попов // Заводская лаборатория. — 1997. № 1. — С. 49−53.
  26. А. А. Использование оценок степени гладкости функции при построении регрессии на основе метода опорных векторов / А. А. Попов, А. С. Саутин // Молодежь и современные информационные технологии: сб. тр. Томск, 2008. — С. 149−150.
  27. А. А. Сравнение методов выбора параметров алгоритма опорных векторов в задаче построения регрессии / А. А. Попов, А. С. Саутин // Информатика и проблема телекоммуникаций: материалы российской на-уч.-технич. конф. Новосибирск, 2008. — С. 74−77.
  28. А. А. Определение параметров алгоритма опорных векторов при решении задачи построения регрессии / А. А. Попов, А. С. Саутин // Сб. научн. тр. НГТУ. Новосибирск, 2008. — С. 35−40.
  29. А. А. Построение регрессии по методу опорных векторов с ошибками наблюдений, имеющими асимметричное распределение / А. А. Попов, А. С. Саутин // Доклады АН ВШ РФ. Новосибирск, 2009. — С. 117 126.
  30. А. А. Использование робастных функций потерь в алгоритме опорных векторов при решении задачи построения регрессии / А. А. Попов, А. С. Саутин // Научн. вестн. НГТУ. 2009. — № 4(37). — С. 45−56.
  31. А. А. Построение разреженных решений при использовании алгоритма опорных векторов в задаче восстановления зависимости / А. А. Попов, А. С. Саутин // Научн. вестн. НГТУ. 2010. — № 2(39). — С. 31−42.
  32. Робастность в статистике: подход на основе функций влияния / Ф. Хам-пель, Э. Рончетти, П. Рауссеу, В. Штаэль. М.: Мир, 1989. — 512 с.
  33. А. А. Численные методы: Учеб. пособие для вузов / А. А. Самарский, А. В. Гулин. М.: Наука. — 1989. — 432 с.
  34. А. С. К вопросу о смещении решения в задаче построения регрессии с использованием алгоритма опорных векторов / А. С. Саутин // Современные информационные технологии: сб. статей. Пенза, 2008. — С. 122−125.
  35. С. А. Устойчивые методы оценивания: Статистическая обработка неоднородных совокупностей / С. А. Смоляк, Б. П. Титаренко. М.: Ста-титика, 1980.-208 с.
  36. А. Н. Методы решения некорректных задач / А. Н. Тихонов, В. Я. Арсенин. М.: Наука, 1979. — 285 с.
  37. В. Прикладная непараметрическая регрессия / В. Хардле. М.: Мир, 1993.-349 с.
  38. Т. П. Статистические выводы, основанные на рангах / Т. П. Хеттманспергер. -М.: Финансы и статистика, 1987. 333 с.
  39. П. Робастность в статистике / П. Хьюбер. М.: Мир, 1984. -303 с.
  40. Цой Е. Б. Моделирование и управление в экономике (часть 1). Курс лекций / Е. Б. Цой, И. В. Самочернов. Новосибирск: Изд-во НГТУ. — 2003. -104 с.
  41. Я. 3. Основы информационной теории, идентификации / Я. 3. Цыпкин. М.: Наука, 1984. — 320 с.
  42. A.M. Прикладная стохастика: робастность, оценивание, прогноз / А. М. Шурыгин. -М.: Финансы и статистика, 2000. 224 с.
  43. Aas К. Risk Estimation using the Multivariate Normal Inverse Gaussian Distribution / K. Aas, I. Haff, X. Dimakos // Journal of Risk. 2006. — Vol. 8. — N 2. -P. 39−60.
  44. Akaike H. A new look at the statistical model identification / H. Akaike // IEEE Transactions on Automatic Control. 1974. — Vol. 19. — P. 716−723.
  45. Andrews D. F. A robust estimation for location: survey and advances / D. F. Andrews, P. J. Bickel, F. R. Hampel, P. J. Huber, W. H. Rodger, J. W. Tukey. N. J.: Princeton univ. press. — 1972. — 373 pp.
  46. Azzalini A. A class of distributions which includes the normal ones / A. Azza-lini // Scand. J. Statist. 1985. -N 12. — P. 171−178.
  47. Bassett G. Regression Quantiles / G. Bassett, R. Koenker // Econometrica. -1978. Vol. 46. -N 1. — P. 33−50.
  48. Boser B. A training algorithm for optimal margin classifiers / B. Boser, I. Guyon, V. Vapnik // 5th Annual ACM Workshop on COLT. 1992. — P. 144−152.
  49. Bottou L. Large-scale kernel machines / L. Bottou, O. Chapelle, D. Decoste -Cambridge: MIT Press. 2007. — 416 pp.
  50. Brabanter J. LS-SVM Regression Modelling and its Applications: PhD thesis / J. Brabanter. Leuven: K.U. Leuven. — 2004. — 243 pp.
  51. Brown L. D. Variance estimation in nonparametric regression via the difference sequence method / L. D. Brown, M. Levine. // Ann. Statist. 2007. — Vol. 35. -N5.-P. 2219−2232.
  52. Burges C. A Tutorial on Support Vector Machines for Pattern Recognition / C. Burges // Data Mining and Knowledge Discovery. 1998. — Vol. 2. — N 2. -P. 121−167.
  53. Catanzaro B. Fast Support Vector Machine Training and Classification on Graphics Processors / B. Catanzaro, N. Sundaram, K. Keutzer // International Conference on Machine Learning. 2008. — Vol. 307. — P. 104−111.
  54. Chapados N. Estimating Car Insurance Premia: a Case Study in High-Dimensional Data / N. Chapados, Y. Bengio, P. Vincent // Advances in Neural Information Processing Systems. 2001. — Vol. 2. — P. 1369−1376.
  55. Cherkassky V. Practical selection of SVM parameters and noise estimation for SVM regression / V. Cherkassky, Y. Ma. // Neural Networks. 2004. — N 17. -P.113−126.
  56. Christoffersen P. Further Results on Forecasting and Model Selection under Asymmetric Loss / P. Christoffersen, F. Diebold // J. of Applied Econometrics. 1996. — N 11. — P. 561−572.
  57. Cristianini N. An Introduction to Support Vector Machines and other kernelbased learning methods / N. Cristianini, J. Shawe-Taylor. Cambridge univ. press.-2000.- 189 pp.
  58. Drucker H. Support Vector Regression Machines / H. Drucker, C. Burges, L. Kaufman, A. Smola, V. Vapnik // Advances in Neural Information Processing Systems. 1996.-N 9.-P. 155−161.
  59. Efron B. The jackknife, the bootstrap, and other resampling plans / B. Efron // Society of Industrial and Applied Mathematics. 1982. — N 38. — 92 pp.
  60. Efron B. An Introduction to the Bootstrap / B. Efron, R. J. Tibshirani. N.Y.: Chapman and Hall. — 1994. — 456 pp.
  61. Espinoza M. LS-SVM Regression with Autocorrelated Errors / M. Espinoza, J. Suykens, B. De Moor // Proc. of the 14th IF AC Symposium on System Identification (SYSID). 2006. — Vol. 15. — P. 582−587.
  62. Fan R. E. Working set selection using second order information for training SVM / R. E. Fan, P. H. Chen, C. J. Lin // Journal of Machine Learning Research.-2005.-N 6.-P. 1889−1918.
  63. Ferris M. Interior-point methods for massive support vector machines / M. Ferris, T. Munson // SLAM Journal on Optimization. 2002. — Vol. 13. — P. 783 804.
  64. Fletcher R. Practical Methods of Optimization / Fletcher R. Fletcher. N.Y.: John Wiley. — 2000. — 450 pp.
  65. Gestel T. V. Volatility Tube Support Vector Machines / T. V. Gestel, J. Suykens, B. D. Moor, D. E. Baestaens // Neural Network World. 1999. -Vol. 10.-P. 287−297.
  66. Graf H. P. Parallel support vector machines: the Cascade SVM / H. P. Graf, E. Cosatto, L. Bottou, I. Dourdanovic, V. N. Vapnik // Advances in Neural Information Processing Systems. MIT Press. — 2005. — Vol. 17. — P. 521−528.
  67. Harrison D. Hedonic prices and the demand for clean air / D. Harrison, D. L. Rubinfeld // J. Environ. Economics & Management. 1978. — Vol. 5. — P. 81 102.
  68. Hastie T. The elements of statistical learning / T. Hastie, R. Tibshirani, J. Friedman. N.Y.: Springer. — 2001. — 560 pp.
  69. Huang C. M. Model selection for support vector machines via uniform design / C. M. Huang, Y. J. Lee. // Computational Statistics & Data Analysis. 2007. -N52.-P. 335−346.
  70. Joachims T. Making large-scale SVM learning practical / T. Joachims // Advances in Kernel Methods: Support Vector Learning. Cambridge: MIT Press. — 1998.-P. 169−184.
  71. Joachims Т. Text categorization with support vector machines: learning with many relevant features / T. Joachims // 10th European Conference on Machine Learning. 1998. — P. 137−142.
  72. Juli’a O. A microbiology application of the skew-Laplace distribution / O. Juli’a, J. Vives-Rego // Statistics & Operations Research Transactions. -2008.-N32(2).-P. 141−150.
  73. Knight J., Linear factor models in finance / J. Knight, S. Satchell. Oxford: Butterworth-Heinemann. — 2005. — 282 pp.
  74. Koenker R. Quantile Regression / R. Koenker. N.Y.: Cambridge univ. press. -2005.-370 pp.
  75. LIBSVM: a library for support vector machines Электронный ресурс. Режим доступа: http://www.csie.ntu.edu.tw/~cjlin/libsvm.
  76. Lin С. J. Asymptotic convergence of an SMO algorithm without any assumptions / C. J. Lin // Neural Networks. 2002. — Vol. 13, iss. 1. — P. 248−250.
  77. Mercer J. Functions of positive and negative type and their connection with the theory of integral equations / J. Mercer // Philosophical Transactions of the Royal Society. 1909. — P. 415−446.
  78. Meshalkin L. D. Some mathematical methods for the study of non-communicable diseases / L. D. Meshalkin // 6-th Intern. Meeting of Uses of Epidemiol. in Plannning Health Services. Yugoslavia, Primosten. 1971. -Vol. l.-P 250−256.
  79. Muller K. R. Predicting time series with support vector machines / K. R. Muller, A. Smola, G. Ratsch, B. Scholkopf, J. Kohlmorgen, V. Vapnik // Advances in Kernel Methods Support Vector Learning. — MIT Press. — 1999. — P. 243 254.
  80. Osuna E. Training support vector machines: An application to face detection / E. Osuna, R. Freund, F. Girosi // IEEE Computer Society Conference on Computer Vision and Pattern Recognition. 1997. — P. 130−136.
  81. Osuna E. An improved training algorithm for support vector machines / E. Osuna, R. Freund, F. Girosi // IEEE Workshop. 1997. — P. 276−285.
  82. Pfanzagl J. On measurability and consistency of minimum contrast estimates / J. Pfanzagl // Metrica. 1969. — Vol. 14. — N 1. — P. 249−272.
  83. Platt J. C. Fast training of support vector machines using sequential minimal optimization / J. C. Piatt // Advances in Kernel Methods. MIT Press, 1999. -P. 185−208.
  84. Popov A. A. Selection of support vector machines parameters for regression using nested grids / A. A. Popov, A. S. Sautin // The Third International Forum on Strategic Technology. Novosibirsk, 2008. — P. 329−331.
  85. Popov A. A. Adaptive Huber Loss Function in Support Vector Regression / A. A. Popov, A. S. Sautin // The fourth international forum on strategic technology. Hochiminh, Vietnam, 2009. — P. 114−118.
  86. Ruppert D. Local polynomial regression and its applications in environmental statistics / D. Ruppert // Statistics for the Environment. Chichester: Wiley. -1997.-Vol.3.-P. 155−173.
  87. Scholkopf B. Learning with kernels / B. Scholkopf, A. Smola. Cambridge: MIT Press, 2002. — 632 pp.
  88. Scholkopf B. Extracting support data for a given task / B. Scholkopf, C. Burges, V. Vapnik // First International Conference on Knowledge Discovery & Data Mining. AAAI Press. — 1995. — P. 252−257.
  89. Scholkopf B. Shrinking the Tube: A New Support Vector Regression Algorithm / B. Scholkopf, P. Bartlett, A. Smola, R. Williamson // Advances in Neural Information Processing Systems. MIT Press. — 1999. — Vol. 11. — P. 330−336.
  90. Scholkopf B. New support vector algorithms / B. Scholkopf, A. J. Smola, R. C. Williamson, P. L. Bartlett // Neural Computation. 2000. — Vol. 12, iss. 5.-P. 1207−1245.
  91. Sigrist M. Air Monitoring by Spectroscopic Techniques / M. Sigrist. N.Y.: Wiley. — 1994.-560 pp.
  92. Silverman B. W. Some aspects of the spline smoothing approach to non-parametric regression curve fitting / B. W. Silverman // Journal of the Royal Statistical Society. 1985. — Vol. 47. — N 1. — P. 1−52.
  93. Smola A. Regression Estimation with Support Vector Learning Machines: Master’s thesis / A. Smola. Technische Universitat Munchen. — 1996. -78 pp.
  94. Smola A. Learning with kernels: PhD Thesis in Computer Science / A. Smola.- Technische Universitat Berlin. 1998. — 210 pp.
  95. Smola A. A Tutorial on Support Vector Regression / A. Smola // Statistics and Computing. -2004. -N 14. P. 199−222.
  96. Steinwart I. Support Vector Machines / I. Steinwart, A. Christmann. N.Y.: Springer-Verlag. — 2008. — 602 pp.
  97. Suykens J. A. Least squares support vector machine classifiers / J. A. Suykens, J. Vandewalle // Neural Processing Letters. 1999. — Vol. 9. — N 12. — P. 293 300.
  98. Suykens J. Sparse approximation using lease squares support vector machines / J. Suykens, L. Lukas, J. Vandewalle // IEEE International Symposium on Circuits and Systems ISCAS. 2000. — P. 757−760.
  99. Taylor J. S. Kernel Methods for Pattern Analysis / J. S. Taylor, N. Cristianini. -N.Y.: Cambridge univ. press. 2004. — 462 pp.
  100. Tibshirani R. Regression Shrinkage and Selection Via the Lasso / R. Tibshirani // J. of the Royal Statistical Society, ser. B. 1994. — Vol. 58. — P. 267−288.
  101. Tukey J. W. A survey of sampling from contaminated distribution / J. W. Tukey // Contribution to Probability and Statistics. — Stanford: Stanford univ. press. 1960. — P. 448−485.
  102. Vapnik V. Estimation of dependences based on empirical data / V. Vapnik. -N.Y.: Springer. 2006. — 528 pp.
  103. Vapnik V. Statistical Learning Theory / V. Vapnik. N.Y.: John Wiley. -1998.-736 pp.
  104. Wahba G. A survey of some smoothing problems and the method of generalized cross-validation for solving them / G. Wahba // Application of Statistics.- 1977.-P. 507−523.
  105. Wahba G. Support vector machines, reproducing kernel Hilbert spaces and the randomized GACV / G. Wahba // Advances in Kernel Methods Support Vector Learning. — Cambridge: MIT Press. — 1999. — P. 69−88.
Заполнить форму текущей работой

Заказал и сдал!