Deconvolutional Neural Network (DNN)

Мэттью Зайлер [46] разработал концепцию и технологию DNN для понимания и анализа свёрточных нейронных сетей. Эта технология осуществляет построение иерархических представлений изображения (см. рисунок 47) с учётом фильтров и параметров, полученных при обучении свёрточной нейросети. Эти представления могут быть использованы как для решения задач первичной обработки сигналов (таких как шумоподавление), а также могут обеспечивать низкоуровневые функции для распознавания объектов.

Рисунок 47 — Представления изображений [46].

Также может быть известная как свёрточная версия разрежённого кодирования (sparce coding) [37].

Входной сигнал представляется в виде суммы свёрток карт признаков с учётом применяемых фильтров. Для исследования CNN, DNN прикрепляется к каждому из её слоев, как показано на рисунке 48, обеспечивая непрерывный путь от выходов сети к пикселям изображения на входе [46].

Сначала над входным изображением выполняется операция свёртки и по всем слоям вычисляются карты признаков. Для дальнейшего изучения поведения CNN устанавливаются значения весов всех нейронов в слое равными нулю. Полученные карты признаков используются в качестве входных параметров прилагаемого слоя развёртки (deconvent layer).

Далее последовательно выполняются три операции [46]:

• · Разъединение (Unpooling);
• · Ректификация (Rectification);
• · Фильтрация (Convolutional Filtering).

Операция разъединения (unpooling):

В CNN операция объединения Прим.: в источнике [46] подразумевается max pooling операция слоя подвыборки. является необратимой. Тем не менее, можно получить приближенное обратное значение путём записи местоположения максимумов в пределах каждой области. Операция разъединения использует изменения в наборе переменных, размещённых слоем выше, в соответствующих местах текущего обрабатываемого слоя [46].

Операция ректификации (rectification):

Сеть использует нелинейную функцию, где — входное изображение, обеспечивая тем самым, что полученные карты признаков всегда будут положительными [46].

Операция фильтрации (Convolutional Filtering):

Чтобы понять, какие фильтры были применены к изображению, deconvent layer использует транспонированные версии тех же фильтров. Проектирование «спуска вниз» с более высоких уровней использует изменения параметров, полученных при обучении CNN. Поскольку эти изменения свойственны данному входному изображению, реконструкция, полученная из одной функции, напоминает кусочек начального изображения со структурами, взвешенными в соответствии с их вкладом в карту признаков (см. рисунок 49) [46].

Так как модель обучается в соответствии с выявленными признаками, эти структуры показывают, какие части входного изображения (или двух разных изображений) являются отличающимися по полученным признакам. Также они позволяют делать выводы о том, какие низкоуровневые признаки изображения являются ключевыми для его классификации [46].

Рисунок 49 — Структуры изображения [46].

Преимущества [46]:

• · Концептуально простая схема обучения. Обучение DNN производится за счёт использования разъединения, ректификации и фильтрации, при этом используются карты признаков, полученные ранее при обучении CNN;
• · Применяя DNN к исходным изображениям, можно получить большой набор фильтров, которые охватывают всю структуру изображения, используя примитивные представления; Таким образом, получаются фильтры, применяемые ко всему изображению, а не к каждому маленькому кусочку исходного изображения. Это является большим преимуществом, так как появляется более полное понимание процессов, происходящих при обучении CNN;
• · Представления можно получить без настройки особых параметров или дополнительных модулей, таких как разъединение, ректификация и фильтрация. Они, представления, получаются в ходу обучения CNN;
• · Подход с использованием DNN основан на методе поиска глобального минимума, а также использовании фильтров, полученных при обучении CNN, и предназначен для сведения к минимуму плохо обусловленных затрат, которые возникают в свёрточном подходе.