Глубокие нейронные сети

Глубокими нейронными сетями называют сети с большим количеством слоев нейронов. Очевидным минусом таких сетей, при отсутствии подходящих алгоритмов обучения (предположим, что Хинтон еще не придумал своего алгоритма обучения), является огромная трудоемкость при построении такой сети. Однако, если предположить, что такой алгоритм есть и проблема со скоростью обучения решена, то можно выделить один несомненный плюс: нет необходимости подбирать входные данные, так чтобы они были независимы и максимально точно описывали бы картину мира исследуемого события. Так, при увеличении количества нейронов в первом скрытом слое (максимальное количество — 2 набора нейронов входного слоя) и дальнейшем их уменьшении в последующих слоях, можно говорить о том, что нейронная сеть сама выделяет значимые характеристики системы. Тем не менее, логично предположить, что, при увеличении количества слоев, должна увеличиваться общая ошибка прогноза. Отчасти это так, но, также верно то, что переход к следующему слою происходит при минимальной потере информации.

Поскольку машина Больцмана представляет из себя термодинамическую систему, то разницу между энергией системы в новом состоянии и в фиксированном состоянии можно трактовать как разницу между средней энергией системы и свободной энергией системы. В таком случае разница между энергией системы в новом состоянии и свободной энергией системы объясняется как энтропия. Иными словами, функция правдоподобия, которая, при разложении, разделяется на две фазы (положительную и отрицательную), является ничем иным, как мерой энтропии системы.

На данном шаге, необходимо также объяснить понятие энтропии, необходимость ее применения и принцип максимизации энтропии. Если избегать точного определения, то энтропией можно назвать меру разброса информации в системе в новом состоянии. Иными словами, энтропия — показатель отклонения фактически наблюдаемого процесса системы от процесса системы в идеальном состоянии. Однако, при такой формулировке, логичным кажется необходимость уменьшения энтропии. Тем не менее, уменьшении энтропии приведет нас к фиксированному состоянию системы, однозначно определяющему переход от входного слоя к выходному. Нам же необходимо, чтобы переход к новому слою приводил нас не к какому-то конкретному состоянию, а к наиболее вероятному состоянию, которое зависит от входных данных. Иными словами, при максимизации энтропии, переход от исходного состояния системы к новому сопровождается сохранением максимальным количеством информации о распределении вероятности входных данных. Таким образом, из принципа максимизации энтропии, следует упомянутый выше принцип минимизации свободной энергии системы. Соответственно, использование данного принципа позволяет нам перейти от входного слоя к выходному (через все скрытые слои), сохранив распределение вероятности данных входного слоя, но изменив размерность слоя в меньшую сторону.

Из всего вышеописанного можно сделать вывод, что алгоритм обучения глубокой нейронной сети должен учитывать энтропию каждого слоя нейронов. Именно поэтому процесс обучения глубоких нейронных сетей кардинально отличается от процесса обучения обычных нейронных сетей. Так как сложно разработать алгоритм, который бы за один шаг (за одну эпоху) учитывал бы энтропию всех слоев, то создание и обучение глубокой нейронной сети происходит итерационно. Таким образом, ограниченная машина Больцмана — лишь один из элементов нейронной сети, который представляет отдельный слой, в результате чего задача обучения всей сети сводится к задаче обучения только одного слоя, что значительно снижает трудоемкость процесса обучения. Данный подход к обучению сети называется предобучением, за которым следует процесс подгонки весов всей сети, например, алгоритмом обратного распространения ошибки, о котором говорилось раньше.