Е.С.Борисов
четверг, 21 Марта 2013г.
В этой статье мы поговорим о модели, которая носит название машина Больцмана [1,2]. Она представляет собой модификацию искусственной нейронной сети Хопфилда [3], имеет такую же топологию сети но существенно отличается от неё алгоритмом работы. Нейронная сеть Хопфилда имеет свойство ”застревать” в локальных минимумах функции энергии не достигая нужного состояния, модификация, рассматривая в этом разделе, ставит своей целью улучшить результаты работы системы. В основе функционирования машины Больцмана лежит вероятностный подход и метод случайного поиска, такой подход часто позволяет выбраться из локального минимума целевой функции.
Машина Больцмана моделирует процесс отжига металла. Вводится параметр, который называется температурой сети. В процессе функционирования сети он должен уменьшаться. Мы определим температуру сети следующим образом.
| | (1) |
где
Также мы будем отслеживать изменение ΔEi значений функции энергии Ei для каждого нейрона i.
| (2) |
Здесь Ei(t) значение функции энергии на итерации сети номер t и определяется она следующим образом.
| (3) |
где
Для каждого нейрона в сети переход в новое состояние происходит не однозначно (не обязательно) а с определённой вероятностью P, соответственно с вероятностью (1 − P) состояние нейрона остается прежним.
Вероятность перехода нейрона в новое состояние вычисляется следующим образом.
| (4) |
Алгоритм функционирования машины Больцмана выглядит следующим образом.
| (5) |
где
|
На вход ассоциативной памяти подаются картинки в формате BMP, размером 17 × 31 точек, представляющие собой матрицы 51 × 31 байт, таким образом размер сети 51 × 31 = 1581 нейронов. В программе используется библиотека для работы с картинками GdkPixbuf v.2. Результат работы программы на рис.2.
[1] Ackley, D. H., Hinton, G. E., and Sejnowski, T. J. A learning algorithm for Boltzmann machines. // Cognitive Science, 1985, vol.9, pp. 147–169.
[2] В.А.Головко, под ред.проф.А.И.Галушкина Нейронные сети: обучение, организация и применение. – Москва : ИПРЖР, 2001
[3] J.J.Hopfield Neural Networks and Physical Systems with Emergent Collective Computational Abilities // in Proc. National Academy of Sciencies, USA 79, 1982, pp. 2554-2558.
[4] D.O.Hebb Organization of behavior. – New York: Science Editions, 1949.