Перейти к содержанию

Возможности рефрактерного перцептрона

Материал из Викиверситета
Эта статья — часть материалов: Факультет искусственного интеллекта

Здесь мы изучаем возможности «Рефрактерного перцептрон Yak-2».

Лекция

[править]
  • У вас есть уникальная возможность изучить эту разновидность перцептрона со слов самого создателя этого перцептрона :)

Начнем мы с ряда соображений, которые открыто не публиковались, но использовались при оптимизации классического перцептрона Розенблатта. Затем перейдем к рассмотрению «Рекуррентного перцептрона Yak-1», а затем «Рефрактерного перцептрона Yak-2» (принципы работы которых уже были опубликованы).

Оптимизация активации первого слоя

[править]

При активации А-элементов важно получить наиболее случайное распределение активированных А-элементов. Это позволит получить большее различие между входными векторам, что в свою очередь позволит более просто провести гиперплоскость. Таким образом, можно вообще отказаться от принятой классической схемы в перцептроне, которая реализует эту задачу не достаточно оптимально.

Идеально было бы просто на каждый стимул давать случайную последовательность активированных А-элементов. Это дало бы максимально случайное распределение. Но одновременно с этим была бы потеряна стабильность реакции, так как при следующей итерации в ответ на ту же самую входную последовательность были бы активированы опять случайные А-элементы. А это приведет к необходимости переобучаться по новой. Вместо этого нужна стабильная, совпадающая в точности реакция при одном и том же входном стимуле.

Другим словами, случайное распределение активированных А-элементов должно быть функцией от входного вектора. А это уже уменьшает независимое случайное распределение. Но используя идеи криптографического шифрования (хэш-функции) можно получить более менее случаное распределение, но в тоже время зависимое от входного вектора. При этом это позволит более легко управлять уровнем активирования А-элементов. Для реализации этого был предложен следующий подход.

Каждый А-элемент обладает случайным вектором (массивом Rnd) из нулей и единиц с размерностью равной числу S-элементов. Также имеется временный массив loc такой же размерности. И в третьих массив Arnd такой же размерности, каждый элемент которой содержит указатель, выбранный случайным образом, на А-элемент. Тогда функция активации предлагается следующая.

Оптимизация активации второго слоя при обучении

[править]

Этот вид оптимизации уже публиковался в рамках описания работы рекуррентного перцептрона Yak-1, но может быть использован независимо от него.

... каждый классификатор [R-элемент] обучается совершенно независимо (параллельно) от других. И когда один из классификаторов обучается, то есть его выход всегда соответствуют требуемому значению при всех стимулах, то его можно исключить из процедуры обучения. Различные классификаторы обучаются за различное время, что определяется сложностью зависимости реакции от стимула. И чем большее число классификаторов обучено, тем меньшее время будет затрачено на последующую итерацию обучения [Выдержка из работы С.С. Яковлев, А.Н. Борисов (2008) Использование принципа рекуррентности Джордана в перцептроне Розенблатта ]

Рекуррентный перцептрон Yak-1

[править]
Архитектура рекуррентной сети Джордана

Относится к классу перцептронов с обратными связями (см. Рекуррентная нейронная сеть). Наиболее близким по архитектуре является рекуррентная сеть Джордана, а по принципу обучения перцептрон Розенблатта.

Рефрактерный перцептрон Yak-2

[править]

Задания

[править]