Представление информационных объектов суперпозициями

Соломатин В.Ф.
ПРЕДСТАВЛЕНИЕ ИНФОРМАЦИОННЫХ ОБЪЕКТОВ СУПЕРПОЗИЦИЯМИ
ПСЕВДОСЛУЧАЙНЫХ ФУНКЦИЙ КАК ПУТЬ К ПОВЫШЕНИЮ ЭФФЕКТИВНОСТИ
УСТРОЙСТВ ХРАНЕНИЯ И ОБРАБОТКИ ИНФОРМАЦИИ 1
Институт физиологии им. И.П. Павлова РАН, Санкт-Петербург,
salam@infran.ru
Давно и многими высказывалось предположение, что при создании новых технических средств
переработки информации может оказаться полезным использование сведений о функционировании мозга.
Однако, в прикладных работах весьма мало внимания обращают на то, как работает мозг. Более того,
активно исследуются модели, функционирование которых явно противоречит функционированию реальных
нейронных сетей. (Например, реальные сети не могут обучаться по методу обратного распространения
ошибки, и устроены реальные сети не так, как устроена модель Хопфилда). Широко распространено также
убеждение, что если используются «нейроноподобные» элементы, то этого уже достаточно для того, чтобы
говорить о подобии технических устройств мозгу. Произвольное конструирование нейронных сетей можно
было бы оправдывать их практической эффективностью. Однако, нейросетевые методы эффективны лишь в
некоторых применениях, а в других случаях их эффективность приблизительно такова, как эффективность
других методов.
В противоположность чисто “нейроническому”, возможен иной и более фундаментальный подход к
построению устройств, подобных по их функциям мозгу. Этот подход заключается в поиске путей
воплощения в технических устройствах известных принципов организации и функционирования мозга.
Если говорить о памяти, то одним из принципов её организации является распределённость следов.
Экспериментально доказано, что следы памяти широко распределены по мозговой среде. Другая
принципиальная особенность памяти мозга — её ассоциативность. В технических ЗУ запись осуществляется
локально в адресуемые ячейки памяти. В так называемых ассоциативных ЗУ (АЗУ) запись также
осуществляется локально в конструктивно связанные между собой ячейки памяти. Автор настоящего
материала предложил как нейросетевые модели, так и технические устройства, обладающие свойствами
ассоциативности и распределённости записей. Обеспечить ассоциативность и распределённость оказалось
возможным благодаря представлению запоминаемых величин знакопеременными псевдослучайными
функциями.
Сначала на основе анализа аналогии между свойствами голограмм и свойствами следов памяти в мозгу
была разработана базовая нейросетевая модель [1, 2]. Эта модель имеет существенный недостаток. После
запоминания нескольких векторов при считывании на выходе модели будет возникать, в общем случае, смесь
векторов. При работе с двоичными кодами для устранения указанного недостатка предложено ввести
специальный блок — декоррелятор, который ставит в соответствие разным кодам, подаваемым на его вход,
некоррелированные функции на его выходах (эти функции можно назвать ключевыми) [3]. Достигается это
путем перемножения псевдослучайных функций, соответствующих разным разрядам кода-признака.
Функции, соответствующие разным двоичным знакам в одном разряде, — некоррелированы. Они
закодированы в структуре связей входов декоррелятора с операционными элементами. Декоррелятор может
быть выполнен на основе использования логических элементов или на основе использования повторителейинверторов. Вместо нейроноподобных элементов используются ячейки (ассоциативные элементы — АЭ),
содержащие аналоговый сумматор, два аналоговых умножителя на +1 или -1 и аналоговый или
многоуровневый запоминающий элемент (ЗЭ). В совокупности АЭ запоминаются с наложением
произведения функций, представляющих информационные коды, на ключевые функции. Каждый двоичный
знак записывается (будучи представлен функцией) во всех запоминающих элементах, и функции,
соответствующие разным двоичным знакам, записываются с наложением.
В рассматриваемых устройствах записи, соответствующие отдельным двоичным знакам,
обнаруживаются на основании вычисления тройственных коэффициентов корреляции (суммируются
произведения значений опрашивающей (ключевой) функции, хранящейся в памяти суммарной записи и
“фокусирующей” функции). Такие устройства могут быть названы корреляционными ЗУ (КЗУ). Схема КЗУ
представлена на рис. 1.
КЗУ имеют следующие полезные свойства.
1. При использовании КЗУ снимается проблема распределения памяти. Отсутствуют адресуемые
ячейки и нет необходимости вычислять адреса. Не требуется следить, где что находится, хранить и
обрабатывать таблицы распределения памяти. В качестве кодов-признаков могут использоваться
непосредственно математические адреса или символические имена.
1
Работа по исследованию нейронных сетей, реализующих функции ассоциативной памяти, выполнялась при
финансовой поддержке Российского фонда фундаментальных исследований (проект 00-01-00494).
Рис. 1. а) Схема корреляционого ЗУ; 1 – входы для кода-признака, 2 – декоррелятор, 3 – входы для
информационного кода, 4 – ассоциативные элементы, 5 – выходные элементы. б) Схема
ассоциативного элемента; 6 – сумматор, 7 – умножители, 8 – запоминающий элемент.
2.
Отсутствует явление фрагментации памяти. (При избирательном стирании не очищаются какиелибо ячейки памяти, а вычитаются функции из хранящейся в ЗЭ суперпозиции функций.)
3. КЗУ может быть использовано вместо адресного ЗУ без переделки матобеспечения. (В этом случае
адреса играют роль кодов-признаков.)
4. Происходит автоматическая адаптация к длине запоминаемых кодов.
5. Возникновение отказов ячеек памяти не влечёт за собой ограничение возможных для использования
адресов.
6. Возможна одновременная запись в одну и ту же область памяти кодов, поступающих по нескольким
каналам.
7. Возможен обмен ёмкости на достоверность.
8. Возможен обмен ёмкости на быстродействие в системах с общей памятью.
9. Возможно использование ненадёжных и неточно изготовленных элементов.
10. Обеспечивается высокая помехоустойчивость.
КЗУ имеют следующие недостатки.
1. В исправном ЗУ вероятность ошибки отлична от нуля .
2. Низкая ёмкость в расчёте на один ЗЭ. При заданной вероятности ошибки порядка 10^(-10) число ЗЭ
должно приблизительно в сорок раз превосходить число запоминаемых двоичных знаков. (Но резкое
снижение требований к ЗЭ и высокая помехоустойчивость позволяют увеличить плотность записи.)
3. Необходимо использование аналоговых или многоуровневых ЗЭ. (Но, опять-таки, к ним не
предъявляется жёстких требований.)
4. Велико число перекрывающихся связей. (Выходом из этого затруднения могут явиться
использование однородных сред для передачи сигналов и использование устройств параллельнопоследовательного действия. Можно предложить также устройства, в которых эта проблема в
значительной степени решена но при сопутствующем ограничении функциональных
возможностей.)
5. Существует эффект информационного старения. (Накапливаются остаточные помехи при неточной
компенсации записей.)
Помимо корреляционных ЗУ, предназначенных для работы с двоичными кодами, предложены четыре
архитектуры нейронных сетей, позволяющих ассоциировать вектора [5]. Это — архитектуры с
использованием нелинейного преобразования одного из ассоциируемых векторов, с использованием входовметок, с использованием векторов-меток и (в дополнение к предыдущему) с раздельной записью
комбинаций сигналов, кодирующих вектора-метки. Каждая из архитектур имеет свои достоинства и
недостатки. Подобного рода нейронные сети могут найти применение в распознающих устройствах и в
системах искусственного интеллекта.
В дальнейшем было осознано, что элементы сложных информационных объектов разной природы
могут быть представлены знакопеременными псевдослучайными функциями, и что объекты в целом также
могут быть представлены такими функциями, полученными в результате преобразования функций,
соответствующих элементам, по некоторым правилам, так что в итоговой функции оказывается
“закодированной” структура объекта в целом с учётом как его элементного состава, так и отношений между
элементами. Важно подчеркнуть, что получение меры сходства объектов, представленных таким образом,
может быть осуществлено предельно быстро — за один такт.
Эта технология применима к строкам символов, словам, фрагментам текстов, математическим
формулам, структурам молекул, графам, графическим символам, изображениям некоторых типов, сложным
колебательным сигналам. Формирование псевдослучайных представлений осуществляется с
использованием операций суммирования, умножения, сдвига и некоторых декоррелирующих
преобразований. В качестве примера на рис. 2 показано формирование псевдослучайных функций для
набора букв.
Рис. 2. Примеры формирования псевдослучайных функций, соответствующих набору букв. Вверху –
графики функций, соответствующих отдельным буквам. Внизу 1 – произведение функций, 2- сумма
всех функций, 3 – произведение функций, сдвинутых в соответствии с расположением букв в столбце.
Произведение функций позволяет по величине коэффициента корреляции обнаружить точное
совпадение с другим набором букв без учета расположения букв друг относительно друга в строке или
столбце. Сумма функций позволяет обнаруживать точное или приближенное совпадение наборов букв по
сумме модулей разностей отсчетов функций и находить ближайший по составу набор по величине
коэффициента корреляции. Произведение функций, сдвинутых в соответствии с положением букв в строке
или столбце позволяет обнаруживать точное совпадение последовательностей букв (в частности, — слов).
Возможно также формирование псевдослучайных представлений, позволяющих опознавать слова при
наличии ошибок. Для более сложных объектов необходимо разрабатывать специальные правила
формирования псевдослучайных представлений.
В вычислительной технике и информатике давно применяется представление информационных
объектов и состояний физических систем псевдослучайными двоичными кодами. Использование
знакопеременных псевдослучайных функций, с теоретической точки зрения, — более гибкий и
универсальный подход. Эффективная практическая реализация соответствующей обработки требует
использования физических элементов, способных работать с разнополярными сигналами. Однако,
некоторые задачи могут эффективно решаться и с использованием обычных средств вычислительной
техники.
Всё, о чём здесь рассказано, обосновано математическими выкладками и компьютерным
моделированием. Более подробные сведения можно найти в публикациях, список которых приведён ниже.
Литература
1.
2.
3.
4.
5.
6.
7.
8.
9.
Соломатин В.Ф. Модель запоминающего устройства на нейроноподобных элементах, реализующего
голографические принципы записи и считывания информации // Проблемы бионики. Вып. 6. Харьков :
Изд-во ХГУ, 1971. С. 56-60.
Крайзмер Л.П., Соломатин В.Ф. Бионическая модель ассоциативной распределенной памяти //
Запоминающие устройства. Вып. 5. Л.: Энергия, 1980. С. 89-94.
Соломатин В.Ф. Программируемый кодовый преобразователь / Авт. свид. СССР № 1259334 //
Бюллетень изобретений. 1986. № 35.
Соломатин В.Ф. Запоминающее устройство / Авт. свид. СССР № 491999 // Бюллетень изобретений.
1975. № 42.
Соломатин В.Ф. О структурах для ассоциирования и о процессах ассоциирования векторов //
Нейроинформатика-2002 IV Всеросс. науч.- технич. конф. Сб. науч. трудов. Ч. 1. М.: Изд. МИФИ, 2002.
С. 157-161.
Соломатин В.Ф. Теория ассоциативных запоминающих устройств с распределенной записью
информации // Автометрия. 1982. № 1. С. 29.
Соломатин В.Ф. Нейрокомпьютеры и мозг // Проблемы нейрокибернетики (материалы XII междунар.
конф. по нейрокибернетике). Ростов-на-Дону : Изд. СКНЦВШ, 1999. С. 159-161.
Соломатин В.Ф. Анализ помех в квазиголографических нейронных моделях памяти // Биофизика. 1999.
Т. 44. Вып. 1. С. 123-127.
Соломатин В.Ф. Псевдослучайные функции и «моделирование мозга» // Нейроинформатика и её
приложения : Материалы X Всероссийского семинара. Красноярск : ИПЦ КГТУ, 2002. С. 123-124.