s 1

Макет помехоустойчивого нейрофильтра
границ для обработки видеоинформации
С.А. Чернышев
Санкт-Петербургский государственный университет
аэрокосмического приборостроения
2012
Постановка задачи
Главной задачей проекта:
“Макет помехоустойчивого нейрофильтра границ для обработки
видеоинформации” является аппаратная реализация нейрофильтра для выделения
границы на зашумленном видеоизображении в реальном масштабе времени.
Решение задачи разбито на этапы:
1.Освоение: САПР Quartus II, NIOS II, Altera SOPC Builder;
2.Перенос готовой модели нейрофильтра (обученного по одношаговой процедуре
обучения) из Matlab на ПЛИС;
3.Реализация нейрофильтра в виде IP-Core на языке Verilog HDL;
4.Конфигурация параметров нейрофильтра по JTAG UART;
5.Создание демонстрационного стенда.
КОНЦЕПЦИЯ ФИЛЬТРА ГРАНИЦ НА ОСНОВЕ НЕЙРОННОЙ СЕТИ (1)
Кусочно- линейная
активационная функция
Фильтр 5*6
S1
S2
F(x)
S1
S5
(S,W)
S2
S6
S7
S10
S20
..
S25
RESi,j
SNSEN
Изображение
THmin
THmax
1
ТЕРМИНОЛОГИЯ
- “ ОБУЧЕНИЕ” процедура определения вектора W и порогов
функции ;
активационной
“ОБУЧЕНИЕ ЧЕРЕЗ ПОКАЗ“ - “ОБУЧЕНИЕ” c помощью набора
“ПРИМЕРОВ” ;
- “ПРИМЕР” – пара изображений “ИСХОДНОЕ ИЗОБРАЖЕНИЕ” и
“РЕЗУЛЬТИРУЮЩЕЕ ИЗОБРАЖЕНИЕ”;
ОДНОШАГОВАЯ ПРОЦЕДУРА ОБУЧЕНИЯ (2)
S1(0,0) S2(0,0)
w1
S1(0,1) S2(0,1) ................. 1
………………………………..
w2
S1(i,j) S2(i,j )
Snsen(i,j)
*
F(0,0)
=
…..
………
F( i,j)
1
…………………………………
F(0,1)
wnsen+1
………
S * W = F - некорректная по Адамару задача для определения W
S - прямоугольная матрица, сформированная из исходного изображения;
F - вектор, сформированный из результирующего изображения;
Регуляризация по Тихонову обеспечивает устойчивое решение
min
w
F(w) = (SW - F, SW – F) +  (W,W)
Процедура обучения без учета порогов
W = (ST S +  E) –1 ST F
ОБУЧЕНИЕ ПО НАБОРУ ПРИМЕРОВ
ПРОЦЕДУРА ОДНОШАГОВОГО ОБУЧЕНИЯ
W = (ST S +  E) –1 ST F
СЛУЧАЙ ДВУХ ПРИМЕРОВ
Пример_1 :
S1
Пример_2 : S2
S1
F1
S =
F2
F1
F =
S2
F2
Обучение по одному примеру
W1 = (S1T S1 +  E) –1 * S1
Обучение по двум примерам
W2 = (S1T S1 + S 2T S2 +  E) –1 * (S1T F1+S2T F2)
T
F1
ПРОЦЕДУРА ДООБУЧЕНИЯ
Введем :
Sek =
Fek =
∑ SkTSk - матрица предыдущего опыта с k примерами
∑ SkTFk – вектор опыта с k примерами
Wk+1 = (Sek + S k+1T Sk+1 +  E) –1 * (Fek+Sk+1T Fk+1)
КЛЮЧЕВЫЕ ВОПРОСЫ ПРИ СИНТЕЗЕ ФИЛЬТРА
КАКАЯ ДЛИНА ФИЛЬТРА ДОЛЖНА БЫТЬ ИСПОЛЬЗОВАНА ?
Условие симметрии ограничивает к-во
коэффициентов (весов):
- 3*3
- 5*5
- 7*7
=>
3+3 =>
6+4 =>
3
6
10
КАКОГО ТИПА ПРИМЕРЫ ДОЛЖНЫ БЫТЬ ИСПОЛЬЗОВАНЫ ?
- ГРАНИЦЫ ЗАДАВАЕМЫЕ ВРУЧНУЮ
С РЕГУЛИРУЕМОЙ ТОЛЩИНОЙ
(на изображении толщина 2) ?
- ЛАПЛАС, SOBEL, CANNY ?
CLEAN_REC1
BORDER_REC1
NOISY_REC1
КАК МНОГО ПРИМЕРОВ НАДО ?
- ПРЯМОУГОЛЬНИКИ, КРУГИ , ТИП ШУМА…?;
- СМЕШАНЫЙ НАБОР …..?
CLEAN_BAL1
BORDER_BAL1
NOISY_BAL1
Веса нейрофильтра и их преобразование для
представления на аппаратном уровне
 - 0,23
1,693  10
- 0,23 


-6
-6
Н 32  1,684  10
1
1,684  10 
 - 0,23
1,693  10-6
- 0,23 

-6
H52
Н 32 _ CONST : -1,706  1012
Веса нейрофильтра 3х3+1, обучение на по двум
примерам. Границы на изображении, которое хотим
получить задавались вручную.

 0.105
  0.086

   0.018


 0.084

  0.101
 0.071  2.54  10
0.023
0.149
0.146
0.533
0.019
0.136
 0.064 3.808  10
 3
 3


 0.085 
0.027

 3
0.15  9.57  10 

 0.097
0.013


 0.071
 0.095 
 0.075
 0.099
H52_CONST :  2.265
Веса нейрофильтра 5х5+1, обучение: по двум
примерам.Границы на изображении, которое хотим
получить задавались вручную.
Ниже приведем пример перевода вещественных значений весовых коэффициентов в целочисленный вид, для
их использования в аппаратной реализации.
Допустим Х – некоторое вещественное число (-1,2365). Х умножаем на 10 000, после чего
осуществляем сдвиг влево на 12, что эквивалентно умножению на 4096, и делим на 10 000. Получаем число 5064 или EC38 в шестнадцатеричной системе счисления. Получившийся результат умножаем на значение
пикселя (например 138) и получаем -698832 или F55630, после чего осуществляем сдвиг вправо на 12.
Итоговое значение будет -171 или F55. Теперь осуществим простое умножение (-1,2365*138)= -170,637. Как
видим результаты вполне идентичные. Для сокращения времени расчетов был написан скрипт в MATLAB,
который производит необходимые вычисления и выводит результат в шестнадцатеричном виде.
Реализация умножения значения пикселя на весовой
коэффициент нейрофильтра
Использован модуль (MULT_ADD из Altera
MegaWizard) для умножения одной пары значений,
поэтому сумматор на выходе не используется.
 Если перемножается больше одной пары значений,
то на выходе модуля имеется сумматор (макс. число
перемножаемых пар, которое можно
сконфигурировать в одном модуле, значений равно 4).
По шине dataa_0 передается весовой коэффициент нейрофильтра, поскольку он может быть как
отрицательным, так и положительным то тип данных передаваемый по этой шине сконфигурирован, как
Signed. Разрядность шины выбиралась в соответствии с разрядностью весовых коэффициентов,
полученных в Matlab, при их переводе из вещественных в целочисленные.
По шине datab_0 передается значение пикселя, поэтому тип данных передаваемых по этой шине
сконфигурирован, как Unsigned. А разрядность данной шины равна 8 (от 0 до 255 соответственно).
Выходная шина в 28 бит выбрана не случайно, поскольку после умножения значения пикселя и
весового коэффициента нейрофильтра осуществляется сдвиг вправо на 12 (см. слайд выше), то на
следующий за модулями MUTL_ADD параллельный сумматор подаются 16 битные значения.
Умножение происходитс приходом сигнала разрешения ena0, по фронту синхросигнала clock0.
Концепция аппаратной реализации нейрона 3х3+1
Значение пикселя
и веса нейрона
MULT_ADD 1D
1
MULT_AD
3х3
----------
ADD
Функция
активации
MULT_ADD 3
Wсв
3х3
Каждый элемент MULT_ADD сконфигурирован для перемножения 3-х пар
значений на входе модуля и сложения полученных результатов умножения на
выходе. После чего с каждого блока MULT_ADD данные подаются на
параллельный сумматор ADD, а в последующем на блок функции активации
(порогового значения). Значение Wсв (десятый весовой коэффициент
нейрофильтра) сразу подается на параллельный сумматор.
Концепция аппаратной реализации нейрона 5х5+1
Значение пикселя
и веса нейрона
MULT_AD
MULT_ADD 1D
1
4х4
---------ADD
MULT_ADD 6
4х4
Функция
активации
Wсв
MULT_ADD

В данном случае в модуль MULT_ADD отвечает за перемножение 4-х
пар значений (максимально возможное число перемножаемых значений,
которое можно сконфигурировать). Поскольку необходимо перемножить 25 пар
значений, а одним модулем перемножается 4 пары, то используется 6 модулей
по 4 и один модуль для перемножения одной пары (значение пикселя и
весового коэффициента нейрофильтра) . Wсв – 26-й весовой коэффициент
нейрофильтра.
Структура IP-Core
Интеграция на шину Avalon
Top-level
Входной
видеопоток
Neuron-level
Сдвиговые
регистры
Выходной
видеопоток
Умножительсумматор
Параллельный
сумматор
IP-Core описывался на Verilog, умножитель, сдвиговый регистр, сумматор сгенерировали при помощи MegaWizard и подключили в описываемое ядро.
Компоновка проекта в Altera SOPC Builder
Используемые ресурсы ПЛИС
А
Б
А - необходимые ресурсы для реализации нейрофильтра 3х3+1;
Б - необходимые ресурсы для реализации нейрофильтра 5х5+1.
Из приведенных выше данных видно, что в структуре 5х5+1 число блоков
DSP увеличилось почти в 2,5 раза.
Проделанная работа
При аппаратной реализации нейрона были решены следующие проблемы:
1. Разработка концепции аппаратной реализации нейрона;
2. Описание арифметики посредством подключения сгенерированных
модулей из Altera MegaWizard;
3. Описание Top-level IP-Core нейрона, интеграция на шину Avalon и его
конфигурация через софт-процессор NIOS II в составе SOPC (System on
a Programmable Chip);
4. Удобное представление весов нейрона при их переносе из Matlab;
5. Регулирование при помощи функции активации выходного состояния
нейрона.
Демонстрация рабочего стенда
Инверсия выходного видеопотока, при пороговом значении = 15
Используемые публикации
1. Астапкович А.М. Синтез адаптивного помехоустойчивого фильтра границ
на основе нейронной сети. СПб, 2010
2. Astapkovitch A.M. Оne step learning procedure for neural net control system.
Proc. International forum “Information systems. Problems, perspectives , innovation
approaches” , p.3-9,SUAI Saint-Petersburg, 2007