Задание 7

Лабораторная работа № 7
Тема: Исследование эффективности линейных классификаторов на примере задачи
распознавания двухкомпонентной смеси нормальных законов распределения.
Задание: Каждый студент должен написать программу, позволяющую пользователю
выполнять следующие действия.
1. Чтение из файла данных либо непосредственное моделирование в программе обучающей
выборки объема N o и контрольной выборки объема N k из смеси двух нормальных
законов распределения
c


p x    P i  p x  i 
i 1
P i  - априорные вероятности классов,


p x  i  ~ N  i ,  i  - нормальные условные плотности распределения векторов признаков
где параметры с=2 – число классов;
задаются пользователем в программе либо в файле данных
2. Отображение точек обучающей либо контрольной выборок (по требованию
пользователя) на произвольных двумерных проекциях (своим цветом для каждого
класса).
3. Выбор уровня обобщения линейного классификатора
а) уровень 1 - простая схема пополнения :
размерность пространства признаков dˆ  d  1 ;


t
t
y  1, x1 , x 2  , x d  ; a  w0 , w1 , w2 , , wd 
б) уровень 2 - линеаризация квадратичной разделяющей функции :
размерность пространства признаков dˆ  d  1  d  d  1 2 ;
t

y  1, x1 , x2 , xd , x12 , x1 x2 , x1 x3 ,, x1 xd , x22 , x2 x3 ,, x2 xd ,, xd2  ;

t
a  w0 , w1 , w2 , , wd , w11 , w12 , , w1d , w22 , w23 , , w2 d , , wdd 
4. Обучение линейного классификатора c заданным уровнем обобщения по обучающей
выборке одним из следующих алгоритмов, основанных на процедуре минимизации
функции критерия методом градиентного спуска :
а) персептронная функция критерия, базовый алгоритм минимизации;
б) персептронная функция критерия, алгоритм с коррекцией на каждом шаге ;
в) критерий релаксаций, базовый алгоритм минимизации;
г) критерий релаксаций, алгоритм с коррекцией на каждом шаге .
5. Классификация всех точек контрольной выборки линейным классификатором,
графическое отображение классифицированных точек на произвольно выбираемых
пользователем двумерных проекциях (все ошибочно классифицированные точки –
особым цветом)
6. Расчет и отображение следующих показателей вычислительной эффективности
алгоритма обучения и качества классификатора :
– времени, затраченного на обучение классификатора
– оценки вероятности ошибки классификации па контрольной выборке
1
Pˆ ош  
число ошибок
число классифицируемых точек
– матрицы трансформаций вида
Стало
Было
Класс 1
Класс 2
Класс 1
Т11
Т12
Класс 2
Т21
Т22
где Tij - число точек j-го класса, отнесенных классификатором к i-му классу
Примечание. В итоговом отчете должны быть проиллюстрированы все возможности
написанной программы. Кроме того, необходимо провести и отразить в отчете исследование
зависимости времени обучения и средней ошибки классификации на контрольной выборке
достаточно большого размера ( N k =5-10 тыс. точек) от размера обучающей выборки,
например, при N o ~ 10,100,1000 ,10000 .
Варианты: Без вариантов
2