ОБЗОР СОВРЕМЕННЫХ ИССЛЕДОВАНИй ПО ПРОБЛЕМЕ

ÓÄÊ 007.52:681.581.2; 681.237.12
ÎÁÇÎÐ ÑÎÂÐÅÌÅÍÍÛÕ ÈÑÑËÅÄÎÂÀÍÈÉ ÏÎ ÏÐÎÁËÅÌÅ
ÊÀ×ÅÑÒÂÀ ÎÁÓ×ÅÍÈß ÀËÃÎÐÈÒÌÎÂ
Ê.Â. Âîðîíöîâ
Âû÷èñëèòåëüíûé öåíòð èìåíè À.À.Äîðîäíèöûíà ÐÀÍ Ðô
ã.Ìîñêâà, ÃÑÏ1,óë.Âàâèëîâà, 40, 119991
e-mail:
voron@ccas.ru
The review considers basic ideas of machine learning theory concerning generalization bounds and
learning algorithms grounds. Among them are: classical VC theory and structural risk minimization,
eective VC-dimension and data-dependent bounds, margin, ensembles of algorithms (weighted voting,
boosting and bagging), stability, cross-validation. A new combinatorial approach to proving nonprobabilistic generalization bounds is considered a little more detailed.
Ââåäåíèå
Âîïðîñ î êà÷åñòâå àëãîðèòìîâ, ñèíòåçèðîâàííûõ ïî êîíå÷íûì âûáîðêàì ïðåöåäåíòîâ, ÿâëÿåòñÿ ôóíäàìåíòàëüíîé ïðîáëåìîé òåîðèè îáó÷àåìûõ ñèñòåì (machine
learning theory).
 îáùåì ñëó÷àå çàäà÷à îáó÷åíèÿ ïî ïðåöåäåíòàì çàêëþ÷àåòñÿ â òîì, ÷òîáû ïî
çàäàííîé âûáîðêå ïàð ¾îáúåêò-îòâåò¿ âîññòàíîâèòü ôóíêöèîíàëüíóþ çàâèñèìîñòü
ìåæäó îáúåêòàìè è îòâåòàìè, òî åñòü ïîñòðîèòü àëãîðèòì, ñïîñîáíûé âûäàâàòü àäåêâàòíûå îòâåòû íà ïðåäúÿâëÿåìûå îáúåêòû. Êîãäà ìíîæåñòâî äîïóñòèìûõ îòâåòîâ
êîíå÷íî, ãîâîðÿò î çàäà÷àõ êëàññèôèêàöèè èëè ðàñïîçíàâàíèÿ îáðàçîâ. Êîãäà ìíîæåñòâî äîïóñòèìûõ îòâåòîâ áåñêîíå÷íî, íàïðèìåð, ÿâëÿåòñÿ ìíîæåñòâîì äåéñòâèòåëüíûõ ÷èñåë èëè âåêòîðîâ, ãîâîðÿò î çàäà÷àõ âîññòàíîâëåíèÿ ðåãðåññèè. Êîãäà
îáúåêòû ñîîòâåòñòâóþò ìîìåíòàì âðåìåíè, à îòâåòû õàðàêòåðèçóþò áóäóùåå ïîâåäåíèå ïðîöåññà èëè ÿâëåíèÿ, ãîâîðÿò î çàäà÷àõ ïðîãíîçèðîâàíèÿ.
Çíà÷èòåëüíûé îïûò ðåøåíèÿ ïðèêëàäíûõ çàäà÷ òàêîãî òèïà áûë íàêîïëåí óæå
ê ñåðåäèíå 60-õ ãîäîâ XX âåêà. Áîëüøóþ ïîïóëÿðíîñòü ïðèîáð¼ë ïîäõîä, îñíîâàííûé íà ïîñòðîåíèè ìîäåëè âîññòàíàâëèâàåìîé çàâèñèìîñòè â âèäå ïàðàìåòðè÷åñêîãî
ñåìåéñòâà àëãîðèòìîâ. Ñ ïîìîùüþ ÷èñëåííîé îïòèìèçàöèè â ñåìåéñòâå âûáèðàëñÿ
àëãîðèòì, äîïóñêàþùèé íàèìåíüøåå ÷èñëî îøèáîê íà çàäàííîé îáó÷àþùåé âûáîðêå.
Ïðîùå ãîâîðÿ, îñóùåñòâëÿëàñü ïîäãîíêà (tting) ìîäåëè ïîä âûáîðêó. Ôóíêöèîíàë
÷àñòîòû îøèáîê èëè ñðåäíåé îøèáêè àëãîðèòìà íà îáó÷àþùåé âûáîðêå ïðèíÿòî íàçûâàòü ýìïèðè÷åñêèì ðèñêîì, à ñàì ïîäõîä ìèíèìèçàöèåé ýìïèðè÷åñêîãî ðèñêà.
Íà ïðàêòèêå èññëåäîâàòåëè ñòîëêíóëèñü ñ ýôôåêòîì, íàçûâàåìûì ïåðåîáó÷åíèåì èëè ïåðåïîäãîíêîé (overtraining, overtting). ×åì áîëüøå ó àëãîðèòìà ñâîáîäíûõ
ïàðàìåòðîâ, òåì ìåíüøåãî ÷èñëà îøèáîê íà îáó÷åíèè ìîæíî äîáèòüñÿ ïóò¼ì îïòèìèçàöèè. Îäíàêî ïî ìåðå íàðàñòàíèÿ ñëîæíîñòè ìîäåëè ¾îïòèìàëüíûå¿ àëãîðèòìû
íà÷èíàþò ñëèøêîì õîðîøî ïîäñòðàèâàòüñÿ ïîä êîíêðåòíûå äàííûå, óëàâëèâàÿ íå
6
Ê.Â. Âîðîíöîâ
òîëüêî ÷åðòû âîññòàíàâëèâàåìîé çàâèñèìîñòè, íî è îøèáêè èçìåðåíèÿ îáó÷àþùåé
âûáîðêè, è ïîãðåøíîñòü ñàìîé ìîäåëè.  ðåçóëüòàòå óõóäøàåòñÿ êà÷åñòâî ðàáîòû
àëãîðèòìà âíå îáó÷àþùåé âûáîðêè, èëè, êàê ãîâîðÿò, åãî ñïîñîáíîñòü ê îáîáùåíèþ
(generalization performance) .
Èç ýòîãî íàáëþäåíèÿ áûë ñäåëàí âûâîä, ÷òî äëÿ âñÿêîé çàäà÷è ñóùåñòâóåò îïòèìàëüíàÿ ñëîæíîñòü ìîäåëè, ïðè êîòîðîé äîñòèãàåòñÿ íàèëó÷øåå êà÷åñòâî îáîáùåíèÿ.
Ïåðâûì ôîðìàëüíûì îáîñíîâàíèåì ýòîãî ïðàêòè÷åñêîãî îïûòà ñòàëà ñòàòèñòè÷åñêàÿ
òåîðèÿ âîññòàíîâëåíèÿ çàâèñèìîñòåé ïî ýìïèðè÷åñêèì äàííûì, ðàçðàáîòàííàÿ Â. Í.
Âàïíèêîì è À. ß. ×åðâîíåíêèñîì â êîíöå 60-õ íà÷àëå 70-õ ãîäîâ [1]-[2]-[3].
1. Ñòàèñòè÷åñêàÿ òåîðèÿ Âàïíèêà-×åðâîíåíêèñà
 ñòàòèñòè÷åñêîé òåîðèè ïðåäïîëàãàåòñÿ, ÷òî íà ìíîæåñòâå îáúåêòîâ ñóùåñòâóåò íåêîòîðîå (íåèçâåñòíîå) ðàñïðåäåëåíèå âåðîÿòíîñòåé, è îáó÷àþùàÿ ñîâîêóïíîñòü
îáúåêòîâ âûáèðàåòñÿ ñëó÷àéíî è íåçàâèñèìî â ñîîòâåòñòâèè ñ äàííûì ðàñïðåäåëåíèåì. Ïðåäïîëàãàåòñÿ òàêæå, ÷òî àëãîðèòì, ìèíèìèçèðóþùèé ýìïèðè÷åñêèé ðèñê,
èùåòñÿ â íåêîòîðîì çàðàíåå ôèêñèðîâàííîì ñåìåéñòâå àëãîðèòìîâ. Îíî ìîæåò ñîäåðæàòü ìíîæåñòâî àëãîðèòìîâ, äîñòàâëÿþùèõ ìèíèìóì ýìïèðè÷åñêîìó ðèñêó, îäíàêî â ñòàòèñòè÷åñêîé òåîðèè ñïîñîá ïîñòðîåíèÿ àëãîðèòìà (ìåòîä îáó÷åíèÿ) íå ðàññìàòðèâàåòñÿ è ïðåäïîëàãàåòñÿ, ÷òî â êà÷åñòâå ðåøåíèÿ ìîæåò áûòü âûäàí ëþáîé
àëãîðèòì èç ýòîãî ìíîæåñòâà.
Îáîáùàþùàÿ ñïîñîáíîñòü îïðåäåëÿåòñÿ êàê âåðîÿòíîñòü îøèáêè íàéäåííîãî àëãîðèòìà, ëèáî êàê ÷àñòîòà åãî îøèáîê íà íåèçâåñòíîé êîíòðîëüíîé âûáîðêå, òàêæå
ñëó÷àéíîé, íåçàâèñèìîé è îäèíàêîâî ðàñïðåäåë¼ííîé.
Äàëåå ïîñòóëèðóåòñÿ ïðèíöèï ðàâíîìåðíîé ñõîäèìîñòè (uniform convergence) ÷àñòîòû îøèáîê. ×òîáû ïî ÷àñòîòå îøèáîê íàéäåííîãî àëãîðèòìà íà îáó÷àþùåé âûáîðêå ìîæíî áûëî ñóäèòü î ÷àñòîòå åãî îøèáîê íà ëþáîé äðóãîé âûáîðêå, ýòè ÷àñòîòû äîëæíû ñòðåìèòüñÿ äðóã ê äðóãó ñ ðîñòîì äëèíû âûáîðêè, ïðè÷¼ì îäíîâðåìåííî (ðàâíîìåðíî) ïî âñåìó ñåìåéñòâó àëãîðèòìîâ. Îöåíêè êà÷åñòâà îáó÷åíèÿ â
ñòàòèñòè÷åñêîé òåîðèè ÿâëÿþòñÿ, ïî ñóòè äåëà, îöåíêàìè ñêîðîñòè ýòîé ñõîäèìîñòè. Èìåííî ïðèíöèï ðàâíîìåðíîé ñõîäèìîñòè è ïðèâîäèò ê ââåäåíèþ ñïåöèàëüíîé
ìåðû ñëîæíîñòè ñåìåéñòâà àëãîðèòìîâ, íàçûâàåìîé ¼ìêîñòüþ èëè ðàçìåðíîñòüþ
Âàïíèêà-×åðâîíåíêèñà (VC-dimension).
Ïîëó÷åíèå îöåíîê ¼ìêîñòè äëÿ êîíêðåòíûõ ñåìåéñòâ àëãîðèòìîâ ÿâëÿåòñÿ îòäåëüíîé, çà÷àñòóþ äîâîëüíî òðóäíîé, çàäà÷åé. Ïðàêòè÷åñêè ñðàçó áûëî äîêàçàíî, ÷òî
¼ìêîñòü ñåìåéñòâà ëèíåéíûõ ðåøàþùèõ ïðàâèë ðàâíà ÷èñëó ñâîáîäíûõ ïàðàìåòðîâ
èëè, ÷òî òî æå ñàìîå, ðàçìåðíîñòè ëèíåéíîãî ïðîñòðàíñòâà, â êîòîðîì ñòðîèòñÿ ðàçäåëÿþùàÿ ãèïåðïëîñêîñòü. Îöåíêè ¼ìêîñòè ïîëó÷åíû òàêæå äëÿ íåéðîííûõ ñåòåé
[30]-[26]-[54]-[67], ðåøàþùèõ äåðåâüåâ [10], êîððåêòíûõ àëãåáðàè÷åñêèõ çàìûêàíèé
ïîäìîäåëè ÀÂÎ [15], êîìèòåòíûõ ðåøàþùèõ ïðàâèë [65], è äðóãèõ ñåìåéñòâ.
¾Òàâðè÷åñêèé âåñòíèê èíôîðìàòèêè è ìàòåìàòèêè¿, 1 2004
Îáçîð ïî ïðîáëåìå êà÷åñòâà îáó÷åíèÿ àëãîðèòìîâ
7
Îñíîâíûì ðåçóëüòàòîì ñòàòèñòè÷åñêîé òåîðèè ÿâëÿþòñÿ êîëè÷åñòâåííûå îöåíêè,
ñâÿçûâàþùèå íàä¼æíîñòü àëãîðèòìîâ ñ äëèíîé îáó÷àþùåé âûáîðêè è ñëîæíîñòüþ
ñåìåéñòâà. Ýòè îöåíêè ïîçâîëÿþò îáîñíîâàòü ìåòîä ñòðóêòóðíîé ìèíèìèçàöèè ðèñêà (ÑÌÐ), íåïîñðåäñòâåííî íàïðàâëåííûé íà âûáîð ìîäåëè îïòèìàëüíîé ñëîæíîñòè.
 ÑÌÐ ôèêñèðóåòñÿ îïðåäåë¼ííàÿ ñòðóêòóðà âëîæåííûõ ïîäñåìåéñòâ ðàçëè÷íîé
ñëîæíîñòè, çàòåì â êàæäîì ïîäñåìåéñòâå ðåøàåòñÿ çàäà÷à îáó÷åíèÿ ïî ïðåöåäåíòàì, è èç ïîëó÷åííûõ àëãîðèòìîâ âûáèðàåòñÿ òîò, äëÿ êîòîðîãî îöåíêà êà÷åñòâà
ïðèíèìàåò íàèëó÷øåå çíà÷åíèå.
Ê ñîæàëåíèþ, îöåíêè Âàïíèêà-×åðâîíåíêèñà ñèëüíî çàâûøåíû, ÷òî ïðèâîäèò ê
òðåáîâàíèþ ñëèøêîì äëèííûõ îáó÷àþùèõ âûáîðîê (105106 îáúåêòîâ), à â ìåòîäå ñòðóêòóðíîé ìèíèìèçàöèè ðèñêà ê ÷ðåçìåðíîìó óïðîùåíèþ àëãîðèòìîâ [55].
Íåêîòîðûå ñåìåéñòâà èìåþò áåñêîíå÷íóþ ¼ìêîñòü è íàõîäÿòñÿ çà ãðàíèöàìè ïðèìåíèìîñòè òåîðèè, òåì íå ìåíåå ñ èõ ïîìîùüþ óäà¼òñÿ ðåøàòü ïðèêëàäíûå çàäà÷è,
è äîâîëüíî óñïåøíî.  ÷àñòíîñòè. ýòî îòíîñèòñÿ ê ìåòðè÷åñêèì ìåòîäàì, îñíîâàííûì íà ÿâíîì õðàíåíèè îáó÷àþùåé âûáîðêè, òàêèì êàê ìåòîä áëèæàéøèõ ñîñåäåé,
à òàêæå ê ìåòîäàì àëãåáðàè÷åñêîãî ïîäõîäà [12]-[6], ãàðàíòèðóþùèì áåçîøèáî÷íîå
ðàñïîçíàâàíèå çàäàííîé âûáîðêè. Íà ïðàêòèêå êà÷åñòâî îáó÷åíèÿ ïî÷òè âñåãäà îêàçûâàåòñÿ ñóùåñòâåííî ëó÷øå, ÷åì ïðåäñêàçûâàåò ñòàòèñòè÷åñêàÿ òåîðèÿ.
Ïðè÷èíà çàâûøåííîñòè ñòàòèñòè÷åñêèõ îöåíîê êðîåòñÿ â èõ ñëèøêîì áîëüøîé
îáùíîñòè. Îíè îðèåíòèðîâàíû íà ¾õóäøèé ñëó÷àé¿ è íå ó÷èòûâàþò òð¼õ âàæíûõ
îñîáåííîñòåé ñàìîé çàäà÷è è ïðîöåññà ïîèñêà å¼ ðåøåíèÿ, êîòîðûå ìîãóò îêàçûâàòü
ðåøàþùåå âëèÿíèå íà êà÷åñòâî îáó÷åíèÿ.
Âî-ïåðâûõ, ýòî îñîáåííîñòè ðàñïðåäåëåíèÿ îáúåêòîâ â ïðîñòðàíñòâå.  ÷àñòíîñòè,
îíè ìîãóò ëåæàòü â ïîäïðîñòðàíñòâå ìåíüøåé ðàçìåðíîñòè. Ýòîò ¾âûðîæäåííûé¿
ñëó÷àé äîâîëüíî ðàñïðîñòðàí¼í, ïîñêîëüêó â ïðèêëàäíûõ çàäà÷àõ íàëè÷èå çàâèñèìûõ èëè ïî÷òè çàâèñèìûõ ïðèçíàêîâ ÿâëÿåòñÿ ñêîðåå ïðàâèëîì, ÷åì èñêëþ÷åíèåì.
Âî-âòîðûõ, ýòî îñîáåííîñòè ñàìîé âîññòàíàâëèâàåìîé çàâèñèìîñòè. Îíà ìîæåò
áûòü ãëàäêîé, ñèììåòðè÷íîé, ìîíîòîííîé èëè îáëàäàòü äðóãèìè ñïåöèàëüíûìè ñâîéñòâàìè, ÷òî ðåçêî ñóæàåò ïðîñòðàíñòâî ïîèñêà ðåøåíèÿ.
Â-òðåòüèõ, ýòî îñîáåííîñòè ìåòîäà îáó÷åíèÿ. Îí ìîæåò ïîäñòðàèâàòüñÿ ïîä çàäà÷ó, îáðàçóÿ ýôôåêòèâíîå ïîäñåìåéñòâî àëãîðèòìîâ, ðåàëüíî ïîëó÷àåìûõ â ðåçóëüòàòå îáó÷åíèÿ.
Ïîÿâëåíèå ñòàòèñòè÷åñêîé òåîðèè âûçâàëî áîëüøîå êîëè÷åñòâî èññëåäîâàíèé, íàïðàâëåííûõ íà óòî÷íåíèå îöåíîê êà÷åñòâà. Îäíàêî ïðîáëåìà ïîëó÷åíèÿ ÷èñëåííûõ
îöåíîê, íåïîñðåäñòâåííî ïðèìåíèìûõ íà ïðàêòèêå, îêàçàëàñü âûçûâàþùå ãðóäíîé,
è äî ñèõ ïîð îñòà¼òñÿ îòêðûòîé.
Äàëåå áóäóò ïåðå÷èñëåíû íåêîòîðûå íàïðàâëåíèÿ ñîâðåìåííûõ èññëåäîâàíèé ïî
ïðîáëåìàì îáîñíîâàíèÿ îáó÷àåìûõ àëãîðèòìîâ è ïîëó÷åíèÿ îöåíîê êà÷åñòâà îáó÷åíèÿ. Ðàçóìååòñÿ, ïðåäëàãàåìàÿ êëàññèôèêàöèÿ âåñüìà óñëîâíà è íå ïðåòåíäóåò íà
ïîëíîòó.
¾Òàâðiéñüêèé âiñíèê iíôîðìàòèêè i ìàòåìàòèêè¿, 1 2004
8
Ê.Â. Âîðîíöîâ
2. Ýôôåêòèâíàÿ ñëîæíîñòü
Ïåðâîå íàïðàâëåíèå ñâÿçàíî ñ ïîíÿòèåì ýôôåêòèâíîé ñëîæíîñòè. Ïðè ðåøåíèè
êîíêðåòíîé çàäà÷è äàëåêî íå êàæäûé àëãîðèòì èç âûáðàííîãî ñåìåéñòâà èìååò øàíñû áûòü ïîëó÷åííûì â ðåçóëüòàòå îáó÷åíèÿ. Êàê ïðàâèëî, ðåàëüíî ðàáîòàåò íå âñ¼
ñåìåéñòâî, à ëèøü íåáîëüøàÿ åãî ÷àñòü. Ýòîò ôàêò áûë çàìå÷åí åù¼ Â. Í. Âàïíèêîì,
ïðåäëîæèâøèì ïîíÿòèå ýôôåêòèâíîé ¼ìêîñòè âìåñòå ñ àëãîðèòìîì å¼ ïðàêòè÷åñêîãî
èçìåðåíèÿ [80]-[33]. Ýôôåêòèâíàÿ ¼ìêîñòü íå ïðåâîñõîäèò ïîëíîé ¼ìêîñòè ñåìåéñòâà
è çàâèñèò îò âûáîðêè. Îíà ó÷èòûâàåò îñîáåííîñòè èñõîäíîãî ðàñïðåäåëåíèÿ îáúåêòîâ, íî íå ïðèíèìàåò âî âíèìàíèå îñîáåííîñòåé âîññòàíàâëèâàåìîé çàâèñèìîñòè
è ìåòîäà îáó÷åíèÿ.  äàëüíåéøåì êîíöåïöèÿ îöåíîê, çàâèñÿùèõ îò äàííûõ (data
dependent bounds), ïîëó÷èëà ðàçâèòèå âî ìíîãèõ ðàáîòàõ [74]-[82]-[34]-[35]-[28].
Ê ýòîìó íàïðàâëåíèþ ïðèìûêàþò òàêæå ðàáîòû Â. Ë. Ìàòðîñîâà, êîòîðûé âïåðâûå ïîêàçàë, ÷òî ïðè ñïåöèàëüíîì âûáîðå ìåòîäà îáó÷åíèÿ âîçìîæíî îáåñïå÷èòü
êîððåêòíîå ðàñïîçíàâàíèå ëþáîé çàäàííîé îáó÷àþùåé âûáîðêè, ïîëüçóÿñü ïîäìíîæåñòâîì àëãîðèòìîâ îãðàíè÷åííîé ¼ìêîñòè [14]-[15]-[16]. Ïðè ýòîì ïîñòðîåíèå àëãîðèòìà ïðîâîäèòñÿ â àëãåáðàè÷åñêîì ðàñøèðåíèè ñåìåéñòâà ÀÂÎ (àëãîðèòìîâ âû÷èñëåíèÿ îöåíîê)[12].  îòëè÷èå îò ñòàíäàðòíîãî ïîäõîäà, çäåñü ñóùåñòâåííî èñïîëüçóþòñÿ ñâîéñòâà ìåòîäà îáó÷åíèÿ, íî íå ó÷èòûâàþòñÿ îñîáåííîñòè ðàñïðåäåëåíèÿ
îáúåêòîâ è âîññòàíàâëèâàåìîé çàâèñèìîñòè.
Ñòàòüÿ [81] ñîäåðæèò èñòîðè÷åñêèé îáçîð, îòðàæàþùèé ïðîöåññ ïîñòåïåííîãî óòî÷íåíèÿ îöåíîê Âàïíèêà×åðâîíåíêèñà. Îòìå÷àåòñÿ, ÷òî íàèëó÷øàÿ îöåíêà,
ñïðàâåäëèâàÿ ïðè ñàìûõ îáùèõ ïðåäïîëîæåíèÿõ, ïîëó÷åíà Ì. Òàëàãðàíäîì [78]. Íà
å¼ îñíîâå âûâîäèòñÿ íîâàÿ, íåñêîëüêî áîëåå òî÷íàÿ, îöåíêà, ñïðàâåäëèâàÿ ïðè íåêîòîðîì ¾ðàçóìíîì¿ îãðàíè÷åíèè êëàññà âåðîÿòíîñòíûõ ðàñïðåäåëåíèé íà ìíîæåñòâå
èñõîäíûõ îáúåêòîâ.
Ïðè èñïîëüçîâàíèè îöåíîê, çàâèñÿùèõ îò äàííûõ, ìåòîä ñòðóêòóðíîé ìèíèìèçàöèè ðèñêà òðàíñôîðìèðóåòñÿ è ïðèâîäèò ê ïîñòðîåíèþ ñàìîîãðàèè÷èâàþùèõ àëãîðèòìîâ (self bounding learning algorithms) [51]. 01 èñõîäíîãî CMP îíè îòëè÷àþòñÿ
òåì, ÷òî ñòðóêòóðà âëîæåííûõ ïîäñåìåéñòâ íå çàäà¼òñÿ çàðàíåå, à ôîðìèðóåòñÿ â
ïðîöåññå îáó÷åíèÿ.  ýòîì ñëó÷àå îöåíêè êà÷åñòâà ó÷èòûâàþò âñå òðè òèïà îñîáåííîñòåé: ðàñïðåäåëåíèå îáúåêòîâ, ñâîéñòâà âîññòàíàâëèâàåìîé çàâèñèìîñòè è ìåòîäà
îáó÷åíèÿ. Ðåçóëüòàòîì îáó÷åíèÿ ÿâëÿåòñÿ íå òîëüêî ñàì àëãîðèòì, íî è äîñòàòî÷íî
òî÷íàÿ îöåíêà åãî îáîáùàþùåé ñïîñîáíîñòè.
Ïðèíöèï ñàìîîãðàíè÷åíèÿ àëãîðèòìîâ ïðèìåíÿåòñÿ òàêæå äëÿ îáîñíîâàíèÿ ñòàíäàðòíûõ ìåòîäîâ ïîñòðîåíèÿ ðåøàþùèõ äåðåâüåâ [70]. Ýòè ìåòîäû îñíîâàíû íà àíàëîãè÷íîé ñòðàòåãèè â õîäå ïîñòðîåíèÿ àëãîðèòìà ïî îáó÷àþùåé âûáîðêå ïðîèñõîäèò
ïîñëåäîâàòåëüíîå ñóæåíèå ïîäñåìåéñòâà àëãîðèòìîâ, è êîòîðîì âåäåòñÿ ïîèñê ðåøåíèÿ [61].
¾Òàâðè÷åñêèé âåñòíèê èíôîðìàòèêè è ìàòåìàòèêè¿, 1 2004
Îáçîð ïî ïðîáëåìå êà÷åñòâà îáó÷åíèÿ àëãîðèòìîâ
9
3. Îòñòóï (MARGIN)
Âòîðîå íàïðàâëåíèå ñâÿçàíî ñ ïîíÿòèåì îòñòóïà èëè ìàðæè (margin) â çàäà÷àõ êëàññèôèêàöèè ñ ïîðîãîâûì ðåøàþùèì ïðàâèëîì. Íåñêîëüêî óïðîùàÿ, ìîæíî
ñêàçàòü, ÷òî îòñòóï ýòî ðàññòîÿíèå îò îáúåêòà äî ãðàíèöû êëàññîâ. Åñëè îáúåêò
îòíîñèòñÿ àëãîðèòìîì ê ÷óæîìó êëàññó, ãî åãî îòñòóï îòðèöàòåëåí. ×åì áîëüøå â
îáó÷àþùåé âûáîðêå îáúåêòîâ ñ áîëüøèì îòñòóïîì, òåì ëó÷øå ðàçäåëÿþòñÿ êëàññû,
òåì íàä¼æíåå ìîæåò áûòü êëàññèôèêàöèÿ. Èäåÿ óòî÷íåíèÿ îöåíîê êà÷åñòâà çàêëþ÷àåòñÿ â òîì, ÷òîáû ñðàâíèâàòü âåðîÿòíîñòü îøèáêè íå ñ ÷àñòîòîé îøèáîê íà îáó÷åíèè, à ñ äîëåé îáó÷àþùèõ îáúåêòîâ, èìåþùèõ îòðèöàòåëüíûé èëè ìàëûé ïîëîæèòåëüíûé îòñòóï. Ïðè ýòîì âåëè÷èíà ýìïèðè÷åñêîãî ðèñêà èñêóññòâåííî çàâûøàåòñÿ,
çàòî âåðîÿòíîñòü îøèáêè ñóùåñòâåííî áîëåå òî÷íî îöåíèâàåòñÿ ïî îáúåêòàì, äàëåêî
îòñòîÿùèì îò ãðàíèöû êëàññîâ.
Ïîäõîä, îñíîâàííûé íà ïîíÿòèè îòñòóïà, îêàçàëñÿ îñîáåííî ïëîäîòâîðíûì ïðè
èññëåäîâàíèè ëèíåéíûõ ïîðîãîâûõ êëàññèôèêàòîðîâ, â ÷àñòíîñòè, ìàøèí îïîðíûõ
âåêòîðîâ (support vectors machines, SVM) [41]-[77] è ìåòîäîâ âçâåøåííîãî ãîëîñîâàíèÿ.
 ðàáîòå Ï. Áàðòëåòòà [29] âïåðâûå áûëî ïîêàçàíî, ÷òî ýôôåêòèâíàÿ ñëîæíîñòü
âûïóêëîé êîìáèíàöèè êëàññèôèêàòîðîâ ðàâíà íå ñóììàðíîé, è äàæå íå ìàêñèìàëüíîé (êàê ðàíåå ïðåäïîëàãàëîñü), à ñðåäíåé âçâåøåííîé ñëîæíîñòè îòäåëüíûõ êëàññèôèêàòîðîâ, âçÿòûõ ñ òåìè æå âåñàìè, ñ êîòîðûìè îíè âõîäÿò â êîìáèíàöèþ. Èíûìè
ñëîâàìè, âçâåøåííîå ãîëîñîâàíèå íå óâåëè÷èâàåò ñëîæíîñòü àëãîðèòìà, à ëèøü ñãëàæèâàåò ïðîãíîçû áàçîâûõ êëàññèôèêàòîðîâ. Âûòåêàþùèå îòñþäà îöåíêè îáîáùàþùåé ñïîñîáíîñòè ñóùåñòâåííî òî÷íåå êëàññè÷åñêèõ ñëîæíîñòíûõ îöåíîê Âàèíèêà×åðâîèåíêèñà, õîòÿ è îíè âñ¼ åù¼ ñèëüíî çàâûøåíû (òðåáóåìàÿ äëèíà îáó÷åíèÿ èìååò ïîðÿäîê 104 105). Ýòîò ðåçóëüòàò îáîñíîâûâàåò ðÿä ýâðèñòè÷åñêèõ ïðè¼ìîâ, íàïðàâëåííûõ íà óìåíüøåíèå âåñîâ ïðè íàñòðîéêå íåéðîííûõ ñåòåé, òàêèõ êàê ¾weight
decay¿ è ¾early stopping¿. Îí òàêæå ïîçâîëÿåò îáîñíîâàòü àëãîðèòìû, èñïîëüçóþùèå ìåòðèêó (ôóíêöèþ ðàññòîÿíèÿ) â ïðîñòðàíñòâå îáúåêòîâ, åñëè ïðåäïîëîæèòü,
÷òî ðàçäåëÿþùàÿ ïîâåðõíîñòü ïðîõîäèò íà äîñòàòî÷íîì óäàëåíèè îò îáó÷àþùèõ îáúåêòîâ [31].
Ðåçóëüòàòû,ïåðâîíà÷àëüíî ïîëó÷åííûå äëÿ ëèíåéíûõ êîìáèíàöèé, îêàçàëèñü ïðèìåíèìû è ê áîëåå øèðîêîìó êëàññó àëãîðèòìîâ.  ÷àñòíîñòè, áèíàðíûå ðåøàþùèå
äåðåâüÿ è äèçúþíêòèâíûå íîðìàëüíûå ôîðìû äîïóñêàþò ïðåäñòàâëåíèå â âèäå âûïóêëîé êîìáèíàöèè áóëåâûõ ôóíêöèé ñ ïîðîãîâûì ðåøàþùèì ïðàâèëîì [52]. Òåõíèêà îòñòóïà ïîçâîëÿåò îöåíèâàòü îáîáùàþùóþ ñïîñîáíîñòü è áîëåå ñëîæíûõ àëãîðèòìè÷åñêèõ êîìïîçèöèé, ïðåäñòàâèìûõ â âèäå ïîðîãîâûõ âûïóêëûõ êîìáèíàöèé
íàä ïîðîãîâûìè âûïóêëûìè êîìáèíàöèÿìè. Ïðèìåðàìè òàêèõ êîíñòðóêöèé ÿâëÿþòñÿ ñèãìîèäàëüíûå íåéðîñåòè ñ îäíèì ñêðûòûì óðîâíåì è âçâåøåííîå ãîëîñîâàíèå
¾Òàâðiéñüêèé âiñíèê iíôîðìàòèêè i ìàòåìàòèêè¿, 1 2004
10
Ê.Â. Âîðîíöîâ
ðåøàþùèõ äåðåâüåâ [64]. Äëÿ âñåõ ýòèõ ñëó÷àåâ îöåíêè îáîáùàþùåé ñïîñîáíîñòè
âûðàæàþòñÿ ÷åðåç äîëþ îáó÷àþùèõ îáúåêòîâ ñ ìàëûì îòñòóïîì.
Íàèáîëåå ÿðêèì êîíñòðóêòèâíûì ðåçóëüòàòîì äàííîãî ïîäõîäà ÿâëÿþòñÿ ìåòîäû
îáó÷åíèÿ, íàïðàâëåííûå íà ÿâíóþ ìàêñèìèçàöèþ îòñòóïà. Îíè ïîçâîëÿþò ñòðîèòü
àëãîðèòìû ñ ëó÷øåé îáîáùàþùåé ñïîñîáíîñòüþ, ÷òî ïîäòâåðæäàåòñÿ òåîðåòè÷åñêè
è ýêñïåðèìåíòàëüíî [63].
Ñ ïîíÿòèåì îòñòóïà òåñíî ñâÿçàíà åù¼ îäíà ìåðà ñëîæíîñòè ñåìåéñòâà àëãîðèòìîâ, àëüòåðíàòèâíàÿ ôóíêöèè ðîñòà fatðàç ìåðíîñòü (fatshattering
dimension)[57]-[25]-[28].
4. Êîìïîçèöèè Àëãîðèòìîâ
Òðåòüå íàïðàâëåíèå èññëåäîâàíèé ñâÿçàíî ñ ïîíÿòèåì êîìïîçèöèè àëãîðèòìîâ. Âî
ìíîãèõ ïðèêëàäíûõ çàäà÷àõ óäà¼òñÿ ïîñòðîèòü íåñêîëüêî ðàçëè÷íûõ àëãîðèòìîâ, íè
îäèí èç êîòîðûõ íå âîññòàíàâëèâàåò èñêîìóþ çàâèñèìîñòü äîñòàòî÷íî õîðîøî. Òîãäà èìååò ñìûñë îáúåäèíèòü ýòè àëãîðèòìû ñ ïîìîùüþ êîððåêòèðóþùåé îïåðàöèè,
â íàäåæäå íà òî, ÷òî îøèáêè îäíèõ àëãîðèòìîâ áóäóò ñêîìïåíñèðîâàíû äðóãèìè,
è êà÷åñòâî êîìïîçèöèè îêàæåòñÿ ëó÷øå, ÷åì êàæäîãî èç áàçîâûõ àëãîðèòìîâ â îòäåëüíîñòè.
Èçâåñòíî íåñêîëüêî àëüòåðíàòèâíûõ ñïîñîáîâ êîíñòðóèðîâàíèÿ àëãîðèòìè÷åñêèõ
êîìïîçèöèé.
Íàèáîëåå îáùàÿ òåîðèÿ àëãîðèòìè÷åñêèõ êîìïîçèöèé ðàçðàáîòàíà â àëãåáðàè÷åñêîì ïîäõîäå ê ïîñòðîåíèþ êîððåêòíûõ àëãîðèòìîâ, ïðåäëîæåííîì àêàäåìèêîì
ÐÀÍ Þ. È. Æóðàâë¼âûì è àêòèâíî ðàçâèâàåìîì åãî ó÷åíèêàìè [12]-[11].
 ìåòîäå Ë. À. Ðàñòðèãèíà ïðîñòðàíñòâî îáúåêòîâ ðàçáèâàåòñÿ íà îáëàñòè êîìïåòåíòíîñòè, è äëÿ êàæäîé îáëàñòè ñòðîèòñÿ ñâîé àëãîðèòì [17].
 ìåòîäå áàããèíãà (bagging ñîêðàùåíèå îò ¾bootstrap aggregation¿), ïðåäëîæåííîì
Ë. Áðåéìåíîì [38]- [39]-[40], ïðîèçâîäèòñÿ âçâåøåííîå ãîëîñîâàíèå áàçîâûõ àëãîðèòìîâ, îáó÷åííûõ íà ðàçëè÷íûõ ïîäâûáîðêàõ äàííûõ, ëèáî íà ðàçëè÷íûõ ÷àñòÿõ ïðèçíàêîâîãî îïèñàíèÿ îáúåêòîâ. Âûäåëåíèå ïîäìíîæåñòâ îáúåêòîâ è/èëè ïðèçíàêîâ
ïðîèçâîäèòñÿ, êàê ïðàâèëî, ñëó÷àéíûì îáðàçîì.
Ìåòîä áóñòèíãà (boosting), ïðåäëîæåííûé Ð. Ôðåéäîì è È. Øàïèðîì [50]-[47]-[73]
òàêæå ÿâëÿåòñÿ ðàçíîâèäíîñòüþ âçâåøåííîãî ãîëîñîâàíèÿ, íî áàçîâûå àëãîðèòìû
ñòðîÿòñÿ ïîñëåäîâàòåëüíî, è ïðîöåññ óâåëè÷åíèÿ ðàçëè÷èé ìåæäó íèìè óïðàâëÿåòñÿ
äåòåðìèíèðîâàííûì îáðàçîì. À èìåííî, äëÿ êàæäîãî áàçîâîãî àëãîðèòìà, íà÷èíàÿ
ñî âòîðîãî, âåñà îáó÷àþùèõ îáúåêòîâ ïåðåñ÷èòûâàþòñÿ òàê, ÷òîáû îí òî÷íåå íàñòðàèâàëñÿ íà òåõ îáúåêòàõ, íà êîòîðûõ ÷àùå îøèáàëèñü âñå ïðåäûäóùèå áàçîâûå
àëãîðèòìû. Âåñà àëãîðèòìîâ òàêæå âû÷èñëÿþòñÿ èñõîäÿ èç ÷èñëà äîïóùåííûõ èìè
îøèáîê.
¾Òàâðè÷åñêèé âåñòíèê èíôîðìàòèêè è ìàòåìàòèêè¿, 1 2004
Îáçîð ïî ïðîáëåìå êà÷åñòâà îáó÷åíèÿ àëãîðèòìîâ
11
Èäåÿ ïîñëåäîâàòåëüíîé êîìïåíñàöèè îøèáîê ïðåäûäóùèõ àëãîðèòìîâ ðåàëèçîâàíà òàêæå â îïòèìèçàöèîííûõ (ïðîáëåìíîîðèåíòèðîâàííûõ) ìåòîäàõ àëãåáðàè÷åñêîãî ïîäõîäà [18]-[5]-[6].  îòëè÷èå îò áóñòèíãà, çäåñü èñïîëüçóåòñÿ íå âûïóêëàÿ
êîìáèíàöèÿ, à áîëåå ñëîæíàÿ êîððåêòèðóþùàÿ îïåðàöèÿ å âèäå íåëèíåéíîé ìîíîòîííîé ôóíêöèè äîñòàòî÷íî îáùåãî âèäà.
Îáîáùàþùàÿ ñïîñîáíîñòü áóñòèíãà èññëåäîâàíà, ïîæàëóé, íàèáîëåå õîðîøî. Âî
ìíîãèõ ñëó÷àÿõ ýêñïåðèìåíòàëüíî íàáëþäàåòñÿ ïî÷òè íåîãðàíè÷åííîå óëó÷òïåíèå
êà÷åñòâà îáó÷åíèÿ ïðè íàðàùèâàíèè ÷èñëà àëãîðèòìîâ â êîìïîçèöèè [48]. Áîëåå òîãî, êà÷åñòâî íà òåñòîâîé âûáîðêå ìîæåò ïðîäîëæàòü óëó÷øàòüñÿ äàæå ïîñëå äîñòèæåíèÿ áåçîøèáî÷íîãî ðàñïîçíàâàíèÿ îáó÷àþùåé âûáîðêè. Ýòè íàáëþäåíèÿ ïðîòèâîðå÷àò íåïîñðåäñòâåííûì âûâîäàì ñòàòèñòè÷åñêîé òåîðèè, îñíîâàííûì íà àíàëèçå
ñëîæíîñòè.
Ñóùåñòâóåò íåñêîëüêî îáúÿñíåíèé ôåíîìåíîâ áóñòèíãà. Ñ îäíîé ñòîðîíû, áóñòèíã
àêòèâíî ìàêñèìèçèðóåò îòñòóïû îáó÷àþùèõ îáúåêòîâ, è ïðîäîëæàåò ¾ðàçäâèãàòü
êëàññû¿ äàæå ïîñëå äîñòèæåíèÿ áåçîøèáî÷íîãî ðàñïîçíàâàíèÿ îáó÷àþùåé âûáîðêè
[72]. Ñ äðóãîé ñòîðîíû, áóñòèíã ñòðîèò âûïóêëóþ êîìáèíàöèþ âåùåñòâåííîçíà÷íûõ
êëàññèôèêàòîðîâ, êîòîðàÿ ïðîÿâëÿåò ñâîéñòâî ñòàáèëüíîñòè [46] (ñì. íèæå).
Èìååòñÿ ìíîãî ðàáîò ïî ñðàâíèòåëüíîìó àíàëèçó îáîáùàþùåé ñïîñîáíîñòè áóñòèíãà è áàããèíãà. Áàããèíã íàïðàâëåí èñêëþ÷èòåëüíî íà óìåíüøåíèå âàðèàöèè
(variance) ìîäåëè, â òî âðåìÿ êàê áóñòèíã ñïîñîáñòâóåò óìåíüøåíèþ è âàðèàöèè,
è ñìåùåíèÿ (bias) [49]. Ýìïèðè÷åñêèå èññëåäîâàíèÿ [76] íà 4 ðåàëüíûõ çàäà÷àõ ïîêàçûâàþò, ÷òî áóñòèíã ðàáîòàåò ëó÷øå íà áîëüøèõ îáó÷àþùèõ âûáîðêàõ, áàããèíã íà ìàëûõ. Ïðè óâåëè÷åíèè äëèíû âûáîðêè áóñòèíã ïîâûøàåò ðàçíîîáðàçèå êëàññèôèêàòîðîâ àêòèâíåå, ÷åì áàããèíã. Íàêîíåö, áóñòèíã ëó÷øå âîñïðîèçâîäèò ãðàíèöû
êëàññîâ ñëîæíîé ôîðìû.
Ðàáîòû Áàðòëåòòà, Ôðåíäà, Øàïèðà è äð. ðåøèòåëüíûì îáðàçîì èçìåíèëè ïðåäñòàâëåíèÿ î ñîîòíîøåíèè êà÷åñòâà è ñëîæíîñòè. Åñëè ðàíåå ñ÷èòàëîñü, ÷òî äëÿ íàä¼æíîãî âîññòàíîâëåíèÿ çàâèñèìîñòè íåîáõîäèìî îãðàíè÷èâàòü ñëîæíîñòü èñïîëüçóåìîãî ñåìåéñòâà àëãîðèòìîâ, òî òåïåðü èññëåäîâàòåëè ïðèõîäÿò ê âûâîäó, ÷òî ñåìåéñòâî ìîæåò áûòü ñêîëü óãîäíî ñëîæíûì, îäíàêî ïåðâîñòåïåííóþ ðîëü èãðàåò
ìåòîä îáó÷åíèÿ òîò ñïîñîá, ñ ïîìîùüþ êîòîðîãî íî îáó÷àþùåé âûáîðêå ñòðîèòñÿ
àëãîðèòì èç âûáðàííîãî ñåìåéñòâà. Ïî âñåé âèäèìîñòè, íåêîòîðûå ðàçíîâèäíîñòè
âçâåøåííîãî ãîëîñîâàíèÿ, òàêèå êàê áóñòèíã, ÿâëÿþòñÿ ¾óäà÷íûìè¿ ìåòîäàìè, ñïîñîáíûìè ïîäñòðàèâàòüñÿ ïîä êîíêðåòíóþ çàäà÷ó.
5. Ñòàáèëüíîñòü ìåòîäà îáó÷åíèÿ
Ñëåäóþùåå, ÷åòâ¼ðòîå, íàïðàâëåíèå èññëåäîâàíèé ñâÿçàíî ñ ïîíÿòèåì ñòàáèëüíîñòè (stability)[36]-[37]-[6]. Ìåòîä îáó÷åíèÿ íàçûâàåòñÿ ñòàáèëüíûì, åñëè íåáîëüøèå
âàðèàöèè îáó÷àþùåé âûáîðêè ïðèâîäÿò ê íåçíà÷èòåëüíûì èçìåíåíèÿì ïîëó÷àåìîãî
¾Òàâðiéñüêèé âiñíèê iíôîðìàòèêè i ìàòåìàòèêè¿, 1 2004
12
Ê.Â. Âîðîíöîâ
àëãîðèòìà. Ñóùåñòâóþò ðàçëè÷íûå ñïîñîáû ôîðìàëüíîãî îïðåäåëåíèÿ ñòàáèëüíîñòè, íàïðèìåð, â ðàáîòå [60] ââîäèòñÿ 12 ðàçëè÷íûõ îïðåäåëåíèé è óñòàíàâëèâàþòñÿ
âçàèìîñâÿçè ìåæäó íèìè. Êàê ïðàâèëî, îöåíêè êà÷åñòâà ñòàáèëüíûõ ìåòîäîâ íå çàâèñÿò îò ñëîæíîñòíûõ õàðàêòåðèñòèê ñåìåéñòâà.  ÷àñòíîñòè, ïîëó÷åíû îöåíêè ñòàáèëüíîñòè è îáîáùàþùåé ñïîñîáíîñòè ëîêàëüíûõ ìåòîäîâ òèïà áëèæàéøèõ ñîñåäåé
è ïîòåíöèàëüíûõ ôóíêöèé [71]-[43]-[44]. Ýòè ìåòîäû øèðîêî èñïîëüçóþòñÿ áëàãîäàðÿ ñâîåé ïðîñòîòå, îäíàêî ïîðîæäàþò ñåìåéñòâà àëãîðèòìîâ áåñêîíå÷íîé ¼ìêîñòè.
Äîêàçàíà ñòàáèëüíîñòü áóñòèíãà, ìàøèí îïîðíûõ âåêòîðîâ, ìåòîäîâ ìèíèìèçàöèè
ýìïèðè÷åñêîãî ðèñêà ñ ðåãóëÿðèçèðóþùåé øòðàôíîé ôóíêöèåé, è íåêîòîðûõ äðóãèõ. Ê ñîæàëåíèþ, ÷èñëåííûå îöåíêè òðåáóåìîé äëèíû îáó÷åíèÿ äëÿ ñòàáèëüíûõ
ìåòîäîâ òàêæå ñèëüíî çàâûøåíû, êàê ñëîæíîñòíûå, è äàþò òîëüêî êà÷åñòâåííîå îáîñíîâàíèå ñîîòâåòñòâóþùèõ àëãîðèòìîâ.
6. Êîíöåíòðàöèÿ âåðîÿòíîñòè
Ñîâðåìåííûå èññëåäîâàíèÿ òàêèõ ñâîéñòâ îáó÷àåìûõ àëãîðèòìîâ, êàê ýôôåêòèâíàÿ ñëîæíîñòü, îòñòóï, êîìïîçèöèîííàÿ ñòðóêòóðà è ñòàáèëüíîñòü, ñóùåñòâåííî îïèðàþòñÿ íà ñîâðåìåííûé ìàòåìàòè÷åñêèé àïïàðàò, îïèñûâàþùèé ÿâëåíèå êîíöåíòðàöèè âåðîÿòíîñòíîé ìåðû (measure concentration).  ïåðâûõ ðàáîòàõ Âàïíèêà è ×åðâîíåíêèñà äëÿ ýòîé öåëè èñïîëüçîâàëèñü êëàññè÷åñêèå íåðàâåíñòâà Õ¼ôäèíãà è Áåðíøíåéíà. Áîëåå òî÷íûå ðåçóëüòàòû óäà¼òñÿ ïîëó÷àòü ñ ïîìîùüþ íåðàâåíñòâ ×åðíîâà
[42], ìåòîäà îãðàíè÷åííûõ ðàçíîñòåé ÌàêÄèàðìèäà [66] è èçîïåðèìåòðè÷åñêèõ íåðàâåíñòâ Òàëàãðàíäà [78]-[79]. Ââîäíîå èçëîæåíèå ýòèõ ìàòåìàòè÷åñêèõ òåõíèê ìîæíî
íàéòè â îáçîðàõ [27]-[62].
7. Ñêîëüçÿùèé êîíòðîëü
Åù¼ îäíî íàïðàâëåíèå èññëåäîâàíèé ñâÿçàíî ñ èñïîëüçîâàíèåì ñêîëüçÿùåãî êîíòðîëÿ (crossvalidation) [45]-[59].
Ïðîöåäóðà ñêîëüçÿùåãî êîíòðîëÿ çàêëþ÷àåòñÿ â ñëåäóþùåì. Ôèêñèðóåòñÿ íåêîòîðîå ìíîæåñòâî ðàçáèåíèé èñõîäíîé âûáîðêè íà äâå ÷àñòè: îáó÷àþùóþ è êîíòðîëüíóþ. Äëÿ êàæäîãî ðàçáèåíèÿ âûïîëíÿåòñÿ íàñòðîéêà àëãîðèòìà ïî îáó÷àþùåé ïîäâûáîðêå è âû÷èñëÿåòñÿ ÷àñòîòà åãî îøèáîê íà êîíòðîëüíîé ïîäâûáîðêå. Îöåíêà
ñêîëüçÿùåãî êîíòðîëÿ îïðåäåëÿåòñÿ êàê ñðåäíÿÿ ïî âñåì ðàçáèåíèÿì ÷àñòîòà îøèáîê
íà êîíòðîëå. Ôàêòè÷åñêè, ñêîëüçÿùèé êîíòðîëü íåïîñðåäñòâåííî èçìåðÿåò îáîáùàþùóþ ñïîñîáíîñòü ìåòîäà îáó÷åíèÿ íà çàäàííîé êîíå÷íîé âûáîðêå.
 çàâèñèìîñòè îò ñïîñîáà ôîðìèðîâàíèÿ ìíîæåñòâà ðàçáèåíèé ðàçëè÷àþò
íåñêîëüêî ðàçíîâèäíîñòåé ñêîëüçÿùåãî êîíòðîëÿ [59]:
åñëè ìíîæåñòâî ðàçáèåíèé îäíîýëåìåíòíî, ãîâîðÿò îá îöåíêå êà÷åñòâà íà îòäåëüíîé òåñòîâîé âûáîðêå (holdout estimate);
¾Òàâðè÷åñêèé âåñòíèê èíôîðìàòèêè è ìàòåìàòèêè¿, 1 2004
Îáçîð ïî ïðîáëåìå êà÷åñòâà îáó÷åíèÿ àëãîðèòìîâ
13
åñëè èñïîëüçóþòñÿ âñå ðàçáèåíèÿ ñ êîíòðîëüíîé âûáîðêîé åäèíè÷íîé äëèíû, ãîâîðÿò îá îöåíêå ñ îäíèì îòäåëÿåìûì îáúåêòîì (leaveoneout estimate);
åñëè èñïîëüçóþòñÿ âñå ðàçáèåíèÿ ñ êîíòðîëüíîé âûáîðêîé ôèêñèðîâàííîé. íî íå
îáÿçàòåëüíî åäèíè÷íîé, äëèíû, ãîâîðÿò îá îïåíêå ïîëíîãî ñêîëüçÿùåãî êîíòðîëÿ
(complete crossvalidation) [68];
åñëè ãåíåðèðóåòñÿ ñëó÷àéíîå ïîäìíîæåñòâî ðàçáèåíèé ñ êîíòðîëüíîé âûáîðêîé
ôèêñèðîâàííîé äëèíû, ãîâîðÿò î áóòñòðåï-îöåíêå (bootstrap estimate) ;
åñëè ìíîæåñòâî ðàçáèåíèé îáðàçóåòñÿ κ íåïåðåñåêàþùèìèñÿ êîíòðîëüíûìè âûáîðêàìè, ãîâîðÿò î Àæðàòíîì ñêîëüçÿùåì êîíòðîëå (κfold cross-validation).
Íà ïðàêòèêå ñêîëüçÿùèé êîíòðîëü ïðèìåíÿåòñÿ ëèáî äëÿ âûáîðà ìîäåëè àëãîðèòìîâ (model selection) èç íåñêîëüêèõ ìîäåëåé-ïðåòåíäåíòîâ [58], ëèáî äëÿ îïòèìèçàöèè íåáîëüøîãî ÷èñëà ïàðàìåòðîâ, îïðåäåëÿþùèõ ñòðóêòóðó àëãîðèòìà, òàêèõ,
êàê ñòåïåíü ïîëèíîìà èëè êîëè÷åñòâî íåéðîíîâ íà ñêðûòîì óðîâíå íåéðîííîé ñåòè.
Ñ÷èòàåòñÿ, ÷òî íàñòðîéêà çíà÷èòåëüíîé äîëè ïàðàìåòðîâ ïî ñêîëüçÿùåìó êîíòðîëþ ëèøåíà ñìûñëà. Êîãäà êîíòðîëüíàÿ âûáîðêà ñóùåñòâåííî âîâëåêàåòñÿ â ïðîöåññ
îáó÷åíèÿ, ñêîëüçÿùèé êîíòðîëü íà÷èíàåò âûäàâàòü ñìåù¼ííóþ çàíèæåííóþ îöåíêó
îáîáùàþùåé ñïîñîáíîñòè. Ïðè÷èíîé ÿâëÿåòñÿ âñ¼ òî æå ïåðåîáó÷åíèå, êîòîðîå ïðèâîäèò ê çàíèæåííîñòè ýìïèðè÷åñêîãî ðèñêà [69]. Èçâåñòíî, ÷òî ñêîëüçÿùèé êîíòðîëü
äà¼ò íåñìåù¼ííóþ îöåíêó âåðîÿòíîñòè îøèáêè â òîì ñëó÷àå, êîãäà îí èñïîëüçóåòñÿ
äëÿ ïðîâåðêè êà÷åñòâà ïî îêîí÷àíèè îáó÷åíèÿ. Îäíàêî äî ñèõ íîð íåò èñ÷åðïûâàþùèõ èññëåäîâàíèé, ïîêàçûâàþùèõ, â êàêîé ñòåïåíè ñêîëüçÿùèé êîíòðîëü ìîæåò
èñïîëüçîâàòüñÿ íà ñòàäèè îáó÷åíèÿ.
Èíòóèöèÿ ïîäñêàçûâàåò, ÷òî ñêîëüçÿùèé êîíòðîëü äîëæåí õàðàêòåðèçîâàòü îáîáùàþùóþ ñïîñîáíîñòü àëãîðèòìà ëó÷øå, ÷åì ÷àñòîòà îøèáîê íà îáó÷åíèè. Òåì íå
ìåíåå, ýòîò ôàêò äîëãîå âðåìÿ íå óäàâàëîñü äîêàçàòü. Ïîïûòêè ïðåäïðèíèìàëèñü
íåîäíîêðàòíî [58]-[56]-[53], íî áûëè ïîëó÷åíû ëèøü ¾ðàçóìíûå¿ âåðõíèå ãðàíèöû (sanitycheck bounds) äëÿ îòêëîíåíèÿ ñêîëüçÿùåãî êîíòðîëÿ îò âåðîÿòíîñòè
îøèáîê àëãîðèòìà. Óêàçàííûå îöåíêè äàæå íåñêîëüêî õóæå, ÷åì îöåíêè Âàïíèêà×åðâîíåíêèñà äëÿ îòêëîíåíèÿ ýìïèðè÷åñêîãî ðèñêà è òðåáóþò äîïîëíèòåëüíûõ
ïðåäïîëîæåíèé î ñòàáèëüíîñòè ìåòîäà îáó÷åíèÿ [56].
Ïðè÷èíà ýòèõ íåóäà÷ àíàëèçèðóåòñÿ â [32], ãäå ââîäÿòñÿ è ñðàâíèâàþòñÿ äâà àëüòåðíàòèâíûõ ñïîñîáà ôîðìàëèçàöèè ïîíÿòèÿ îáîáùàþùåé ñïîñîáíîñòè. Ïðè ïåðâîì
ñïîñîáå, áëèçêîì ê ïîäõîäó Âàïíèêà-×åðâîíåíêèñà, îöåíèâàåòñÿ êà÷åñòâî îòäåëüíîãî
àëãîðèòìà, ïîëó÷åííîãî â ðåçóëüòàòå îáó÷åíèÿ. Ýòî ïðèâîäèò ê çàâûøåííûì îöåíêàì, çàâèñÿùèì îò ¼ìêîñòè ñåìåéñòâà è òðåáóþùèì äîïîëíèòåëüíûõ ïðåäïîëîæåíèé
î ñòàáèëüíîñòè ìåòîäà îáó÷åíèÿ [56]. Ïðè âòîðîì ñïîñîáå îöåíèâàåòñÿ êà÷åñòâî ìåòîäà îáó÷åíèÿ â öåëîì. Îêàçûâàåòñÿ, â ýòîì ñëó÷àå îöåíêà îòêëîíåíèÿ ñêîëüçÿùåãî
êîíòðîëÿ îò âåðîÿòíîñòè îøèáêè àëãîðèòìà, îáó÷åííîãî íà ñëó÷àéíîé âûáîðêå, íå
çàâèñèò îò ¼ìêîñòè ñåìåéñòâà, à òîëüêî îò äëèíû îáó÷åíèÿ è êîíòðîëÿ. Ñ ðîñòîì
äëèíû îáåèõ âûáîðîê óêàçàííîå îòêëîíåíèå ñòðåìèòñÿ ê íóëþ. Äàííûé ðåçóëüòàò
¾Òàâðiéñüêèé âiñíèê iíôîðìàòèêè i ìàòåìàòèêè¿, 1 2004
14
Ê.Â. Âîðîíöîâ
ïðîÿñíÿåò ïðèðîäó ñêîëüçÿùåãî êîíòðîëÿ è ïîêàçûâàåò, ÷òî çàâûøåííîñòü ïðåäûäóùèõ îöåíîê ñâÿçàíà ñ íåóäà÷íûì âûáîðîì èñõîäíîãî ôóíêöèîíàëà êà÷åñòâà.
Îòñþäà âûòåêàåò âàæíûé âûâîä: òåîðèÿ êà÷åñòâà îáó÷åíèÿ ìîæåò îêàçàòüñÿ âåñüìà ÷óâñòâèòåëüíîé ê èñõîäíîé àêñèîìàòèêå, â ÷àñòíîñòè, ê ôîðìàëèçàöèè ñàìîãî
ïîíÿòèÿ êà÷åñòâà îáó÷åíèÿ. Âòîðîé âàæíûé âûâîä çàêëþ÷àåòñÿ â òîì, ÷òî ñêîëüçÿùèé êîíòðîëü õàðàêòåðèçóåò îáîáùàþùóþ ñïîñîáíîñòü ìåòîäà íå íàìíîãî õóæå, ÷åì
âåðîÿòíîñòü îøèáêè. Íàèáîëåå òî÷íîå âûðàæåíèå ýòè èäåè íàøëè â êîìáèíàòîðíîì
ïîäõîäå ê îáîñíîâàíèþ îáó÷àåìûõ àëãîðèòìîâ.
8. Êîìáèíàòîðíûé ïîäõîä
Êîìáèíàòîðíûé ïîäõîä [4]-[9]-[8] âîçíèê êàê ïîïûòêà áîëåå òî÷íîãî ïîñòðîåíèÿ
ñòàòèñòè÷åñêîé òåîðèè Âàïíèêà-×åðâîíåíêèñà, íà÷èíàÿ ñ èñõîäíûõ å¼ ïîñòóëàòîâ.
Äëÿ ýòîãî èìåëîñü äâå îñíîâíûå ïðåäïîñûëêè.
Âî-ïåðâûõ, ñëîæèëîñü ïîíèìàíèå òîãî, ÷òî ïðèíöèï ìèíèìèçàöèè ýìïèðè÷åñêîãî
ðèñêà â çàðàíåå çàäàííîì ñåìåéñòâå àëãîðèòìîâ íå äîñòàòî÷íî òî÷íî îïèñûâàåò ïðîöåññ îáó÷åíèÿ. Âî-ïåðâûõ, íå âïîëíå ÿñíî, ãäå ïðîõîäèò ãðàíèöà ñåìåéñòâà. Ìîæåò
îêàçàòüñÿ òàê, ÷òî ôîðìàëüíî âûïèñàíî î÷åíü øèðîêîå ñåìåéñòâî, íî íà ïðàêòèêå
ïðîöåäóðà îáó÷åíèÿ âûäà¼ò àëãîðèòìû ëèøü èç íåáîëüøîé åãî ÷àñòè. Âî-âòîðûõ, äîñòàâëÿòü ìèíèìóì ýìïèðè÷åñêîìó ðèñêó ìîãóò ìíîãèå àëãîðèòìû, îäíàêî â êà÷åñòâå
ðåøåíèÿ âñåãäà âûáèðàåòñÿ òîëüêî îäèí. Êîíêðåòèçàöèÿ ìåòîäà åãî ïîñòðîåíèÿ, âîçìîæíî, ïîçâîëèò ó÷åñòü ñïåöèôè÷åñêèå îñîáåííîñòè ïðîöåññà îáó÷åíèÿ. Â-òðåòüèõ,
äàëåêî íå âñå ìåòîäû îáó÷åíèÿ, õîðîøî çàðåêîìåíäîâàâøèå ñåáÿ íà ïðàêòèêå, ìèíèìèçèðóþò ýìïèðè÷åñêèé ðèñê.  êà÷åñòâå ïðèìåðîâ ìîæíî ïðèâåñòè ìåòîäû âûáîðà
ìîäåëè ïî ñêîëüçÿùåìó êîíòðîëþ èëè äðóãèì âíåøíèì êðèòåðèÿì [13], ìåòîäû ðåãóëÿðèçàöèè ýìïèðè÷åñêîãî ðèñêà, ìåòîäû ÿâíîé ìàêñèìèçàöèè îòñòóïà, áóñòèíã,
áàããèíã, è ò. ä.
 êîìáèíàòîðíîì ïîäõîäå ÿâíûì îáðàçîì ââîäèòñÿ ïîíÿòèå ìåòîäà îáó÷åíèÿ êàê
îòîáðàæåíèÿ, êîòîðîå êîíå÷íîé îáó÷àþùåé âûáîðêå ñòàâèò â ñîîòâåòñòâèå íåêîòîðûé âïîëíå îïðåäåë¼ííûé àëãîðèòì. Ñåìåéñòâî àëãîðèòìîâ ñòàíîâèòñÿ âòîðè÷íîé
êîíñòðóêöèåé ýòî âñå àëãîðèòìû, êîòîðûå ìîãóò áûòü ïîëó÷åíû â ðåçóëüòàòå
ïðèìåíåíèÿ äàííîãî ìåòîäà îáó÷åíèÿ êî âñåâîçìîæíûì êîíå÷íûì âûáîðêàì. Îäíîâðåìåííî ïîÿâëÿåòñÿ âîçìîæíîñòü åäèíîîáðàçíî ðàññìàòðèâàòü ëþáûå ìåòîäû, à
íå òîëüêî ìèíèìèçàöèþ ýìïèðè÷åñêîãî ðèñêà.
Âòîðîé ïðåäïîñûëêîé áûëî ïîíèìàíèå òîãî, ÷òî âåðîÿòíîñòü îøèáêè ÿâëÿåòñÿ
ãèïîòåòè÷åñêîé âåëè÷èíîé, êîòîðóþ íåâîçìîæíî âû÷èñëèòü, à èíîãäà äàæå è îöåíèòü, íàïðèìåð, â ñëó÷àå ìàëûõ âûáîðîê.  òî æå âðåìÿ, íà ïðàêòèêå ëþáàÿ îáó÷àåìàÿ ñèñòåìà ñòàëêèâàåòñÿ òîëüêî ñ êîíå÷íûìè âûáîðêàìè, áóäü òî îáó÷àþùèå, êîíòðîëüíûå èëè ðàáî÷èå ñîâîêóïíîñòè îáúåêòîâ. Ïîýòîìó îáîáùàþùóþ ñïîñîáíîñòü
àëãîðèòìîâ öåëåñîîáðàçíî õàðàêòåðèçîâàòü èìåííî îòíîñèòåëüíî êîíå÷íûõ âûáîðîê.
¾Òàâðè÷åñêèé âåñòíèê èíôîðìàòèêè è ìàòåìàòèêè¿, 1 2004
Îáçîð ïî ïðîáëåìå êà÷åñòâà îáó÷åíèÿ àëãîðèòìîâ
15
Æåëàòåëüíî òàêæå, ÷òîáû ôóíêöèîíàë êà÷åñòâà ìîæíî áûëî ñ êîíòðîëèðóåìîé òî÷íîñòüþ èçìåðÿòü íî èìåþùèìñÿ ýìïèðè÷åñêèì äàííûì. Íàêîíåö, èñïîëüçîâàíèå ãèïîòåòè÷åñêèõ âåðîÿòíîñòåé ìîæåò ïðèâîäèòü ê ëèøíèì ïðîìåæóòî÷íûì øàãàì ïðè
äîêàçàòåëüñòâå îöåíîê è ïîíèæàòü èõ òî÷íîñòü.
 êîìáèíàòîðíîì ïîäõîäå êà÷åñòâî îáó÷åíèÿ ïî ïðåöåäåíòàì (îáîáùàþùàÿ ñïîñîáíîñòü ìåòîäà) õàðàêòåðèçóåòñÿ ôóíêöèîíàëàìè ïîëíîãî ñêîëüçÿùåãî êîíòðîëÿ,
çàâèñÿùèìè òîëüêî îò ìåòîäà îáó÷åíèÿ è çàäàííîé êîíå÷íîé âûáîðêè. Òàêèå ôóíêöèîíàëû ïðåäëàãàåòñÿ íàçûâàòü êîìáèíàòîðíûìè, ïîñêîëüêó îíè îïðåäåëÿþòñÿ ÷åðåç ìíîæåñòâî âñåõ ðàçáèåíèé âûáîðêè.
Ïîëó÷åíû âåðõíèå îöåíêè êîìáèíàòîðíûõ ôóíêöèîíàëîâ, àíàëîãè÷íûå ïî ñâîåé ñòðóêòóðå ñòàòèñòè÷åñêèì [9]. Îíè îêàçûâàþòñÿ äàæå áîëåå òî÷íûìè, ïîñêîëüêó
âìåñòî ñëîæíîñòè âñåãî ñåìåéñòâà â íèõ ôèãóðèðóåò ñëîæíîñòü ëîêàëüíîãî ïîäñåìåéñòâà, ñîñòîÿùåãî èç àëãîðèòìîâ, âûäàâàåìûõ ìåòîäîì îáó÷åíèÿ â äàííîé êîíêðåòíîé çàäà÷å.
Êîìáèíàòîðíûå îöåíêè, â îòëè÷èå îò ñòàòèñòè÷åñêèõ, ñïðàâåäëèâû äëÿ ëþáîãî ìåòîäà îáó÷åíèÿ è ëþáîé êîíå÷íîé âûáîðêè, íå îáÿçàòåëüíî ñëó÷àéíîé, íåçàâèñèìîé,
îäèíàêîâî ðàñïðåäåë¼ííîé. Èõ äîêàçàòåëüñòâî ïðîâîäèòñÿ èñêëþ÷èòåëüíî êîìáèíàòîðíûìè ìåòîäàìè è âîîáùå íå îïèðàåòñÿ íà òåîðèþ âåðîÿòíîñòåé. Äàííûé ôàêò
ïðåäñòàâëÿåòñÿ âåñüìà íåîæèäàííûì. Äî ñèõ ïîð âåðîÿòíîñòíàÿ ïðèðîäà ïðîáëåìû
êà÷åñòâà îáó÷åíèÿ îñòàâàëàñü, ïîæàëóé, åäèíñòâåííûì ïîñòóëàòîì ñòàòèñòè÷åñêîé
òåîðèè, íèêîãäà íå ïîäâåðãàâøèìñÿ ñîìíåíèþ. Íî âîçìîæíà è äðóãàÿ òî÷êà çðåíèÿ:
ñàìî ïîíÿòèå âåðîÿòíîñòè ñîäåðæèò ¾âñòðîåííûé¿ ïðåäåëüíûé ïåðåõîä, ïîýòîìó åãî
ïðèìåíåíèå íå âïîëíå óìåñòíî â äèñêðåòíûõ çàäà÷àõ ñ êîíå÷íûìè, çà÷àñòóþ ìàëûìè, âûáîðêàìè.
Êîìáèíàòîðíûé ïîäõîä íå îòâåðãàåò, à óòî÷íÿåò ñòàòèñòè÷åñêóþ òåîðèþ. Ëþáàÿ
êîìáèíàòîðíàÿ îöåíêà ëåãêî ¾ïðåâðàùàåòñÿ¿ â âåðîÿòíîñòíóþ, åñëè ñíîâà ïðèíÿòü
ñòàíäàðòíûé íàáîð âåðîÿòíîñòíûõ ãèïîòåç è ïðèìåíèòü îïåðàöèþ ìàòåìàòè÷åñêîãî
îæèäàíèÿ îäíîâðåìåííî ê ôóíêöèîíàëó è åãî îöåíêå. Òàêèì îáðàçîì, ïðè ïåðåõîäå
îò ñòàòèñòè÷åñêîé òåîðèè ê êîìáèíàòîðíîé ñîáëþäàåòñÿ ¾ïðèíöèï ñîîòâåòñòâèÿ¿.
 òî æå âðåìÿ, êîìáèíàòîðíàÿ ïåðåñòðîéêà àêñèîìàòèêè ïðèâîäèò ê ñóùåñòâåííîìó ïåðåñìîòðó ìíîãèõ ïîëîæåíèé ñòàòèñòè÷åñêîé òåîðèè.
1. Ñòàíîâèòñÿ ïîëíîñòüþ î÷åâèäíîé èçáûòî÷íîñòü òðåáîâàíèÿ ðàâíîìåðíîé ñõîäèìîñòè. Íà ïðàêòèêå âîññòàíàâëèâàåìàÿ çàâèñèìîñòü è ìåòîä îáó÷åíèÿ âñåãäà ôèêñèðîâàíû, à îáó÷àþùàÿ âûáîðêà êîíå÷íà. Ïîýòîìó ëèøü êîíå÷íàÿ ÷àñòü ñåìåéñòâà ìîæåò áûòü ïîëó÷åíà â ðåçóëüòàòå îáó÷åíèÿ, îñòàëüíûå àëãîðèòìû îñòàþòñÿ
íåçàäåéñòâîâàííüøè. Ðàçóìååòñÿ, íàèáîëüøèé èíòåðåñ ïðåäñòàâëÿþò ñèòóàöèè, êîãäà ñëîæíîñòü ëîêàëüíîãî ïîäñåìåéñòâà îêàçûâàåòñÿ ñóùåñòâåííî ìåíüøå ñëîæíîñòè
âñåãî ñåìåéñòâà. Ýòîò ýôôåêò ïðåäëàãàåòñÿ íàçûâàòü ëîêàëèçàöèåé ñåìåéñòâà àëãîðèòìîâ. Ñóùåñòâîâàíèå ýôôåêòà ëîêàëèçàöèè ñíèìàåò èñêóññòâåííûé çàïðåò íà èñïîëüçîâàíèå ñëîæíûõ àëãîðèòìîâ. Âàæíî íå ñòîëüêî îãðàíè÷èòü ¼ìêîñòü ñåìåéñòâà,
¾Òàâðiéñüêèé âiñíèê iíôîðìàòèêè i ìàòåìàòèêè¿, 1 2004
16
Ê.Â. Âîðîíöîâ
ñêîëüêî ðàçðàáîòàòü ìåòîä îáó÷åíèÿ, ñïîñîáíûé ïîäñòðàèâàòüñÿ ïîä êîíêðåòíûå çàäà÷è, âñÿêèé ðàç ïî-ðàçíîìó ëîêàëèçóÿ ¾ðàáî÷óþ îáëàñòü¿ ñåìåéñòâà. Ïðè ôèêñàöèè
âîññòàíàâëèâàåìîé çàâèñèìîñòè ìåòîä îáó÷åíèÿ äîëæåí ñòðîèòü àëãîðèòìû, ¾ïîõîæèå¿ íà íå¼. Òîãäà íå âàæíî, ñêîëüêî åù¼ ¾íå ïîõîæèõ¿ àëãîðèòìîâ ñîäåðæèòñÿ â
ñåìåéñòâå. Ýòî ñâîéñòâî ïðåäëàãàåòñÿ íàçûâàòü ëîêàëèçóþùåé ñïîñîáíîñòüþ ìåòîäà
îáó÷åíèÿ. Îíî ÿâëÿåòñÿ âàæíîé êîìïîíåíòîé åãî îáîáùàþùåé ñïîñîáíîñòè.
2. Êîìáèíàòîðíûé ïîäõîä ïîçâîëÿåò ïî-íîâîìó âçãëÿíóòü íà ïðîáëåìó ïîñòðîåíèÿ
êîððåêòíûõ àëãîðèòìîâ (íå äîïóñêàþùèõ îøèáîê íà îáó÷àþùåé âûáîðêå). Êîìáèíàòîðíûå îöåíêè ïðåäñòàâëÿþòñÿ â âèäå ïðîèçâåäåíèÿ ëîêàëüíîé ôóíêöèè ðîñòà, êîòîðàÿ ìîæåò áûòü ìíîãî ìåíüøå ôóíêöèè ðîñòà âñåãî ñåìåéñòâà, è êîìáèíàòîðíîãî
ìíîæèòåëÿ, êîòîðûé áûñòðî âîçðàñòàåò ïî ìåðå óâåëè÷åíèÿ ÷èñëà îøèáîê íà îáó÷åíèè. Î÷åâèäíî, äëÿ îáåñïå÷åíèÿ êîððåêòíîñòè íåîáõîäèìî óñëîæíÿòü êîíñòðóêöèþ
àëãîðèòìîâ. Ñîãëàñíî ñòàòèñòè÷åñêîé òåîðèè ýòî ïðèâîäèò ê çíà÷èòåëüíîìó óâåëè÷åíèþ ôóíêöèè ðîñòà âñåãî ñåìåéñòâà, íà ôîíå êîòîðîãî ýôôåêò óìåíüøåíèÿ êîìáèíàòîðíîãî ìíîæèòåëÿ îñòà¼òñÿ íåçàìåòíûì. Îòñþäà äåëàåòñÿ âûâîä, ÷òî íå ñëåäóåò äîáèâàòüñÿ áåçîøèáî÷íîé ðàáîòû àëãîðèòìà íà îáó÷àþùåì ìàòåðèàëå. Ñ òî÷êè
çðåíèÿ êîìáèíàòîðíîãî ïîäõîäà óñëîæíåíèå êîíñòðóêöèè àëãîðèòìà íå îáÿçàòåëüíî ïðèâîäèò ê ñóùåñòâåííîìó óâåëè÷åíèþ ëîêàëüíîé ôóíêöèè ðîñòà.  ýòîì ñëó÷àå òðåáîâàíèå; êîððåêòíîñòè ñòàíîâèòñÿ êðàéíå æåëàòåëüíûì, ïîñêîëüêó îíî ðåçêî
óìåíüøàåò êîìáèíàòîðíûé ìíîæèòåëü. Îòìåòèì, ÷òî èäåÿ ïîñòðîåíèÿ êîððåêòíûõ
àëãîðèòìè÷åñêèõ êîìïîçèöèé ÿâëÿåòñÿ öåíòðàëüíîé â àëãåáðàè÷åñêîì ïîäõîäå ê ðàñïîçíàâàíèþ [12].
3. Îòëè÷èòåëüíîé ÷åðòîé êîìáèíàòîðíîãî ïîäõîäà ÿâëÿåòñÿ ñîõðàíåíèå êîìáèíàòîðíîãî ìíîæèòåëÿ â èñõîäíîì, äîñòàòî÷íî ãðîìîçäêîì, âèäå. Ýëåìåíòàðíûå ðàñ÷¼òû ïîêàçûâàþò, ÷òî åãî ýêñïîíåíöèàëüíûå ïðèáëèæåíèÿ, ïðèíÿòûå â ñòàòèñòè÷åñêîé
òåîðèè, ïðèâîäÿò ê îñëàáëåíèþ îöåíêè â íåñêîëüêî ðàç. Ñîâðåìåííûå âû÷èñëèòåëüíûå ñðåäñòâà ïîçâîëÿþò äîñòàòî÷íî ýôôåêòèâíî ðàáîòàòü ñ èñõîäíîé ôîðìóëîé.
4. Ñóùåñòâåííî òðàíñôîðìèðóåòñÿ ìåòîä ñòðóêòóðíîé ìèíèìèçàöèè ðèñêà. Ïîñêîëüêó êîìáèíàòîðíûå ôóíêöèîíàëû ìîæíî èçìåðÿòü ïî âûáîðêå, ïîÿâëÿåòñÿ âîçìîæíîñòü âîîáùå îòêàçàòüñÿ îò çàâûøåííûõ âåðõíèõ îöåíîê, è ïåðåéòè ê íåïîñðåäñòâåííîìó èñïîëüçîâàíèþ ñêîëüçÿùåãî êîíòðîëÿ. Íî ýòî èìåííî òî, ÷òî ïðåäëàãàëè
äåëàòü Âàïíèê è ×åðâîíåíêèñ íà ïðàêòèêå, ïðàâäà, áåç âèäèìîé ñâÿçè ñ îñíîâíûìè
òåîðåòè÷åñêèìè ðåçóëüòàòàìè [3].  êîìáèíàòîðíîì ïîäõîäå ïîñòðîåíèå ñòðóêòóðû
âëîæåííûõ ïîäñåìåéñòâ ðàçëè÷íîé ¼ìêîñòè òåðÿåò ñìûñë. Âìåñòî ýòîãî äîñòàòî÷íî áðàòü êîíå÷íûé íàáîð ìåòîäîâ îáó÷åíèÿ è âûáèðàòü èç íèõ ëó÷øèé ïî êðèòåðèþ
ñêîëüçÿùåãî êîíòðîëÿ. Íåêîòîðûå ýìïèðè÷åñêèå èññëåäîâàíèÿ ïîêàçûâàþò, ÷òî äàííàÿ òåõíèêà âûáîðà ìîäåëè àëãîðèòìîâ âî ìíîãèõ ñëó÷àÿõ ïðåäïî÷òèòåëüíåå ïðèíöèïîâ ñòðóêòóðíîé ìèíèìèçàöèè ðèñêà è ìèíèìàëüíîé äëèíû îïèñàíèÿ (minimum
description length), íàïðàâëåííûõ íà ÿâíóþ îïòèìèçàöèþ ñëîæíîñòè [55].
¾Òàâðè÷åñêèé âåñòíèê èíôîðìàòèêè è ìàòåìàòèêè¿, 1 2004
Îáçîð ïî ïðîáëåìå êà÷åñòâà îáó÷åíèÿ àëãîðèòìîâ
17
5. Ïðåäëîæåííîå â ðàáîòàõ [80]-[33] ïîíÿòèå ýôôåêòèâíîé ¼ìêîñòè îñíîâàíî íà
ýìïèðè÷åñêîì èçìåðåíèè ôóíêöèîíàëà ðàâíîìåðíîãî îòêëîíåíèÿ ÷àñòîòû îøèáîê
â äâóõ âûáîðêàõ äëÿ çàäà÷ êëàññèôèêàöèè.  êîìáèíàòîðíîì ïîäõîäå ýòîò ôóíêöèîíàë î÷åâèäíûì îáðàçîì çàìåíÿåòñÿ íà ôóíêöèîíàë ñêîëüçÿùåãî êîíòðîëÿ, ÷òî
ïðèâîäèò ê âîçíèêíîâåíèþ íîâîãî ïîíÿòèÿ ëîêàëüíîé ýôôåêòèâíîé ¼ìêîñòè. Â
îòëè÷èå îò ýôôåêòèâíîé ¼ìêîñòè ïî Âàïíèêó, ëîêàëüíàÿ ýôôåêòèâíàÿ ¼ìêîñòü ó÷èòûâàåò âñå îñîáåííîñòè ðàñïðåäåëåíèÿ îáúåêòîâ, âîññòàíàâëèâàåìîé çàâèñèìîñòè è
ìåòîäà îáó÷åíèÿ.
6. Àíàëèç êîìáèíàòîðíûõ îöåíîê ïîçâîëÿåò íàçâàòü òðè îñíîâíûå ïðè÷èíû çàâûøåííîñòè ñëîæíîñòíûõ îöåíîê êà÷åñòâà: ïðåíåáðåæåíèå ýôôåêòîì ëîêàëèçàöèè,
ïîãðåøíîñòü ýêñïîíåíöèàëüíîãî ïðèáëèæåíèÿ êîìáèíàòîðíîãî ìíîæèòåëÿ è ïîãðåøíîñòü, ñâÿçàííàÿ ñ ñàìèì ïåðåõîäîì îò êà÷åñòâà ê ñëîæíîñòè. Êîìáèíàòîðíûé àíàëîã
îöåíîê Âàïíèêà×åðâîíåíêèñà ïîçâîëÿåò óñòðàíèòü òîëüêî ïåðâûå äâå ïðè÷èíû.
 ñèëó òðåòüåé ïðè÷èíû ëþáûå ñëîæíîñòíûå îöåíêè êà÷åñòâà îáó÷åíèÿ ÿâëÿþòñÿ
ïðèíöèïèàëüíî çàâûøåííûìè.
Äàííûé ôàêò ïîçâîëÿåò âûäâèíóòü ïðåäïîëîæåíèå, ÷òî ïîëó÷èòü ïðèåìëåìûå
÷èñëåííûå îöåíêè êà÷åñòâà âîçìîæíî òîëüêî ïðè ÿâíîì ó÷¼òå àïðèîðíîé èíôîðìàöèè î âûáîðêå è âîññòàíàâëèâàåìîé çàâèñèìîñòè.
9. Óíèâåðñàëüíûå Îãðàíè÷åíèÿ
Îñíîâíàÿ èäåÿ ýòîãî íàïðàâëåíèÿ ñîñòîèò â òîì, ÷òî åñëè ìåòîä îáó÷åíèÿ ñòðîèò
àëãîðèòìû, â íåêîòîðîì ñìûñëå ¾ñîãëàñîâàííûå¿ ñ èìåþùåéñÿ àïðèîðíîé èíôîðìàöèåé, òî îáîáùàþùàÿ ñïîñîáíîñòü òàêîãî ìåòîäà ìîæåò îêàçàòüñÿ ñóùåñòâåííî
ëó÷øå, ÷åì â îáùåì ñëó÷àå.
Ñîîòâåòñòâèå îáó÷àþùåé âûáîðêè (ëîêàëüíîé èíôîðìàöèè) è àïðèîðíûõ îãðàíè÷åíèé (óíèâåðñàëüíîé èíôîðìàöèè) ïîäðîáíî èçó÷àåòñÿ â òåîðèè óíèâåðñàëüíûõ
è ëîêàëüíûõ îãðàíè÷åíèé Ê. Â. Ðóäàêîâà [19]-[22]-[20]-[21]-[23]-[11] ñ ïîçèöèé òåîðèè êàòåãîðèé è àëãåáðàè÷åñêîãî ïîäõîäà ê ïðîáëåìå ðàñïîçíàâàíèÿ. Àëãåáðàè÷åñêàÿ òåîðèÿ ïîçâîëÿåò ïðîâåðÿòü íåïðîòèâîðå÷èâîñòü ýòèõ äâóõ òèïîâ èíôîðìàöèè è
êîíñòðóêòèâíî îïèñûâàòü íåèçáûòî÷íûå êëàññû ìîäåëåé àëãîðèòìîâ, äîïóñêàþùèå
ïîñòðîåíèå êîððåêòíûõ (íå îøèáàþùèõñÿ íà îáó÷àþùåé âûáîðêå) àëãîðèòìîâ. Îäíàêî îöåíêè îáîáùàþùåé ñïîñîáíîñòè â äàííîé òåîðèè íå ðàññìàòðèâàþòñÿ. Âîîáùå,
ïðîáëåìà âëèÿíèÿ àïðèîðíîé èíôîðìàöèè íà êà÷åñòâî âîññòàíîâëåíèÿ çàâèñèìîñòè
ïðåäñòàâëÿåòñÿ íàèáîëåå ñëîæíîé è íàèìåíåå èçó÷åííîé.
Êîìáèíàòîðíûé ïîäõîä ñóùåñòâåííî îáëåã÷àåò ðàçâèòèå äàííîãî íàïðàâëåíèÿ, ïîñêîëüêó îòïàäàåò íåîáõîäèìîñòü ñîãëàñîâûâàòü àïðèîðíóþ èíôîðìàöèþ ñî ñâîéñòâàìè âåðîÿòíîñòíîé ìåðû.
 ÷àñòíîñòè, ïîëó÷åíà íå-âåðîÿòíîñòíàÿ îöåíêà ôóíêöèîíàëà ñêîëüçÿùåãî êîíòðîëÿ äëÿ ñëó÷àÿ, êîãäà èñêîìàÿ çàâèñèìîñòü ìîíîòîííà èëè ïî÷òè-ìîíîòîííà, è
¾Òàâðiéñüêèé âiñíèê iíôîðìàòèêè i ìàòåìàòèêè¿, 1 2004
18
Ê.Â. Âîðîíöîâ
ìåòîä îáó÷åíèÿ ñòðîèò òîëüêî ìîíîòîííûå îòîáðàæåíèÿ [7]-[9]. Àïðèîðíàÿ èíôîðìàöèÿ âûðàæàåòñÿ â ôîðìå ¾ïðîôèëÿ ìîíîòîííîñòè¿ âûáîðêè, êîòîðûé õàðàêòåðèçóåò
ïëîòíîñòü îòíîøåíèÿ ïîðÿäêà âáëèçè ãðàíèöû êëàññîâ. Äàííàÿ îöåíêà íèêîãäà íå
ïðåâûøàåò åäèíèöû, íå çàâèñèò îò ñëîæíîñòè ñåìåéñòâà (èìåþùåãî, êàê èçâåñòíî,
áåñêîíå÷íóþ ¼ìêîñòü), è ÿâëÿåòñÿ ñóùåñòâåííî áîëåå òî÷íîé íà ìàëûõ âûáîðêàõ,
÷åì îöåíêè, ïîëó÷åííûå ðàíåå [24]-[75].
Åù¼ îäíà íåâåðîÿòíîñòíàÿ îöåíêà ïîëó÷åíà äëÿ ìåòîäà áëèæàéøåãî ñîñåäà ïðè
íàëè÷èè àïðèîðíîé èíôîðìàöèè î êîìïàêòíîñòè êëàññîâ, âûðàæåííîé â ôîðìå ¾ïðîôèëÿ êîìïàêòíîñòè¿ âûáîðêè. Äàííàÿ îöåíêà ÿâëÿåòñÿ òî÷íîé è âûòåêàåò íåïîñðåäñòâåííî èç ôîðìóë ýôôåêòèâíîãî âû÷èñëåíèÿ ïîëíîãî ñêîëüçÿùåãî êîíòðîëÿ äëÿ
ìåòîäà áëèæàéøèõ ñîñåäåé [68]. Îíà òàêæå íå çàâèñèò îò ñëîæíîñòíûõ õàðàêòåðèñòèê ñåìåéñòâà, èìåþùåãî áåñêîíå÷íóþ ¼ìêîñòü.
 çàêëþ÷åíèå îòìåòèì, ÷òî äîïîëíåíèåì ê äàííîìó îáçîðó ÿâëÿåòñÿ ïåðèîäè÷åñêè ïîïîëíÿåìàÿ ÷àñòè÷íî àííîòèðîâàííàÿ áèáëèîãðàôè÷åñêàÿ áàçà MachLearn,
ðàçìåù¼ííàÿ ïî àäðåñó www.ccas.ru/frc
Àâòîð âûðàæàåò ãëóáîêóþ ïðèçíàòåëüíîñòü àêàäåìèêó ÐÀÍ Þ. È. Æóðàâë¼âó
çà îêàçûâàåìóþ ïîääåðæêó è ñâîåìó Ó÷èòåëþ ÷ë.-êîðð. ÐÀÍ Ê. Â. Ðóäàêîâó çà
ïîñòîÿííîå âíèìàíèå ê ðàáîòå è öåííûå çàìå÷àíèÿ.
Ðàáîòà ïîääåðæàíà Ðîññèéñêèì ôîíäîì ôóíäàìåíòàëüíûõ èññëåäîâàíèé (ïðîåêòû  02-01-00325,  01-07-90242) è Ôîíäîì ñîäåéñòâèÿ îòå÷åñòâåííîé íàóêå.
Ñïèñîê ëèòåðàòóðû
1. Âàïíèê Â.Í., ×åðâîíåíêèñ À.ß. Î ðàâíîìåðíîé ñõîäèìîñòè ÷àñòîò ïîÿâëåíèÿ ñîáûòèé. // ÄÀÍ
ÑÑÑÐ. 1968. Ò.181, 4. Ñ.781784.
2. Âàïíèê Â.Í., ×åðâîíåíêèñ À.ß. Òåîðèÿ ðàñïîçíàâàíèÿ îáðàçîâ. Ì.: Íàóêà, 1974.
3. Âàïíèê Â.Í. Âîññòàíîâëåíèå çàâèñèìîñòåé ïî ýìïèðè÷åñêèì äàííûì. Ì.: Íàóêà, 1979.
4. Âîðîíöîâ Ê.Â. Êà÷åñòâî âîññòàíîâëåíèÿ çàâèñèìîñòåé ïî ýìïèðè÷åñêèì äàííûì // Ìàòåìàòè÷åñêèå ìåòîäû patïîçíàâàíèÿ îáðàçîâ: 7-àÿ Âñåðîññ. êîíô: Òåç. äîêë. Ïóùèíî, 1995.
Ñ.2426.
5. Âîðîíöîâ Ê.Â. Î ïðîáëåìíîîðèåíòèðîâàííîé îïòèìèçàöèè áàçèñîâ çàäà÷ ðàñïîçíàâàíèÿ //
ÆÂÌ è ÌÔ. 1998. Ò.38, 5. Ñ.870880. www.ccas.ru/frc/papers/voron98jvm.pdf
6. Âîðîíöîâ Ê.Â. Îïòèìèçàöèîííûå ìåòîäû ëèíåéíîé è ìîíîòîííîé êîððåêöèè â àëãåáðàè÷åñêîì
ïîäõîäå ê ïðîáëåìå ðàñïîçíàâàíèÿ // Ìàòåìàòè÷åñêèå ìåòîäû pacïîçíàâàíèÿ îáðàçîâ: ÆÂÌ
è ÌÔ. 2000. Ò.40, JV91. Ñ.166176. www.ccas.ru/frc/papers/voron00jvm.pdf
7. Âîðîíöîâ Ê.Â. Îöåíêà êà÷åñòâà ìîíîòîííîãî ðåøàþùåãî ïðàâèëà âíå îáó÷àþùåé âûáîðêè//
íòåëëåêòóàëèçàöèÿ îáðàáîòêè èíôîðìàöèè: Òåç. äîêë. - Ñèìôåðîïîëü, 2002. Ñ.2426.
8. Âîðîíöîâ Ê.Â. Î êîìáèíàòîðíîì ïîäõîäå ê îöåíêå êà÷åñòâà îáó÷åíèÿ àëãîðèòìîâ// Ìàòåìàòè÷åñêèå ìåòîäû ðàñïîçíàâàíèÿ îáðàçîâ: 11àÿ Âñåðîññ.êîíô: Òåç. äîêë. Ïóùèíî, 2003. Ñ.4749.
9. Âîðîíöîâ Ê.Â. Êîìáèíàòîðíûå îöåíêè êà÷åñòâà îáó÷åíèÿ ïî ïðåöåäåíòàì// Äîêëàäû ÐÀÍ. 2004. Ò.394, Õà2. www.ccas.ru/frc/papers/voron04qualdan.pdf .
¾Òàâðè÷åñêèé âåñòíèê èíôîðìàòèêè è ìàòåìàòèêè¿, 1 2004
Îáçîð ïî ïðîáëåìå êà÷åñòâà îáó÷åíèÿ àëãîðèòìîâ
19
10. Äþëè÷åâà Þ.Þ. Îöåíêà VCD rðåäóöèðîâàííîãî ýìïèðè÷åñêîãî ëåñà// Òàâðè÷åñêèé âåñòíèê
èíôîðìàòèêè è ìàòåìàòèêè. 2003. 1. Ñ.3142.
11. Æóðàâë¼â Þ.È., Ðóäàêîâ Ê.Â. Î Îá àëãåáðàè÷åñêîé êîððåêöèè ïðîöåäóð îáðàáîòêè (ïðåîáðàçîâàíèÿ) èíôîðìàöèè// Ïðîáëåìû ïðèêëàäíîé ìàòåìàòèêè è èíôîðìàòèêè. 1987. Ñ.187198.
www.ccas.ru/frc/papers/zhurrud87correct.pdf
12. Æóðàâë¼â Þ.È. Îá àëãåáðàè÷åñêîì ïîäõîäå ê ðåøåíèþ çàäà÷ ðàñïîçíàâàíèÿ èëè êëàññèôèêàöèè// Ïðîáëåìû êèáåðíåòèêè. 1979. Ò.ÇÇ. Ñ.568.
13. Èâàõíåíêî À.Ã., Þðà÷êîâñêèé Þ.Ï. Ìîäåëèðîâàíèå ñëîæíûõ ñèñòåì ïî ýêñïåðèìåíòàëüíûì
äàííûì.// Ì.: Ðàäèî è ñâÿçü, 1987.
14. Ìàòðîñîâ Â.Ë. Êîððåêòíûå àëãåáðû îãðàíè÷åííîé ¼ìêîñòè íàä ìíîæåñòâàìè íåêîððåêòíûõ
àëãîðèòìîâ// ÄÀÍ ÑÑÑÐ. 1980. Ò.253, ËÏ. Ñ.2530.
15. Ìàòðîñîâ Â.Ë. Åìêîñòü àëãåáðàè÷åñêèõ ðàñøèðåíèé ìîäåëè àëãîðèòìîâ âû÷èñëåíèÿ îöåíîê//
ÆÂÌ è ÌÔ. 1984. Ò.24, 11. ÑË719 1730.
16. Ìàòðîñîâ Â.Ë. Åìêîñòü àëãåáðàè÷åñêèõ ðàñøèðåíèé ìîäåëè àëãîðèòìîâ âû÷èñëåíèÿ îöåíîê//
ÆÂÌ è ÌÔ. 1985. Ò.25, 1. Ñ.122133.
17. Ðàñòðèãèí Ë., Ýðåíøòåéí Ð. Êîëëåêòèâíûå ïðàâèëà ðàñïîçíàâàíèÿ.// Ì.: Ýíåðãèÿ, 1981. Ð. 244.
18. Ðóäàêîâ Ê.Â., Âîðîíöîâ Ê.Â. Î ìåòîäàõ îïòèìèçàöèè è ìîíîòîííîé êîððåêöèè â àëãåáðàè÷åñêîì ïîäõîäå ê ïðîáëåìå ðàñïîçíàâàíèÿ//Äîêëàäû ÐÀÍ. 1999. Ò.367, 3. Ñ.314317.
www.ccas.ru/frc/papers/nidvoron99dan.pdf
19. Ðóäàêîâ Ê.Â. Î ñèììåòðè÷åñêèõ è ôóíêöèîíàëüíûõ îãðàíè÷åíèÿõ äëÿ àëãîðèòìîâ êëàññèôèêàöèè //ÄÀÍ ÑÑÑÐ. 1987. Ò.297; 1. Ñ.4346. www.ccas.ru/frc/papers/rudakov87dan.pdf
20. Ðóäàêîâ Ê.Â. Ïîëíîòà è óíèâåðñàëüíûå îãðàíè÷åíèÿ â ïðîáëåìå êîððåêöèè ýâðèñòè÷åñêèõ
àëãîðèòìîâ êëàññèôèêàöèè//Êèáåðíåòèêà. 1987. 3. Ñ.106-109.
21. Ðóäàêîâ Ê.Â. Ñèììåòðè÷åñêèå è ôóíêöèîíàëüíûå îãðàíè÷åíèÿ â ïðîáëåìå êîððåêöèè
ýâðèñòè÷åñêèõ àëãîðèòìîâ êëàññèôèêàöèè //Êèáåðíåòèêà. 1987. 4. Ñ.7377.
www.ccas.ru/frc/papers/rudakov87symmetr.pdf
22. Ðóäàêîâ Ê.Â. Ïîëíîòà è óíèâåðñàëüíûå îãðàíè÷åíèÿ â ïðîáëåìå êîððåêöèè ýâðèñòè÷åñêèõ
àëãîðèòìîâ êëàññèôèêàöèè//Êèáåðíåòèêà. 1987. 3. Ñ.106-109.
23. Ðóäàêîâ Ê.Â.. Î ïðèìåíåíèè óíèâåðñàëüíûõ îãðàíè÷åíèé ïðè èññëåäîâàíèè àëãîðèòìîâ êëàññèôèêàöèè // Êèáåðíåòèêà. 1988. 1. Ñ.15. www.ccas.ru/frc/papers/rudakov88uaiversal.pdf
24. Ѽìî÷êèí À.Í. Îöåíêè ôóíêöèîíàëà êà÷åñòâà äëÿ êëàññà àëãîðèòìîâ ñ óíèâåðñàëüíûìè îãðàíè÷åíèÿìè ìîíîòîííîñòè // Äåïîíèð. â ÂÈÍÈÒÈ ÐÀÍ. 1998. 2965. Â98. Ñ.20.
25. Anthony M.,Bartlett P. L. Neural Network Learning: Theoretical Foundations. Cambridge
University Press, Cambridge, 1999.
26. Anthony M.,ShaweTaylor J. A result of Vapnik with applications /7 Discrete Applied Mathematics.
1993. Vol.47, no.2. P.207217. ht.tp:/ /citeseer.nj.nec.com/aiithony91result. html
27. Anthony M. Uniform glivenkocantelli theorems and concentration of measure in
the mathematical modelling of learning: Tech. Rep. LSECDAM200207: 2002.
www.maths.lse.ac.uk/Personal/martin/mresearch.html
28. Antos A.,Kegl Â., Linder Ò., Lugosi G. Data-dependent marginbased generalization
bounds for classication // Journal of Machine Learning Research. 2002. P.7398.
http://citeseer.nj.nec.com/article/antos02datadependent.html
29. Bartlett P. L. For valid generalization the size of the weights is more important than the size of the
network // Advances in Neural Information Processing Systems / Ed. by M. C. Mozer, M. I. Jordan,
T. Petsche. Vol.9. The MIT Press, 1997. P.134. http://citeseer.nj.nec.com/bartlett97for.html
¾Òàâðiéñüêèé âiñíèê iíôîðìàòèêè i ìàòåìàòèêè¿, 1 2004
20
Ê.Â. Âîðîíöîâ
30. Bartlett P. L. Lower bounds on the VapnikChervonenkis dimension of multilayer threshold
networks // Proceedings of the Sixth Annual ACM Conference on Computational Learning Theory.
ACM Press, .×åëó York, NY, 1993. P.144150. http://citeseer.nj.nec.com/bartlett931ower.html
31. Bartlett P. L. The sample complexity of pattern classication with neural networks: the size of
the weights is more important than the size of the network // IEEE Transactions on Information
Theory. 1998. Vol.44, no.2. P.525-536. http://discus.anu.edu.au/ bartlett
32. Bontempi G., Birattari M. A bound on the crossvalidation estimate for algorithm assessment //I
Eleventh Belgium/Netherlands Conference on Articial Intelligence (BNAIC). 1999. P.115122.
http://citeseer.nj.nec.com/225930.html
33. Bottou L., Cortes C, Vapnik V. On the eective VC dimension. 1994.
http://citeseer.nj.nec.com/bottou94eective.htnil
34. Boucheron S., Lugosi G., Massart P. A sharp concentration inequality with applications
// Random Structures and Algorithms. 2000. Vol.16, no.3. P.115122.
http://citeseer.nj.nec.com/article/boucheron99sharp.htral
35. Boucheron S., Lugosi G., Massart P. Concentration inequalities using the entropy method. 2003.
http://citeseer.nj.nec.com/boucheron02concentration.html
36. Bousquet O., Elissee A. Algorithmic stability and generalization performance //
Advances in Neural Information Processing Systems 13. 2001. P.196202.
http://citeseer.nj.nec.com/article/bousquetOOalgorithmic.html
37. Bousquet O., Elissee A. Stability and generalization // Journal of Machine Learning Research. 2002. no.2. P.499-526. http://citeseer.nj.nec.com/article/bousquetOOstability.html
38. Breiman L. Bagging predictors // Machine Learning. 1996. Vol.24, no.2. P.123-140.
http://citeseer.nj.nec.com/breiman96bagging.html
39. Breiman L. Bias, variance, and arcing classiers: Tech.Rep. 460: Statistics Department, University of
California, 1996. http://citeseer.nj.nec.com/breiman96bias.htrnl
40. Breiman L. Arcing classiers. 1998. http://citeseer.nj.nec.com/breiman98arcing.html
41. Burges Ñ. J. A tutorial on support vector machines for pattern recognition //
Data Mining and Knowledge Discovery. 1998. Vol.2, no.2. P.121167.
http://citeseer.nj.nec.com/burges98tutorial.html
42. Cherno H. A measure of asymptotic eciency for tests of a hypothesis based on the sura of
observations // Annals of Math.Stat. 1952. Vol.23. P.493509.
43. Devroye L. P., Wagner Ò. J. Distribution-free inequalities for the deleted and holdout error estimates
// IEEE Transactions on Information Theory. 1979. Vol.25, no.2. P.202207.
44. Devroye L. P., Wagner T. J. Distributionfree performance bounds for potential function rules II
IEEE Transactions on Information Theory. 1979. Vol.25, no.5. P.601-604.
45. Efron B. The Jackknife, the Bootstrap, and Other Resampling Plans. SIAM, Philadelphia, 1982.
46. Evgeniou Ò., Pontil M., ElisseefF A. ALeave one out error, stability, and generalization
of voting combinations of classiers: Tech. Rep. INSEAD 2001-21-TM: 2001.
http://citeseer.nj.nec.com/445768.html
47. Smola A., Bartlett P., Scholkopf Â., Schuurmans D. A decision-theoretic generalization of on-line
learning and an application to boosting // European Conference on Computational Learning Theory.
1995. P.2337. http://citeseer.nj.nec.com/article/freund95decisiontheoretic.html
48. Freund Y., Schapire R. E. Experiments with a new boosting algorithm // International Conference
on Machine Learning. 1996. P. 148156. http://citeseer.nj.nec.com/freund96experiments.html
¾Òàâðè÷åñêèé âåñòíèê èíôîðìàòèêè è ìàòåìàòèêè¿, 1 2004
Îáçîð ïî ïðîáëåìå êà÷åñòâà îáó÷åíèÿ àëãîðèòìîâ
21
49. Freund Y., Schapire R. E. Discussion of the paper ¾Arcing classiers¿ by Leo
Breiman // The Annals of Statistics. 1998. Vol.26, no.3. P.824832.
http://citeseer.nj.nec.com/freund97discusaion.html
50. Freund Y. Boosting a weak learning algorithm by majority // COLT: Proceedings of
the Workshop on Computational Learning Theory. Morgan Kaufmann Publishers, 1990.
http://citeseer.nj.nec.com/freund95boosting.html
51. Freund Y. Self bounding learning algorithms // COLT: Proceedings of the
Workshop on Computational Learning Theory. Morgan Kaufmann Publishers, 1998.
http://citeseer.nj.nec.com/freund98seJf.html
52. Golea M., Bartlett P., Lee W. S., Mason L. Generalization in decision trees and DNF: Does size
matter // Advances in Neural Information Processing Systems / Ed. by M. I. Jordan, M. .1. Kearns,
S. A. Solla. Vol.10. The MIT Press, 1998. http://citeseer.nj.nec.com/gGlea97generalization.html
53. Holden S. B. Cross-validation and the ðàñ learning model: Tech. Rep. RN/96/64: Dept. of CS, Univ.
College. London. 1996.
54. Karpinski M., Macintyre A. Polynomial bounds for VC dimension of sigmoidai
neural networks // 27th ACM Symp. Theory Comput, 1995. P.200-208.
http://citeseer.nj.nec.com/karpmski95polynomial.html
55. Kearns M. J., Mansour Y., Ng A. Y., Ron D. An experimental and theoretical comparison
of model selection methods // Computational Learning Theory. 1995. P.21-30.
http://citeseer.nj.nec.com/kearns95experimental.html
56. Kearns M. J., Ron D. Algorithmic stability and sanity-check bounds for leaveone-out cross-validation // Computational Learning Theory. 1997. P.152-162.
http://citeseer.nj.nec.com/kearns97algorithmic.html
57. Kearns M. J. Schapire R. E. Ecient distribution-free learning of probabilistic concepts //
Computational Learning Theory and Natural Learning Systems, Volume I: Constraints and Prospect,
edited by Stephen Jose Hanson, George A. Drastal, and Ronald L. Rivest Bradford/MIT Press. 1994. Vol.1. http://citeseer.nj.nec.com/article/keaxns93ecient.html
58. Kearns M. A bound on the error of cross validation using the approximation and estimation rates,
with consequences for the training-test split // Advances in Neural Information Processing Systems /
Ed. by D. S. Touretzky, M. C. Mozer, M. E. Hasselmo. Vol.8. The MIT Press, 1996. P.183-189.
http://citeseer.nj.nec.com/kearns96bound.html
59. Kohavi R. A study of cross-validation and bootstrap for accuracy estimation and model selection //
IJCAI. 1995. Ð.Ï37-Ï45. http://citeseer.nj.nec.com/kohavi95study.htrnl
60. Kutin S., Niyogi P. Almost-everywhere algorithmic stability and generalization error: Tech. Rep.
TR-2002-03: University of Chicago, 2002. http://citeseer.nj.nec.com/kutm02almosteverywhere.html
61. Langford J., Blum A. Microchoice bounds and self bounding learning algorithms // Computational
bearing Theory. 1999. P.209-214. http://citeseer.nj.nec.com/langford01microchoice.html
62. Lugosi G. On concentration-of-measure inequalities. Machine Learning
Summer School 2003, Australian National University, Canberra. 2003.http://citeseer.nj.nec.com/lugosi98concentrationmeasure.html
63. Mason L., Bartlett P., Baxter J. Direct optimization of margins improves generalization in combined
classiers: Tech.Rep.: Deparment of Systems Engineering, Australian National University, 1998.
http://citeseer.nj.nec.com/mason98direct.html
64. Mason L., Bartlett P., Golea M. Generalization error of combined classiers:
Tech.Rep.: Department of Systems Engineering, Australian National University, 1997.
http://citeseer.nj.nec.com/mason97generalizatioa.html
¾Òàâðiéñüêèé âiñíèê iíôîðìàòèêè i ìàòåìàòèêè¿, 1 2004
22
Ê.Â. Âîðîíöîâ
65. Mazurov V., Khachai M., Rybin A. Committee constructions for solving problems of selection,
diagnostics and prediction // Proceedings of the Steklov Institute of mathematics. 2002. -Vol.1. P.67-101. http://tom.imm.ur an. ru/khachay/publications/mine/psis67.pdf
66. McDiarmid C. On the method of bounded dierences // In Surveys in Combinatorics, London Math.
Soc. Lecture Notes Series. 1989. Vol.141. P.148-188.
67. Mertens S., Engel A. Vapnik-Chervonenkis dimension of neural networks with binary weights //
Phys. Rev. E. 1997. Vol.55, no.4. P.4478-4488.
68. Mullin M., Sukthankar R. Complete cross-validation for nearest neighbor classiers /7 Proceedings
of International Conference on Machine Learning. 2000. http://citeseer.nj.nec.com/309025.html
69. Ng A.Y. Preventing ovcrh'tting of cross-validation data // Proc. 14th International
Conference on Machine Learning. Morgan Kaufmann, 1997. P.245-253.
http://citeseer.nj.nec.com/ng97preventing.html
70. Quinlan J. Induction of decision trees // Machine Learning. 1986. Vol.1, no.l. P.81-106.
71. Rogers W., Wagner T. A nite sample distribution-free performance bound for local discrimination
rules // Annals of Statistics. 1978. Vol.6, no.3. P.506-514.
72. Schapire R. E., Fretmd Y., Lee W. S., Bartlett P. Boosting the margin: a new explanation for the
eectiveness of voting methods /./ Annals of Statistics. 1998. Vol.26, no.5. P. 1651-1686.
http://citeseer.nj.nec.com/article/schapire98boosting.html
73. Schapire R. The boosting approach to machine learning: An overview. - 2001.
http://citeseer.nj.nec.com/schapire02boosting.h
74. Shawe-Taylor J., Bartlett P. L. Structural risk minimization over data-dependent hierarchies
// IEEE Trans, on Information Theory. 1998. Vol.44, no.5. P.1926-1940.
http://citeseer.nj.nec.com/article/8hawe-taylor98stnictural.html
75. Sill J. The capacity of monotonic functions // Discrete Applied Mathematics (special issue on VC
dimension). 1998. Vol.86. P.96-107. http://citeseer.nj.nec.com/49191.html
76. Skurichina M., Kuncheva L., Duin R. Bagging and boosting for the nearest mean classier: Eects
of sample size on diversity and accuracy // Multiple Classier Systems Proc. Third International
Workshop MCS, Cagliari, Italy / Ed. by J. K. F. Roli. Vol.2364. - Springer, Berlin, 2002. P.62-71. http://citeseer.nj.nec.com/539135.html
77. Smola A., Bartlett P., Scholkopf Â., Schuurmans D. Advances in large margin classiers. 2000.
http://citeseer.nj.nec.com/articIe/smolaOOadvances.html.
78. Talagrand. M. Sharper bounds for gaussian and empirical processes // Annals of Probability. 1994.
no.22. P.28-76.
79. Talagrand M. Concentration of measure and isoperimetric inequalities in product space. 1995.
http://citeseer.nj.nec.com/talagrand95concentration.html
80. Vapnik V., Levin E., Cun Y. L. Measuring the VC-dimension of a learning
machine // Neural Computation. 1994. Vol.6, no.5. P.851-876.
http://citeseer.nj.nec.com/vapnik94measuring.html
81. Vayatis N., Azencott R. Distribution-dependent Vapnik-Chervonenkis bounds
// Lecture Notes in Computer Science. 1999. Vol.1572. P.230-240.
http://citeseer.nj.nec.com/vayatis99distributiondependent.html
82. Williamson R., Shawe-Taylor J., Scholkopf Â., Smola A. Sample based generalization
bounds: Tech. Rep. NeuroCOLT Technical Report NC-TR-99-055: 1999. http://citeseer.nj.
nec.com/williamson99sample. html.
¾Òàâðè÷åñêèé âåñòíèê èíôîðìàòèêè è ìàòåìàòèêè¿, 1 2004