Знания-Онтологии-Теории (ЗОНТ-09) Адаптации расстояний и мер опровержимости на многозначных высказываниях экспертов А. А. Викентьев1, Р.А. Викентьев2 1,2 Институт Математики им.Академика С.Л. Соболева СО РАН, г. Новосибирск, Россия vikent@math.nsc.ru, ruslan.vikentiev@gmail.com Аннотация. В этой статье рассматриваются высказывания экспертов как формулы n-значной логики. Используя методы математической логики и соотвествующей теории моделей, вводятся метрики на формулах и меры опровержимости формул. Изучаются свойства введенных метрик и мер опровержимости (информативности). Ключевые слова: распознавание образов, метрики, меры опровержимости, кластеризация. 1 Введение В настоящее время появляется большой интерес к построению решающих функций на основе анализа экспертной информации, заданной в виде вероятностных логических высказываний нескольких экспертов, реализации процессов адаптации и согласования высказываний [1-9]. В данной работе предложено записывать высказывания экспертов в виде формул многозначной логики Лукасевича [3]. Предлагаемый подход расширяет предыдущий случай n 3 . Значения истинности формул можно рассматривать как их возможные вероятности. Здесь рассмотрим случай для любого конечного n. Не все ранее доказанные результаты переносятся на общую ситуацию. Число n можно рассматривать как параметр при адаптации. 2 Теоретические проблемы 2.1 Постановка задачи Ясно, что различные высказывания экспертов (и соответствующие им формулы) несут в себе разное количество информации, а значит, возникает вопрос о ранжировании высказываний экспертов и сравнении их по информативности ( меры опровержимости). Для решения этих задач в работе будут введены и доказаны свойства расстояния между двумя прозвольными n-значными формулами и подробно рассмотрена мера опровержимости рассматриваемых высказываний. 2.2 Предварительные сведения из многозначной логики Пусть p, q, r с индексами или без них суть пропозициональные переменные; связки, и (,) – вспомогательные символы. Определим понятие формулы. p, q, r, … - формулы; Если А и В – формулы, то A и A B , суть логические - формулы; Никакие другие конечные последовательности исходных символов, кроме тех, которые построены в силу пунктов (1)-(2), не являются формулами. Посредствам исходных связок определяются другие логические связки: p q ( p q) q (дизъюнкция), p q (p q) (конъюнкция), p q ( p q) (q p) (эквивалентность). Матрица вида M n Vn , , , {1} называется n-значной матрицей Лукасевича ( n N , n 2 ), L 1 2 n2 , ,..., ,1} ; есть унарная и бинарная операция импликации n 1 n 1 n 1 соответственно, определенные на множестве V n следующим образом: где Vn {0, x 1 x, x y min( 1,1 x y ). Операции дизъюнкции и конъюнкции вводятся так по определению: x y ( x y ) y max( x; y ), x y (x y ) min( x; y ). 2.3 Определение расстояния между высказываниями экспертов n 2.3.1 Определение Множество элементарных высказываний S () , используемых при написании формул многозначной логики , назовем носителем формулы . n 2.3.2 Определение Назовем носителем совокупности знаний S () , объединение носителей S n () S n () формул, входящих в , т.е. . 2.3.3 Определение Назовем множеством возможных значений носителя совокупности Q n () { k | S (), k 1,.., n 1} знаний n 1 . n 2.3.4 Определение Моделью М назовем любое подмножество Q () такое, что М не содержит k l k l Q() .Множество всех моделей будем обозначать n 1 n 1 одновременно и P n (S ()) . Для упрощения записи, верхний индекс у формул, означающий значность высказываний, будем опускать. n |S ( )| 2.3.5 Лемма ( о мощности P (S ()) ). Общее число моделей равно | P(S ()) | n . Доказательство. Доказываем лемму по индукции. Пусть S () { A} ; | S () | 1 . Тогда P ( S ) {{ A},{ An 2 },..,{ A n 1 верно для | S () | k 1 ; 1 n 1 } {Ø}}. | P ( S ()) | n . Пусть S () { A , A ,.., A } ; P( S ()) n |S ( )| . Докажем для | S () | k , т.е. 1 k 1 2 S () { A1 , A2 ,... Ak } , что P( S ()) P( S ()) {M { A1k } | M P( S ())} {M { Ank 2 } | M P( S ()) .. {M { Ak1 } | M P( S ())}} . P( S ()) P( S ()) n 1 n 1 {M { A1k } | M P( S ())} {M { Ank 2 } | M P( S ()) .. {M { Ak1 } | M P( S ())}} n 1 n 1 что очевидно. Докажем обратное включение. Пусть M P( S ()) , тогда если Al M , k n 1 n 2 , ,..,0} , тогда M \ Alk P( S ()) ; n 1 n 1 Следовательно, P( S ( )) P( S ()) l { если Alk M , то где M P( S ()) . {M { Ak } | M P( S ())} {M { Ank 2 } | M P( S ()) .. {M { Ak1 } | n 1 M P( S ())}} . Значит, n 1 ' | P(S ()) || P(S ()) | | P(S ()) | ... | P(S ()) | n | P(S ()) | n * n|S ()| n|S ()|1 n|S ( )| что и требовалось доказать. k 2.3.6 Определение Элементарная формула A принимает на модели M значение n 1 , A k M A k A k M n 1 k =1, .., n 1 , если n 1 , т.е. M |= n 1 . 2.3.7 Определение Элементарная формула A принимает на модели M значение 0, если A k M k 1,.., n 1 . n 1 Далее, используя определенные выше формулы, полагаем: 1) M | ( A & B) 2) M | ( A B) 3) M | (A) k n 1 ( M | A k n 1 k n 1 ( M | A p и n 1 p n 1 M | B q n 1 и M | B q n 1 ) ) max( p, q) k M | An 1 k n 1 Во всех остальных случаях формулы принимают значения 0. Введем обозначения: Mod S ( ) ( A) k n 1 {M | M P( S ()), M | A k } , n 1 Mod S ( ) ( A0 ) {M | M P( S ()), M A k n 1 , k 1,..., n 1} . Сформулируем важные для дальнейшего теоретико-модельные свойства. 2.3.8 Лемма 1) Mod S ( ) (( A & B ) k n 1 )= n 1 = (( Mod S () ( A) p k 2) Mod S ( ) (( A B) k n 1 n 1 Mod S () ( A) k n 1 Mod S ( ) ( B) k n 1 ) ( Mod S ( ) ( A) k n 1 Mod S ( ) ( B) p n 1 ); ) k 3) Mod S ( ) (A) k 1 k n 1 (( Mod S () ( A) p 0 4) p n 1 p n 1 Mod S ( ) ( B) k n 1 ) ( Mod S ( ) ( A) Mod S ( ) ( A) n 1 k ; n 1 P(S ()) / Mod S ( ) (A)1 k n 1 Mod S ( ) ( B) p n 1 ; S () S () соответствует совокупность , k 1,.., n 1 моделей из P( S ()) , на которых принимает значения Таким образом, любой формуле такой, что Mod S ( ) () k n 1 k , k 1,.., n 1 соответственно. n 1 2.3.9 Определение Назовем формулы и эквивалентными (далее коротко ), n 1 Mod S () () k n 1 Mod S ( ) () k k 1 n 1 n 1 , т.е. они имеют одно и тоже множество моделей. если k 1 Это будет отношением эквивалентности. 2.3.10 Определение Расстоянием между формулами и (такое, что S () S () S () ) на множестве P( S ()) назовем (нормированную симметрическую разность в многозначном случае, как естественное обобщение расстояния для (классической ) 2-значной логики) величину n 1 | Mod S ( ) ( S ( ) (, ) k 1 n 1 k n 1 & 0 ) | | Mod S ( ) ( 0 & k 1 n |S ( )| k n 1 )| . Замечание. Очевидно, что n-1 в формуле можно варьировать: заменить его на подходящее разумное с точки зрения экспертов число n-s, а формулируемые далее свойства расстояний и их доказательства сильно не изменятся и останутся верными. Аналогичное замечание справедливо и для определения меры опровержимости, как и соответствующих свойств. 2.4 Свойства расстояния 2.4.1 Лемма (О свойствах расстояния S ( ) ). Для любых формул , таких, что S () S () S () справедливы следующие утверждения: 1) 0 S ( ) (, ) 1 ; 2) S ( ) (, ) = S ( ) (, ) ; 3) S ( ) (, ) =0 ; 4) S ( ) (, ) =1 n 1 n 1 l 1 k 1 ( Mod ( ) k n 1 Mod ( ) l n 1 ) P( S ()) , где -- прямое объединение; 5) S ( ) (, ) S ( ) (, ) + S ( ) (, ) ; 6) Если 1 2 , то S ( ) (1 , ) = S () (2 , ) . Доказательство проводим для каждого пункта. 1) Очевидно, что 0 S ( ) (, ) 1 , причем верхняя и нижняя границы достижимы. Приведем примеры формул, на которых они достигаются: - S ( ) (, ) 0 ; - Пусть - формула, не принимающая значение принимает значение k , k 1,.., n 2 , тогда - так же не n 1 k , k 1,.., n 2 . Тогда S ( ) (, ) 1 . n 1 2) Данное свойство очевидно из определения расстояния и симметричности конъюнкции и дизъюнкции. 3) Докажем прямую импликацию. S ( ) (, ) 0 n 1 (| Mod S () () k k 1 | | Mod S ( ) () n 1 n 1 (| Mod S () () k 1 | | Mod S () () k n 1 n 1 По определению (| Mod S () () k 1 n 1 n 1 n 1 k 1 k n 1 p 1 q 1 n 1 n 1 k n 1 k n 1 | | Mod S ( ) ( k 1 s 0 | | Mod S ( ) () s n 1 & k n 1 k n 1 p n 1 & & & s n 1 q n 1 ) | =0, )|; (1) ) |; n 1 n 1 k n 1 q n 1 )|; |) 2 | Mod S ( ) ( k 1 s 1 k n 1 & s n 1 )| n 1 k n 1 & 0 ) | | Mod S ( ) (0 & k 1 k n 1 )|. n 1 Если из (2) вычесть (1), то получается (| Mod S () ( k k 1 n 1 | Mod S ( ) ( k 1 k n 1 | Mod s () (0 & k 1 k n 1 )|0 Mod () k 1 n 1 Mod () k 1 n 1 Из (3), (4) получаем Mod () k 1 (2) & 0 ) | | Mod S () (0 & n 1 n 1 & 0 ) | 0 n 1 p n 1 n 1 n 1 | 2 | Mod S () ( k 1 s 0 (| Mod S ( ) () | Mod S ( ) ( p 1 q 1 | | Mod S ( ) ( n 1 k 1 k n 1 n 1 n 1 (| Mod S () () k k 1 n 1 n 1 |) 2 | Mod S ( ) ( ) |) 0 n 1 k n 1 Mod () k 1 , (3) k n 1 n 1 Mod () k n 1 k 1 n k n 1 k n 1 Mod s ( ) () k 1 k n 1 k n 1 . (4) . Докажем обратное. Если , то (, ) 0 . По определению означает, что n 1 Mod S () () k 1 Mod ( k n 1 | Mod ( k n 1 n 1 k n 1 Mod S () () k 1 n 1 k n 1 Mod () . k 1 n 1 k n 1 Mod () k 1 & 0 ) Ø. & 0 ) | 0 k | Mod ( 0 & n 1 | Mod ( (, ) k 1 k n 1 ) | 0 k n 1 k n 1 & 0 ) | | Mod ( k 1 n |S ( )| k n 1 & ) | 0. k n 1 (, ) 1 | Mod S () ( 4) n 1 & 0 ) | | Mod S () (0 & k n 1 k 1 k n 1 ) | n |S ( )| (5) n 1 n |S ( )| | Mod ( k 1 n 1 n 1 | Mod ( p 1 q 1 p n 1 n 1 & 0 ) | | Mod ( k n 1 k 1 & q n 1 & 0 ) | ) | | Mod (0 & 0 ) | . n 1 n 1 Из (4)-(6) получаем, что: k n 1 Mod ( p 1 q 1 p n 1 & q n 1 (6) ) | | Mod ( 0 & 0 ) | 0 , т.е. и одновременно не принимают значение 0. Если принимает значение не 0, то n 1 n 1 ( Mod ( ) обязательно равно 0, значит, l 1 k 1 k 1, n 1 и Mod ( ) Mod ( ) k n 1 l n 1 ) P( S ()) . То есть модели Mod () l 1, n 1 образуют пересекающие множества, такие что их l n 1 объединение заполняет все наше пространство. 5) n 1 | Mod ( k 1 (, ) n 1 & 0 ) | Mod ( 0 & k n 1 k 1 n 1 k 1 (, ) )| , n 1 k n 1 & 0 ) | | Mod ( 0 & k 1 k n 1 )| n |S ( )| n 1 | Mod ( k n 1 (, ) Mod ( & ) ( & 0 ) | | Mod ( 0 & k 1 k n 1 )| n |S ( )| n 1 k n 1 l 0 k n 1 0 l n 1 ) n 1 n 1 (, )n |S ( )| | Mod ( k 1 l 0 k n 1 n 1 n 1 (, )n|S ( )| | Mod ( k 1 l 0 k n 1 n 1 n 1 (, )n |S ( )| | Mod ( k 1 l 0 k n 1 n 1 n 1 (, )n |S ( )| | Mod ( k 1 l 1 n 1 | Mod ( k n 1 & 0 & & 0 & & 0 & n 1 n 1 l n 1 ) | | Mod (0 & k 1 l 0 n 1 n 1 l n 1 ) | | Mod (0 & k 1 l 0 k n 1 n 1 n 1 l n 1 & 0 & ) | | Mod ( 0 & k 1 l 0 k n 1 n 1 n 1 l n 1 ) | | Mod (0 & & 0 & 0 ) | | Mod (0 & k 1 , k 1 l 1 n 1 k n 1 , n 1 k 1 k 1 k n 1 n |S ( )| | Mod ( k n 1 k n 1 & 0 ) | , k n 1 k n 1 & & & l n 1 l n 1 & l n 1 )| , ) |, )|, l n 1 )| n 1 n 1 (, )n |S ( )| | Mod ( k n 1 k 1 l 1 n 1 | Mod ( k 1 k n 1 k 1 l 1 k 1 k 1 l 1 n 1 k n 1 & 0 & k n 1 k 1 l 1 k 1 n 1 l n 1 )| k n 1 & l n 1 )| & 0 ) | (, ) (, ) (, ) ; n 1 k n 1 k 1 n 1 k n 1 & & 0 ) | , ) | | Mod ( 0 & & 0 & 0 ) | | Mod ( 0 & Mod (1 ) k n 1 n 1 n 1 l n 1 n 1 k n 1 1 2 обозначает, что 6) l n 1 n 1 n 1 n 1 k 1 n 1 n 1 ) | | Mod ( 0 & & 0 & 0 ) | | Mod (0 & (, )n |S ( )| | Mod ( | Mod ( & 0 & Mod ( 2 ) k 1 k n 1 n 1 Mod ( 1k & 0 ) Mod ( 2k & 0 ) очевидно, что и требовалось доказать. k 1 k 1 n 1 n 1 2.4.2 Замечание Так как доказательства не используют свойств множества P( S ()) , то расстояние можно рассматривать на любом подмножестве, если это необходимо или вытекает из P( S ()) условий конкретной задачи. Введенное расстояние рассматривается на всем множестве . Хотелось сделать вычисление более простым и удобным, поскольку носители формул составляют P( S ()) небольшое подмножество . Следующая лемма доказывает возможность упрощения вычисления расстояния в нашей ситуации. 2.4.3 Лемма (о сохранении расстояния при расширении). Для любого S ( 0 ) такого, что S (1 ) : S () S () S ( 0 ) и любого S ( 0 ) (, ) S ( 1 ) (, ) . S ( 0 ) S (1 ) имеет место равенство: Доказательство. Рассмотрим S (1 ) S ( 0 ) {}, S ( 0 ) . При этом n 1 P(S (1 )) P( S ( 0 )) ({M { k n 1 n 1 k 1 n 1 Также | Mod S ( 1 ) ( k 1 k n 1 } | M P(S ( 0 ))}) и | P(S (1 )) | n | P(S ( 0 )) | . & ) | n | Mod S (0 ) ( k 1 k n 1 & 0 ) | , таким образом, n n 1 P( S (1 )) P( S ( 0 )) {M { k } | M P( S ( 0 ))} k 1 1 1 n 1 n 1 n 1 | Mod S ( 1 ) ( S ( 1 ) (, ) k 1 n 1 n | Mod S ( 0 ) ( k 1 n 1 k n 1 & 0 ) | | Mod S ( 1 ) ( 0 & k 1 n |S ( 1 )| k n 1 )| n 1 k n 1 & 0 ) | n | Mod S ( 0 ) ( 0 & k 1 n n |S ( 0 )| 1 m Пусть теперь | S (1 ) \ S ( 0 ) || { A ,..., A } | m 1 . Тогда k n 1 )| S ( 0 ) (, ) . S ( 0 ) (, ) S ( 1 0 ) { A } (, ) ... S ( 0 ) { A m } (, ) S ( 1 ) (, ) , что и требовалось доказать. 3. Мера опровержимости высказываний эксперта в многозначной логике 3.1 Определение меры опровержимости. Подход к определению меры опровержимости основан на естественном предположении о том, что чем больше моделей на которых высказывание принимает значение не равное 1 (true), тем высказывание легче опровержимо. Поскольку значений не равных 1 у формулы несколько, то предлагается учитывать их с весами монотонно по этим значениям и для каждого такого значения истинности нормированными. Перейдем к формальному определению. Мера опровержимости I S ( ) () для формул из () { | S () S ()} задается равенством n2 I S ( ) () i | Mod S ( ) ( i n 1 )| n |S ( )| i 0 , 0 i 1; n 1 где i удовлетворяют условиям: i n 1i 1 i 0,..., ; 2 k i k i. 3.2 Свойства меры опровержимости 3.2.1 Лемма (о свойствах меры I S ( ) ). Для любых высказываний , () 1) 0 I S ( ) () 1; 2) I S ( ) () I S ( ) () 1; 3) I S ( ) ( & ) max{ I S ( ) (), I S ( ) ()} ; 4) I S ( ) ( ) min{ I S ( ) (), I S ( ) ()} ; 5) I S ( ) ( ) I S ( ) ( & ) I S ( ) () I S ( ) () . Доказательство проводится для каждого пункта. 1) Неравенство очевидно, т.к. Mod S ( ) ( i ) попарно не пересекаются, а в объединении дают n 1 все множество P( S ()) . Свойство 1) доказано. 2) I S ( ) () I S ( ) () 0 | Mod S ( ) ( 0 ) | n |S ( )| n 1 | Mod S ( ) (1 ) | n | S ( )| n2 ( i n 1i ) | Mod S ( ) ( i 1 n i n 1 )| | S ( )| | P( S ()) | 1 n |S ( )| . 3) Распишем подробно I S ( ) ( & ) : n2 I S ( ) ( & ) i | Mod S ( ) (( & ) i 0 n2 n 1 i 0 k i i ( ( | Mod S ( ) ( n i n 1 | S ( )| & k n 1 i n 1 )| n |S ( )| ) | | Mod S ( ) ( k & n n 1 | S ( )| i n 1 | Mod S ( ) ( )| )) i n i n 1 | S ( )| & i n 1 (3.3) )| Распишем подробно I S ( ) () : n2 I S ( ) () i | Mod S ( ) ( i n 1 n |S ( )| | Mod S ( ) ( i & )| n 1 i 0 k i i n n 1 |S ( )| n 1 i 0 k 0 i i 0 n2 n2 k n 1 )| | Mod S ( ) ( i n 1 |S ( )| n2 i i 0 k 0 i | Mod S ( ) ( i n n | Mod S ( ) ( n & i n 1 |S ( )| & i n 1 i n 1 | S ( )| k n 1 & )| k n 1 )| )| . (3.4) Исходя из двух полученных равенств, вычислим их разность: | Mod S ( ) ( n 2 n 1 I S ( ) ( & ) I S ( ) () i n i 0 k i i n 1 |S ( )| & k n 1 )| n 2 n 1 i | Mod S ( ) ( n i 0 k i i n 1 |S ( )| & k n 1 )| = n2 i ( k i ) | Mod S ( ) ( n i 0 k 0 i n 1 |S ( )| & k n 1 )| n 2 n 1 i | Mod S ( ) ( n ki 0 k i i n 1 |S ( )| & k n 1 )| 0. Получаем, что I S ( ) ( & ) I S ( ) () . По симметрии получаем аналогичное неравенство для : I S ( ) ( & ) I S ( ) () . Следовательно I S ( ) ( & ) max{ I S ( ) (), I S ( ) ()} . Свойство 3) доказано. 4) Распишем подробно, что такое I S ( ) ( ) : n2 I S ( ) ( ) i | Mod S ( ) (( ) i 0 i | Mod S ( ) ( n k 0 k n 1 |S ( )| n |S ( )| & i )| n 1 i n 1 )| n2 i i 0 k 0 | Mod S ( ) ( i n 1 |S ( )| i ( n2 ) | Mod S ( ) ( n i 0 i n 1 | S ( )| & i n 1 & k n 1 )| n )| . (3.5) Распишем подробно I S ( ) () : n2 I S ( ) () i | Mod S ( ) ( i n 1 n |S ( )| | Mod S ( ) ( i & )| n 1 i 0 k i i n 1 k n 1 n 1 i 0 k 0 i i 0 n2 n2 )| | Mod S ( ) ( i n 1 |S ( )| n2 i i 0 k 0 i n |S ( )| | Mod S ( ) ( i n i n 1 |S ( )| & n | Mod S ( ) ( n i n 1 & i n 1 | S ( )| k n 1 & )| k n 1 )| )| . (3.6) Исходя из двух полученных равенств, вычислим их разность: n2 n 1 i 0 k i I S ( ) () I S ( ) ( ) i | Mod S ( ) ( n i n 1 |S ( )| & k n 1 )| n2 i i 0 k 0 i | Mod S ( ) ( n k n 1 | S ( )| & i n 1 )| n 1 k i k 0 k 0 | Mod S ( ) ( n i n 1 |S ( )| & n2 i i i 0 k 0 k n 1 )| n2 i i 0 k 0 i i | Mod S ( ) ( n k n 1 |S ( )| | Mod S ( ) ( & n i n 1 k n 1 |S ( )| & i n 1 )| )| . Получили, что I S ( ) ( ) I S ( ) () . По симметрии получим аналогичное неравенство для : I S ( ) ( ) I S ( ) () => I S ( ) ( ) min{ I S ( ) (), I S ( ) ()} . Свойство 4) доказано. 5) Из формул (3.2)-(3.6) непосредственно следует формула: I S ( ) ( ) I S ( ) ( & ) I S ( ) () I S ( ) () . Заметим, что связь меры опровержимости с введенным выше расстоянием не такая простая как в случаях логических исчислений при n 2 или 3 . Для введения расстояния было рассмотрено много других вариантов, но для них желаемые свойства, с позиций экспертов, не выполнялись. Можно выдвинуть гипотезу о том, что в общем случае нет тесной связи между расстоянием и мерой опровержимости. В качестве примера рассмотрено дерево событий , используемого для анализа причин возникновения аварийных ситуаций при автоматизированной заправке емкости. Структура дерева событий включает одно головное событие (авария, инцидент), которое соединяется с набором соответствующих нижестоящих событий (ошибок, отказов, неблагоприятных внешних воздействий), образующих цепи причин (сценарии аварий). Проанализированы записанные по дереву (отказов) различные сложные высказывания (формулы) о конкретных отказах заправочной станции и найдены расстояния между различными формулами и меры их опровержимости при различных n . Результаты вычислений показали адекватность (согласованность с мнениями экспертов) предлагаемого подхода, количественную уточненность результатов по сравнению с n 2 и n 3 и быструю стабилизацию вычисляемых величин с ростом n. 4 Заключение. Предложенные расстояния и мера опровержимости могут быть использованы для изучении баз знаний, их пополнений, кластеризации знаний такого сорта, и использованы в различных вопросах при распознавании образов [1, 9]. 5 Благодарности Авторы выражают благодарность Новикову Д.В. за помощь при наборе версии текста, создание программ и таблиц, и проверку правильности конкретных вычислений расстояний и мер опровержимости формул на компьютере. Авторы благодарят профессора Лбова Г.С. за постоянный интерес к этой тематике, а так же и Н. Г. Загоруйко за поддержку и внимание к исследованиям в этом направлении. Литература [1] Лбов Г.С., Старцева Н.Г. Логические решающие функции и вопросы статистической устойчивости решений. – Новосибирск: Изд-во Ин-та математики им. С. Л. Соболева, 1999. [2] Загоруйко Н. Г. Прикладные методы анализа данных и знаний. – Новосибирск: Изд-во Ин-та математики им. С. Л. Соболева, 1999. [3] Карпенко А.С. Логики Лукасевича и простые числа. – Москва: «Наука», 2000. [4] Lbov G.S., Gerasimov M.K. Constructing of a Consensus of Several Experts Statements. In: Proc. of XII Int. Conf. ”Knowledge-Dialogue-Solution”, 2006. - P. 193-195. [5] Lbov G.S., Gerasimov M.K. Interval Prediction Based on Experts’ Statements. In: Proc. of XIII Int. Conf. ”Knowledge-Dialogue-Solution”, 2007. - Vol. 2. - P. 474-478. [6] Lbov G.S., Gerasimov M.K. Determining of Distance Between Logical Statements in Forecasting Problems. In: Artificial Intelligence, 2’2004 [in Russian]. Institute of Artificial Intelligence, Ukraine. [7] Vikent’ev A. Measure of Refutation and Metrics on Statements of Experts (Logical Formulas) in the Models for Some Theory. In: Int. Journal ”Information Theories & Applications”, 2007. - Vol. 14. - No.1. - P. 92-95. [8] Викентьев А. А., Новиков Д.В. Расстояние и Информативность на формулах-высказываниях экспертов и мера опровержимости (информативности) высказываний экспертов на моделях 3-значной логики. ВЕСТНИК Карагандинского гос. университета, сер. Математическая., N 1(45), Караганда, 2007, с. 8 -- 18. [9] Кейслер Г., Чэн Ч..Ч.. Теория моделей. - М.: Мир, 1977.