Технология информационного мониторинга сложных проблем и

Технология информационного
мониторинга сложных систем
Александр Рыжов
ryjov@mech.math.msu.su,
ryjov@mail.ru.
Цели, ...
 Дать общее представление о системах
информационного мониторинга (что это
такое?) и области их применимости (зачем
они нужны?)
 Сформулировать математические проблемы
разработки таких систем и их решение (как
работают?)
 Дать общее представление о технологии
информационного мониторинга (как
разработать такую систему?)
... , структура.
Основы технологии
информационного
мониторинга
Системы
информационного
мониторинга:
история, примеры,
определение
Математические
проблемы и их
решение
Понятие систем информационного
мониторинга
 Задача информационного мониторинга –
оценка текущего состояния проблемы
(процесса) и моделирование вариантов ее
(его) развития на основе реальной
информации.
 Система информационного мониторинга
(СИМ) – человеко-компьютерная система,
обеспечивающая решение задачи
информационного мониторинга.
Примеры задач информационного
мониторинга.
 продвижение товара на рынок;
 состояние здоровья пациента / группы
людей (региона, профессиональной
группы) / населения страны;
 продвижение кандидата на выборах;
 соблюдение международных договоров;
 ....
Основные элементы предметной
области СИМ...
 Проблема (процесс)
 Информационный образ проблемы/процесса
 Эксперт (эксперты)
... и их взаимосвязь.
ы
од .
в
вы ии ..
т
е
ла тоян
е
д ос
ос
...
эксперт
ан
Проблема/процесс
ин
ф
си ор
ру ма
ет ци
ся я
в фи
... к
ал
из
ир
уе
тс
я.
..
Data
IBM Compatible
информационный образ проблемы/процесса
Information Monitoring Systems:
some differences
sensors
Expert / analyst
Operator
Problem / process
data
data
data
Data
IBM Compatible
Mathematical model
Information image of the problem/process
Свойства: проблема/процесс:
 имеет структуру (сущности и их
взаимосвязи);
 возможно описать взаимовлияние
сущностей на естественном языке.
Свойства: информационный образ
/1
Совокупность различных информационных
элементов, которые можно
охарактеризовать следующим образом:
 разнородность носителей информации,
т.е. фиксация информации в виде статей,
газетных заметок, компьютерном виде,
аудио и видеоинформация и т.п.;
Свойства: информационный образ
/2
 фрагментарность. Информация чаще
всего относится к какому-либо фрагменту
проблемы, причем разные фрагменты могут
быть по-разному "покрыты" информацией;
 разноуровневость информации.
Информация может относиться ко всей
проблеме в целом, к некоторой ее части, к
конкретному элементу проблемы;
Свойства: информационный образ
/3
 различная степень надежности. Информация
может содержать конкретные данные
различной степени надежности, косвенные
данные, результаты выводов на основе
надежной информации или косвенные
выводы;
 возможная противоречивость. Информация
из различных источников может совпадать,
слегка различаться или вообще
противоречить друг другу;
Свойства: информационный образ
/4
 изменяемость во времени. Проблема развивается
во времени, поэтому и информация в разные
моменты времени об одном и том же элементе
проблемы может и должна различаться;
 возможная тенденциозность. Информация
отражает определенные интересы источника
информации, поэтому может носить тенденциозный
характер. В частном случае она может являться
намеренной дезинформацией (например, для
политических проблем или для проблем, связанных
с конкуренцией).
Свойства: эксперты / 1
 являются
активным
элементом
системы мониторинга и, наблюдая и
изучая элементы информационного
пространства,
делают
выводы
о
состоянии проблемы и перспективах
ее развития с учетом перечисленных
выше
свойств
информационного
пространства.
Свойства: эксперты / 2

могут
образовывать
некоторую
структуру
(министерство, агентство, консультационную службу,
отдел маркетинга фирмы и т.п.). В этом случае каждый
эксперт "нижнего уровня" имеет дело с некоторой
частью
проблемы
и
работает
с
элементами
информационного
пространства,
эксперты
"более
высокого уровня" имеют дело с более крупными
фрагментами проблемы или проблемой в целом, и
работают уже с выводами предыдущих экспертов. При
этом они могут ознакомиться с выводами более низкого
уровня
вплоть
до
элементов
информационного
пространства.
Technics of the IMS/trick 1
(How can we process this “bad” information?)
Diversity of the
information
carriers
Such a facility is provided by means of storage in a
database of a system of references to an evaluated piece
of information, if it is not a document in electronic form. If
the information is a document in electronic form, then both
the evaluated information (or part thereof) and a reference
thereto are stored in the system. Thus the system makes it
possible to take into account and use in an analysis all
pieces of information which have a relationship to the
subject area irrespective of the vehicles concerned.
Technics of the IMS/tricks 2,3
(How can we process this “bad” information?)
Fragmentariness
Multi-levels of the
information
For these purposes a considerable part of the model is
represented in the form of a tree or graph. It is clear that
for complex problems representation of a model in the
form of tree is some simplification. However in this way
good presentation and simplicity of operation with the
model is attained.
Various degree of
This is achieved by reflecting the influence of a particular
piece of information on the status of the elements of the
model of the problem with the aid of fuzzy linguistic
values. It should be borne in mind that an evaluation of
an element of the model.
reliability
Technics of the IMS/tricks 4,5
(How can we process this “bad” information?)
Possible
discrepancy
For this purpose the description of the influence of the
information received on a status of the model of a problem
was done with use of fuzzy linguistic variable. It is necessary
to take into account, that the evaluation of the element of
model may both vary under influence of the information
received and remain unchanged (i.e. be confirmed).
Varying in time
Time is one of the parameters of the system. This makes it
possible to have a complete picture of the variation of the
status of the model with time.
СИМ: ввод информации
пр
ив
яз
ыв
ае
т
модель проблемы/
процесса
эксперт
База
данных
ан
ал
и
зи
р
уе
т






Кто
Когда
Что поменял
= с ...
= на ...
На основе чего

...
Data
информационный образ проблемы/процесса
СИМ: анализ (моделирование)
модель проблемы/
процесса
эксперт
Да
 Скорее всего
...
Нет
Критический путь – малое изменение значения элемента вызывает
изменение состояния всей проблемы.
Знание таких элементов имеет большое практическое значение и позволяет выявить
"слабые места" в проблеме на текущий момент времени, разработать мероприятия по
блокированию нежелательных ситуаций или провоцированию желательных, т.е. в
некоторой степени управлять развитием проблемы в интересах организации, ее
отслеживающей.
Системы информационного
мониторинга /1
 базируются на теории иерархических
нечетких дискретных динамических систем;
 позволяют:
 единообразно обрабатывать разнородную,
разноуровневую, фрагментарную, ненадежную,
меняющуюся во времени информацию;
 получать оценки состояния проблемы,
отдельных ее аспектов;
Системы информационного
мониторинга /2
 моделировать различные ситуации
предметной области мониторинга;
 выявлять “критические пути”
проблемы, то есть выявлять
проблемы, малое изменение
может качественно изменить
проблемы в целом.
в
развития
те элементы
состояния которых
состояние
СИМ: Проблемы разработки
модель проблемы/
процесса
пр
ив
яз
ыв
ае
т
3
2
эксперт
База
данных
ан
ал
и
1
зи
р
уе
т






Кто
Когда
Что поменял
= с ...
= на ...
На основе чего

...
Data
информационный образ проблемы/процесса
Проблемы разработки СИМ /1
Проблема 1. Можно ли, учитывая некоторые особенности
восприятия человеком объектов реального мира и их
описания, сформулировать правило выбора оптимального
множества значений признаков, по которым описываются эти
объекты? Возможны два критерия оптимальности:
Критерий 1. Под оптимальными понимаются такие множества значений, используя
которые человек испытывает минимальную неопределенность при описании
объектов.
Критерий 2. Если объект описывается некоторым количеством экспертов, то под
оптимальными понимаются такие множества значений, которые обеспечивают
минимальную степень рассогласования описаний.
Полное ортогональное
семантическое пространство
L:
1.  j (1  j  t)  U1j  , где U1j = uUj = 1, U1j есть отрезок или точка;
2.  j (1  j  t) j не убывает слева от U1j и не возрастает справа от U1j (так как,
согласно 1, U1j является отрезком или точкой, понятия “слева” и “справа”
определяются однозначно).
3.  j (1  j  t) j имеет не более двух точек разрыва первого рода.
G:
4.  uU  j (1  j  t) j (u) > 0
t
5.  uU
  ( u)  1
j1
j
Ближайшая совокупность
характеристических функций
Степень нечеткости: аксиомы
Под мерой неопределенности st  G(L) будем
понимать
значение
функционала
(
st),
определенного на элементах G(L) и принимающего
значения в [0,1] (то есть   G(L) [0,1]),
удовлетворяющего следующим условиям (аксиомам):
A1. ( st) = 0, если st представляет собой
.
совокупность
характеристических функций;
A2. Пусть st , s’t’  G(L), t и t’ могут быть равны или
не равны друг другу. Тогда
.
(Напомним, что - ближайшая к st совокупность
характеристических функций.)
Степень нечеткости: теорема
существования
Лемма. Пусть st , st  G(L), st = 1, 2, … , t, st = 1, 2, … , t,
d(,) - метрика
в L.
t
Тогда d (st , st )   d (  j ,  j ) есть метрика в G(L).
j 1
Теорема (существования). Пусть st  G(L). Тогда функционал
1
( st ) 
U
где
 f (
U
 i * (u)  max  j (u),  i * (u) 
1
1 j  t
2
i1*
(u)   i * (u))du,
2
max  j (u),
1 j  t , j  i
*
1
f удовлетворяет следующим условиям:
F1. f(0)=1, f(1)=0;
F2. f не убываетявляется мерой неопределенности st, то есть удовлетворяет аксиомам A1 и A2.
Степень нечеткости:
интерпретация
1
( st ) 
U
1
( st ) 
U
f(x) = 1 – x :
 f (
i1*
(u)   i * (u))du,
2
U
 (1  (
i1*
(u)   i * (u)))du,
2
U
( st , u)  1  ( i * (u)   i * (u)
1

1
a1
a2
u1
u2 u3 u4
2
a3
u5
U
0  ( st , u5 )  ( st , u1 )  ( st , u2 )  ( st , u3 )  ( st , u4 )  1
Степень нечеткости: свойства
L - множество кусочно-линейных функций из L,
которые являются линейными на
U = {u  U: j(1  j  t) 0 <  j (u) < 1}
L - множество кусочно-линейных на U (включая U) функций
из L
Теорема. Пусть st G( L ). Тогда
Теорема. Пусть st G(
L). Тогда
d
(st ) 
2| U|
d
(st )  c
| U|
, где d=| U|
, где c<1, c=Const
Степень нечеткости: свойства
Пусть g - некоторая взаимно-однозначная функция, определенная на U. Эта
функция индуцирует преобразование некоторого полного ортогонального
семантического пространства st G(L), определенное на универсуме U в полное
ортогональное семантическое пространство g(st), определенное на универсуме U,
где U = g(U) = {u = g(u), uU}.
Данное преобразование может быть определено следующим образом: g(st) есть
множество функций принадлежности j(u), где j(u) = j(g(u)) = j(g -1(u)) =
j(u), (j (u) st , 1jt).
Пример. Пусть st G(L), U - универсум st и g есть растяжение (сжатие)
универсума U. Тогда g(st) есть множество функций, получаемых из st таким же
растяжением (сжатием).
Теорема 3.4. Пусть st G(L), U - универсум st , g - некоторая линейная
взаимно-однозначная функция, определенная на U и (st)  0. Тогда (st) =
(g(st)).
Степень нечеткости: свойства
Степень нечеткости одного множества, индуцированная (st), может быть
определена как степень нечеткости тривиального полного ортогонального
семантического пространства, определяемого одним нечетким множеством (u)
   
1
U
 1  2  u   1 du
U
Степень нечеткости: устойчивость
Теорема. Пусть st G ( L ). Тогда
D(1   2 ) 2
( st ) 
2|U |
D(1  2 2 )
( st ) 
2|U |
t 1
D   d j , j 1
j 1
Оптимальное множество значений
качественных признаков
1.
Генерируются все “разумные” множества значений
лингвистической переменной.
2. Каждое из таких множеств представляется в форме полного
ортогонального семантического пространства.
3. Для каждого из них вычисляется мера неопределенности.
4. В качестве оптимального множества значений как с точки
зрения минимизации неопределенности описания объектов, так
и с точки зрения минимизации степени рассогласования
мнений экспертов, выбирается то множество, мера
неопределенности которого минимальна.
Проблемы разработки СИМ /2
Показано, что мы можем сформулировать
методику выбора оптимального множества
значений качественных признаков.
Более того, показано, что такая методика является устойчивой, то
есть возможные при построении функций принадлежности
естественные маленькие ошибки не оказывают существенного
влияния на выбор оптимального множества значений. Множества,
оптимальные по критериям 1 и 2 совпадают.
СИМ: Проблемы разработки
модель проблемы/
процесса
пр
ив
яз
ыв
ае
т
3
2
эксперт
База
данных
ан
ал
и
1
зи
р
уе
т






Кто
Когда
Что поменял
= с ...
= на ...
На основе чего

...
Data
информационный образ проблемы/процесса
Проблемы разработки СИМ /3
Проблема 2. Можно ли определить
показатели качества поиска информации
в нечетких (лингвистических) базах
данных и сформулировать правило
выбора
такого
множества
лингвистических
значений,
использование которого обеспечивало
бы максимальные показатели качества
поиска информации?
Поиск информации: формализация
N(u* ) число объектов, описания которых хранятся в базе данных, имеющих
реальные (физические, не лингвистические) значения признака, равные u* ;
N user - число пользователей системы.
Поиск информации: формализация
N(u* ) число объектов, описания которых хранятся в базе данных, имеющих
реальные (физические, не лингвистические) значения признака, равные u* ;
N user - число пользователей системы.
N a1  u *   a1  u *  N  u * 
N a2  u*   a2  u *  N  u * 
*
*
user
N auser
u


u
N
  a1  
1
*
*
user
N auser
u


u
N




a2
2
Запрос: “Выдать все объекты, имеющие
значение признака, равное a1“
(обозначим его как I(O)= a1)
Поиск информации: формализация
Усредненные индивидуальные потери пользователя в точке u* при
анализируемом запросе
1
*
*
*
*
*
 a1  u   user N auser
u
N
u


u

u
N
u










a2
a1
a2
1
N
*
Средние индивидуальные потери информации и шумы при анализируемом запросе
 a1 U  
1
 a1  u  du

U U
1
 a1 U    a1 U  
U
   u    u  N  u  du
a1
U
a2
Поиск информации: формализация
Потери и шумы при поиске информации по признаку, имеющему
множество значений X = {a1 ,a2 }
 X U   p1 a1 U   p2 a2 U 
 X U    X U  
1
U
   u    u  N  u  du
a1
a2
U
t > 2. В этом случае область интегрирования U может быть представлена как
U  U1 U12 U 2
Ut 1,t
Ut
Рассмотрим запрос I(O)= aj (1  j  t)
 a j U    a jj 1 U    a jj 1 U 
a
a
Поиск информации: формализация
 a jj 1 U    a jj 1 U  
a
a
1
U
   u   u  N  u  du 
aj
a j 1
U

 a jj 1 U    a jj 1 U  
a
a
1
U
1
U

a  u a
j
j 1
 u  N  u  du
U j 1, j
   u   u  N  u  du 
1

  u   u  N  u  du

U
aj
a j 1
U
aj
a j 1
U j , j 1
1
 X U    X U  
U
t 1
 p
j 1
j
 p j 1 

U j , j 1
a  u  a
j
j 1
 u  N  u  du
Поиск информации: свойства
Теорема. Пусть s2  G(
L ), N(u) = N = Const. Тогда  X U    X U  
Nd
6U
N
Следствие. Пусть выполняются условия теоремы. Тогда  X U    X U     s2 
3
1
ND
p

Теорема. Пусть st  G( L ), N(u) = N = Const и j t Тогда  X U    X U  
3t U
Следствие. Пусть выполняются условия теоремы. Тогда  X U    X U  
2N
  st 
3t
Теорема. Пусть s2  G(L), N(u) = N = Const. Тогда  X U    X U   c  s2 
Теорема. Пусть st  G(L) , N(u) = N = Const и p j 
1
t
c
 X U    X U     st 
t
Поиск информации: устойчивость
ND 1   2 
 X U    X U  
3t U
3
2N
 X U    X U  
1   2   st 
3t
ND 1   2  2 ND 2
 X U    X U  

3t U
tU
3
 1   2 3

2N
 X U    X U  

2


2    st 
t 1  2 2  
3

Проблемы разработки СИМ /4
Показано, что можно ввести показатели
качества поиска информации в нечетких
(лингвистических)
базах
данных
и
формализовать их. Показано, что возможно
сформулировать
методику
выбора
оптимального
множества
значений
качественных
признаков,
которое
обеспечивает максимальные показатели
качества поиска информации.
Более того, показано, что такая методика является устойчивой,
то есть возможные при построении функций принадлежности
естественные маленькие ошибки не оказывают существенного
влияния на выбор оптимального множества значений.
СИМ: Проблемы разработки
модель проблемы/
процесса
пр
ив
яз
ыв
ае
т
3
2
эксперт
База
данных
ан
ал
и
1
зи
р
уе
т






Кто
Когда
Что поменял
= с ...
= на ...
На основе чего

...
Data
информационный образ проблемы/процесса
Проблемы разработки СИМ /5
Проблема 3. Можно ли предложить
алгоритмы
выбора
операторов
агрегирования информации в системах
информационного
мониторинга,
обеспечивающие «настройку» системы на
конкретную предметную область?
Проблемы разработки СИМ /6
Выделяются следующие подходы к решению этой
проблемы,
базирующиеся
на
различных
интерпретациях
операторов
агрегирования
информации:
•
•
•
геометрический;
логический;
на основе обучения:
–
–
oбучение на основе генетических алгоритмов
обучение на основе нейронных сетей.
Агрегирование: формализация
Рассмотрим некоторое дерево D с вершинами dj (j = 0, ..., ND).
Каждой вершине dj поставим в соответствие множество Xj - множество
значений элемента модели проблемы с именем dj.
Рассмотрим некоторую не концевую вершину d j
0
с подчиненными ей (в смысле рассматриваемого дерева D)
вершинами d j , d j , , d j
1
2
N
0
ОАИ
O j0 : X j1  X j2 
O j0  X j0
X j1  X j2   X jN
0
 X jN  X j0
0
Агрегирование: формализация
Информация об “идеальном” ОАИ
I j  I j (1)
I j (2)
множество высказываний экспертов о “правильном поведении” ОАИ
множество результатов работы выбранного ОАИ
Агрегирование: геометрический
подход
Предполагается, что эксперт может определить значение в узле - родителе
на некоторых наборах значений узлов - потомков. Эти наборы значений и
значение в узле - родителе интерпретируются как точки в (n+1) - пространстве.
Далее, исходя из этих точек и некоторых предположений строится поверхность.
Примерами таких предположений могут быть:

поскольку мы не имеем информации о значениях оператора на не
определенных экспертом наборах, будем считать искомую поверхность
кусочно-линейной (в смысле n - мерных гиперплоскостей);

желательно удобное хранение оператора агрегирования, поэтому будем
считать, что искомая поверхность является гладкой и описывается полиномом
(k+1) степени, где k - число известных точек в нашем пространстве.
Агрегирование: логический
подход
Рассмотрим Pkn,t и обозначим через S множество нечетких условий на
поведение функций из Pkn,t . Можно сформулировать следующие задачи
Задача 1. Являются ли условия S на поведение конкретной функции fPkn,t
совместимыми или противоречивыми?
Задача 2. Если условия не противоречивы, можно ли каким-либо образом
описать класс функций S(Pkn,t), им удовлетворяющих? В частности, можно ли
предложить процедуру вычисления степени принадлежности любой fPkn,t
нечетким условиям S ?

Задача 3. Если условия S противоречивы, можно ли сформулировать условия S
S   S) максимально похожие на S и являющиеся непротиворечивыми?
Агрегирование: логический
подход
Идея алгоритма решения задачи 2
базируется на представлении нечеткого условия в виде некоторого
нечеткого отношения. Данное отношение определяется на декартовом
квадрате области определения функции и описывает поведение функции,
ему удовлетворяющей, на соседних значениях области определения.
Агрегирование: логический
подход
Пример. Рассмотрим обычное, не нечеткое, условие возрастания функции. Оно
разбивается на следующие локальные требования :
 i (1  i  k-1) f( i ) < f( i+1 )
f(i)\f(i+1)
0
1
2
3
4
5
0
0
1
1
1
1
1
1
0
0
1
1
1
1
2
0
0
0
1
1
1
3
0
0
0
0
1
1
4
0
0
0
0
0
1
5
0
0
0
0
0
0
Агрегирование: логический
подход
Пример. Рассмотрим следующее нечеткое условие «При возрастании x функция
f(x) слегка возрастает». Матрица, описывающая это условие, может иметь
следующий вид:
f(i)\f(i+1)
0
1
2
3
4
5
0
0.6
1
0.6
0.2
0
0
1
0
0.6
1
0.6
0.2
0
2
0
0
0.6
1
0.6
0.2
3
0
0
0
0.6
1
0.6
4
0
0
0
0
0.6
1
5
0
0
0
0
0
0.6
Агрегирование: логический
подход
Функция удовлетворяет нечеткому условию, если она удовлетворяет ему для
всех значений i (1  i  k-1). Таким образом, по матрице нечеткого
отношения
степень принадлежности любой функции fPk1 этому условию вычисляется
однозначно. Она будет равна некоторой t-норме соответствующих степеней
принадлежности из матрицы:
k 1
 S ( f )   S ( f (i), f (i  1))
i 1
k
*
 S (l  1, i )   S ( j , i ) при 1  l  l
 S (l , j )   i k1
  (l  1, i )   (i, j ) при l *  l  k
S
S

i 1
(1 l,j  k).
Агрегирование: генетические
алгоритмы
Число
поколений
Число
запусков
алгоритма
Средняя минимальная ошибка
последнего поколения
Классический
алгоритм
Модифицированный
алгоритм
3000
5
-
0,00000000005
2000
5
-
0,0000000001
1000
10
0,000009412333
0,0000000042
500
10
0,00007227655
0,0000059195
200
10
0,000136715
0,0000554
100
10
0,00014429
0,0001553
Агрегирование: нейронные сети
Технология разработки СИМ/1
Включает следующие этапы:
•
•
•
•
концептуальная модель;
демонстрационный прототип;
исследовательский прототип;
система.
Концептуальная модель:
•
•
•
•
Э / И / П = 3 / 2 / 1;
формулировка задачи;
проект модели;
технология использования системы в
организации Заказчика;
• оценка времени и стоимости этапов
разработки (проект разработки системы);
• 10% - 15% стоимости системы.
Демонстрационный прототип:
•
•
•
•
•
•
Э / И / П = 2 / 3 / 2;
система, решающая (упрощенную) часть задачи
на основе реальной информации;
оценка применимости технологии для решения
задачи Заказчика;
передача
прототипа
в
экспериментальное
опробование;
уточнение проекта;
20% - 25% стоимости системы.
Исследовательский прототип:
•
•
•
•
•
•
Э / И / П = 1 / 2 / 3;
система, решающая задачу на основе
реальной информации;
настройка;
передача
прототипа
в
опытную
эксплуатацию;
уточнение проекта;
35% - 40% стоимости системы.
Система:
• Э / И / П = 1 / 1 / 3;
• полномасштабная система,;
• передача системы в эксплуатацию;
• 25% - 30% стоимости системы.
Итак, СИМ:
• решают задачу мониторинга;
• позволяют эксперту (пользователю)
вводить информацию из всех возможных
(доступных) источников «естественным»
образом (вводятся только оценки);
• хранят историю развития
проблемы/процесса, оценивают ее/его
текущее состояние, прогнозируют и
моделируют будущее.
СИМ эффективны:
• когда нет (нельзя построить)
математическую модель
проблемы/процесса в виде уравнений,
автоматов, и т.п.;
• когда есть эксперты, решающие задачу
мониторинга.
Разработка СИМ возможна:
• когда можно построить «семантическую
модель» проблемы/процесса в виде
набора понятий и их взаимосвязей;
• поступает и анализируется реальная
информация (возможно обучение или
настройка).
Мы можем:
разрабатывать оптимальные СИМ с
точки зрения:
• удобства ввода информации экспертом
(пользователем);
• согласованности мнений экспертов
(пользователей);
• информационного обеспечения ввода
информации и моделирования.
Примеры СИМ:
•
•
•
•
Система мониторинга и оценки мирной ядерной
деятельности стран в интересах управления
обеспечения международных гарантий МАГАТЭ
(Development of an Intelligent System for Monitoring
and Evaluation of Peaceful Nuclear Activity, IAEA, Vienna,
STR-310)
Система «Мониторинг - 1» (НИЦ «Контур» ФАПСИ)
Система оценки и мониторинга риска
атеросклеротических заболеваний (Институт
профилактической медицины РАМН)
Система оценки и мониторинга проектов разработки
высокотехнологических проектов в области
микроэлектроники (Cadence Design Systems)