Статистическая графика и инфографика
advertisement
В. В. Артюхин, канд. экон. наук, доцент, ведущий научный сотрудник ВНИИ ГОЧС МЧС России, член Экспертного совета МОО «Информация для всех» Статистическая графика и инфографика: меньше, чем требуется, больше, чем нужно, и другие проблемы Работа посвящена информационной графике, а точнее, одной из ее разновидностей – графике статистической: удачным образчикам из истории и современному этапу ее развития. Рассмотрены фундаментальные ошибки, которые авторы совершают при проектировании графических представлений числовой информации, некоторые возможные критерии оценки изображений, а также обоснована целесообразность разработки методики оценки качества статистической графики и предложен подход к такой разработке. Введение В отличие от компьютера, человеку сложно запоминать и обрабатывать большие объемы однотипных данных. Идет ли речь о цифрах, высказываниях, фамилиях людей или географических названиях, объем человеческой памяти и способности к манипуляциям с нею в значительной мере ограничены. Обработка и манипулирование также сильно осложняются, если предлагаемая к рассмотрению ситуация необычна, сложна по числу факторов или в задаче имеются «подводные камни». Свидетельством этому выступают многочисленные задачи «на сообразительность», часто имеющие строго логическое решение. В пример можно привести «Задачу о двух математиках» [1]. В условии этой задачи фигурирует единственное точное число – произведение возрастов. Кроме того, фигурирует несколько фактов, которые, на первый взгляд, ничего не уточняют, поскольку не являются числами. И, тем не менее, задача имеет единственный правильный ответ, который становится очевиден, если решающий задачу учтет все факты (или высказывания). С другой стороны, даже оперируя небольшими объемами исходных данных, человек способен попасть в ловушку, в которую компьютер попасть не может в принципе – речь идет о влиянии интуиции на восприятие. В случае с подбрасыванием монеты люди зачастую правильно определяют вероятности каждого из двух возможных исходов просто интуитивно (хотя далеко не все понимают, что эти вероятности не зависят от числа подбрасываний). Интуитивно, «на глазок» производится (и притом чаще всего правильно) и оценка скоростей движущихся автомобилей при переходе улицы по пешеходному переходу. Интуиция часто помогает там, где пасуют чистые память, опыт, навык или логика (еще 10 лет назад исследования когнитивных психологов, специализирующихся в исследованиях познавательных процессов показали, что никто не знает, как решать проблему, пока она не решена [2] – существует некий момент «озарения», который трудно уловить и который невозможно точно определить). Однако существует множество случаев, когда интуитивная оценка или ответ на некий вопрос могут значительно расходиться с реальным положением дел (это демонстрируют, например, «Задача о днях рождения» или «Парадокс Монти Холла» [3]). Для представления информации, требующей усвоения, оценки, манипуляции, но слишком сложной «в сыром виде» для человеческого сознания по структуре, природе или объему, люди с 1 Файл загружен с http://www.ifap.ru древних времен использовали «статистическая графика», рисунки и чертежи, хотя отдельные «инфографика» появились сравнительно стили и термины – недавно. Грамотно разработанное произведение, содержащее текст, графику и цифры, способно отразить и структуру исходной информации, и динамику изменения показателей, и тренды, и экстремумы, и многие другие ее свойства, причем сделать это ясно, эффективно и точно. Значение терминов и исторические вехи «Информационная графика» – это изображение, которое помимо возможной художественной, эстетической ценности несет в себе некие сведения и в первую очередь для этого предназначена. Карта местности – это информационная графика, а карты люди начали составлять за несколько тысячелетий до изобретения письменности. Точно также информационной графикой можно назвать и любой чертеж, и схему метрополитена1, а вот та же схема с обозначением объема пассажиропотока или карта мира с обозначенной для каждой страны или региона численностью населения – это еще и статистическая графика. Именно «статистическая графика», то есть изображения, являющиеся формой представления результатов анализа неких чисел, является предметом данной статьи. В качестве синонима статистической графики в работе будет также применяться и термин «диаграмма». Термин «научная графика» слишком широк, ведь чертеж самолета или схема некоего процесса – это тоже изображения, где могут присутствовать цифры. То же можно сказать и об «информационной графике», которой мы будем касаться, но к которой относятся в частности и дорожные указатели, не содержащие ни одной цифры («Налево», «Администратор за углом», «Только прямо», «WC» и т. д.). Подробный обзор типологии видов информационной графики, основных функций, принципов формирования и применения можно найти, например, в работе [4]. Нет ни необходимости, ни возможности излагать всю историю развития и теорию статистической графики в данной работе, но полезно рассмотреть несколько исторических фактов: • Первые столбчатые, линейчатые и круговые диаграммы были представлены в книгах «Коммерческий и политический атлас» (1786) и «Статистический конспект» (1801) Уильяма Плейфера (Рис. 1). Причем, можно проследить эволюцию указанных элементов: в ранних работах Плейфера они вычурные и цветастые, но со временем он приходит к выводу, что главное – это данные, и диаграммы становятся более сдержанными и более ясными. 1 Известный всем пример хорошей информационной графики, причем динамической, являют собой обыкновенные часы с циферблатом: часы, секунды и минуты отображаются на одной шкале при помощи трех стрелок разного вида. 2 Рис. 1. Статистическая графика Плейфера: торговый баланс (вверху) и одна из первых круговых диаграмм (внизу) [5] • В 1861 году Чарльз Минар создал изображение, отражающее ход наступления Наполеона на Москву (и отступления из нее). На двумерном изображении отражено множество показателей: численность армии на разных этапах наступления и отступления (один миллиметр ширины оригинала соответствует 10 000 человек), направление перемещения войск (светлая полоса – движение к Москве, черная – от Москвы), географические наименования, температура воздуха на этапе отступления (соответственно, читать отметки нужно справа налево, температура измеряется в градусах ниже точки замерзания воды по шкале Реомюра, 1 ° R = 1,25 ° С). Все эти показатели синхронизированы между собой и интегрированы в единое представление (Рис. 2). 3 Рис. 2. Чарльз Минар. Наступление Наполеона на Москву [6] • 31 августа 1854 года в центральном Лондоне, вблизи Броад Стрит разразилась эпидемия холеры. Джон Сноу, который исследовал эту эпидемию, заключил, что виной всему является зараженный источник воды. Доступ к источнику был закрыт, и эпидемия вскоре прекратилась. Все это могло бы показаться вполне банальным, если бы не два «но»: o в те времена еще не было известно, что холерой можно заразиться от воды – бытовало несколько точек зрения, господствующей из которых была та, согласно которой причиной заболевания холерой и некоторыми другими болезнями был некий «плохой», «грязный» воздух («миазма»); o графика, которую в то время использовали ученые в ходе исследования эпидемий, в основном отражала изменения числа заболевших и умерших от болезни во времени, что никак не помогало установить источник заразы. Сноу решил, что нет ни одного агента, ничего, связывающего заболевших в районе Броад стрит, кроме источника воды. Решил он так не на пустом месте – он нанес штрихи, соответствующие заболевшим в каждом из домов в районе Броад стрит, на карту (Рис. 3). Дальнейшее исследование показало, что заболевшие люди, проживавшие далеко от зараженного источника воды, либо гостили у своих родственников, проживавших вблизи оного, либо традиционно посылали за водой из этого источника, потому что им нравился вкус именно этой воды. Еще интереснее, что из работников пивоварни, располагавшейся недалеко от помпы, не заболел никто. Расспросы показали, что вода для производства пива бралась из колодца на самой пивоварне, а работникам разрешалось выпивать некоторое количество пива в течение дня (со слов владельца предприятия, воды они вообще не пили). У Сноу была идея, которая обернулась простой и блестящей, плоской по форме, но не по сути, графикой и подтвердила теорию. История этой эпидемии холеры и победы над ней, обеспеченной, в частности, графическим материалом, вообще заслуживает подробного изучения дизайнерами, журналистами, аналитиками и учеными, активно использующими графику в своей работе. 4 Рис. 3. Карта Джона Сноу с обозначением заболевших холерой в каждом доме в районе Броад Стрит Лондона [7] При взгляде на хорошую информационную графику, созданную в любой исторический период, всегда понятно, зачем она создана, а хорошая статистическая графика, помимо этого, всегда отвечает на вопрос: в сравнении с чем? Иными словами, если в информационной графике имеются цифры, должно быть понятно, что с чем сравнивается и с какой целью [8, 9]. Эти традиционные вопросы остались актуальными и в XX, и в XXI веках, но новое время в силу неудержимости технического прогресса наложило свой отпечаток на развитие информационной и в частности статистической графики и поставило перед ее разработчиками новые вопросы. До середины XX века диаграммы в основном создавались с помощью письменных принадлежностей. Создание графического представления данных вручную – это в любом случае процесс значительно более трудоемкий, чем, скажем, написание текста, поэтому авторам приходилось крепко подумать, что и как отображать. В результате этих умственных и физических мучений, через которые ученые вынуждены были проходить каждый раз при необходимости отобразить новые данные, на свет появлялись шедевры, примеры которых приведены в предыдущем разделе. Распространение компьютеров и механизированной обработки данных внесло свои коррективы. Компьютеры отлично подходят не только для хранения больших объемов информации, но и для их обработки. Причем, загрузив в компьютер некоторую функцию или шаблон вычислений единожды, можно в дальнейшем многократно применять его к разным наборам данных. В какой-то момент кто-то решил (впрочем, небезосновательно), что и процесс создания статистической графики, можно автоматизировать подобным же образом – с помощью шаблонов (например, имеющихся в программе Microsoft Excel). Во многих случаях подобный подход оправдан, но он имеет один фундаментальный недостаток: создание диаграммы с помощью программного шаблона предполагает определенную форму и структуру исходной информации, но не предъявляет никаких требований к 5 смыслу этой информации, наличию или отсутствию взаимосвязей между рядами данных, а также к непосредственной цели создания графического представления (что должен увидеть, выделить смотрящий на изображение, по мнению автора последнего, за что должен цепляться глаз наблюдателя, что должно вызывать вопросы, а что служить доказательством сказанного). Использование формата и структуры информации в качестве единственных метаданных для построения графических представлений привело к тому, что на основании одного и того же набора данных можно построить десятки типов диаграмм, хотя совершенно очевидно, что все они не могут быть одинаково эффективными в качестве средства коммуникации в каждом конкретном случае (порой они бывают совершенно неадекватными): круговая диаграмма не показывает динамику, обычная столбчатая не показывает структуру данных, а если на графике всего 3 или менее позиций, то лучше представить их в форме таблицы или просто цифрами в тексте. Компьютеры не обязаны задумываться над смыслом производимых действий, они не умеют этого делать и не для этого предназначены, но проблема не в этом. Проблема в том, что и люди привыкли создавать графику, в том числе для научных отчетов и статей, без учета контекста решаемой задачи. В результате часто получаются картинки, годные разве что для забивания места на слайдах презентаций (Рис. 4), а не для облегчения восприятия информации, для чего графика, вообще-то, в первую очередь и предназначена. Рис. 4. Примеры неудачно составленных диаграмм: практически нулевая информативность (вверху) и сравнение несопоставимых показателей (внизу) 6 Выбор эффективной формы представления данных – это одна из сложнейших задач анализа, и ее важность сложно переоценить в особенности там, где речь идет о рисках (чистых рисках, природных и техногенных рисках). Рассмотрим один исторический пример того, как эффективное графическое представление данных могло помешать страшнейшей катастрофе, но, увы, просто не было разработано. «Челленджер» (англ. "Challenger", «Бросающий вызов») — многоразовый транспортный космический корабль (англ. Space Shuttle, космический челнок), переданный в эксплуатацию Национальному управлению по воздухоплаванию и исследованию космического пространства США (НАСА) в июле 1982 года, совершил свой первый полет 4 апреля 1983 года. В общей сложности «Челленджер» выполнил 9 успешных миссий. Последний старт челнока был запланирован на утро 28 января 1986 года, затем запуск перенесли на два часа дня из-за того, что были найдены мелкие поломки, которые устраняли инженеры. Телевидение вело прямую трансляцию с мыса Канаверал. Чтобы заполнить паузу, вызванную ремонтом корабля, ведущий рассказывал об истории программы «Космический челнок», предсказывая новому чуду ракетной техники большое будущее. За стартом «Челленджера» наблюдали миллионы зрителей по всему миру. На 73-й секунде полёта, на высоте 14 км произошёл отрыв левого твердотопливного ускорителя от одного из двух креплений. Провернувшись вокруг второго, ускоритель пробил основной топливный бак. Из-за нарушения симметрии тяги и сопротивления воздуха корабль отклонился от оси и был разрушен аэродинамическими силами. Как потом выяснилось, астронавты были ещё живы, так как носовую часть, где они находились, просто оторвало от остальной части корабля. Они сразу же поспешили надеть кислородные маски, но в результате падения с 20 км высоты и колоссальной силы (перегрузки около 200 G) удара о воду все семеро находившихся на борту астронавтов (в том числе и первый астронавт-непрофессионал – бывшая учительница Криста МакОлифф, которая выиграла общенациональный конкурс на право лететь в космос, организованный по инициативе президента США Рональда Рейгана) погибли. Причиной трагедии называют неисправность кольцевого уплотнителя правого твердотопливного ускорителя, вызвавшую утечку раскалённых газов, которые разрушили крепление, а также и то, что запуск осуществлялся при температуре -2 ° С, в то время как рекомендованной температурой воздуха для взлётов является 11 и более градусов тепла. Неисправность была вызвана недостатками конструкций ускорителя и резинового уплотнителя, чувствительного к большому числу факторов, таких как температура, свойства применяемых материалов (резина теряет эластичность на холоде), эффект повторного использования, реакция на динамическую нагрузку [10]. Примечательно, что в истории с «Челленджером» еще до запуска риск его неудачи и даже ее возможные причины были в целом идентифицированы правильно, но риск был неверно, недостаточно ясно и четко презентован инженерами компании "Morton Thiokol" (создавшей ракетуускоритель) высокопоставленным сотрудникам НАСА, ответственным за запуск, и, как следствие, был неправильно оценен последними. За день до запуска инженеры изложили свои опасения, представив их в 13 записках, таблицах и схемах (Рис. 5). 7 Рис. 5. Некоторые из таблиц и записок, представленные инженерами компании "Morton Thiokol" в НАСА в попытке отложить запуск Челленджера [10] За 12 лет это была первая рекомендация компании-производителя корабля отложить его запуск. О потенциальной опасности дефектов уплотнителей, поставляемых "Morton Thiokol", руководителям НАСА было известно с 1977 года. Однако в тот день инженерам не удалось убедить чиновников в том, что между температурой воздуха и повреждениями кольцевых уплотнителей, обнаруженными по итогам предыдущих успешных запусков, существует прямая связь (чем ниже была температура при запуске, тем значительнее были повреждены уплотнители, а при такой холодной температуре, какой она была 28 января 1986 года, запуски до этого не производились ни разу). Виной тому недостаточно убедительная аргументация инженеров, а также корпоративная культура, политические соображения и дефекты в алгоритме принятия решений сотрудниками НАСА (перед 28 января очередной запуск «Челленджера» по разным причинам откладывался уже трижды). На самом деле, для спасения жизней вполне могло хватить одной диаграммы, составленной на основе анализа всех этих 13 фрагментов данных (такую диаграмму предлагает Эдвард Тафти в работе [11]). Выбор просто неподходящей графической формы для представления данных – не единственная возможная неприятность, мелочи и тонкости оформления тоже имеют большое значение. В теперь уже отдаленном прошлом, когда массовому пользователю была доступна лишь черно-белая печать, можно было довольно часто встретить диаграммы с «разношерстной» штриховкой. В отсутствие цветового кодирования такой прием позволял различать категории данных, 8 но неаккуратное его применение могло привести к появлению «муара» – узора, возникающего при наложении двух периодических сетчатых рисунков. Муар вызывает у человека ощущение движения или вибрации там, где его нет. Глаз «скачет» по пространству и не может зацепиться. У некоторых появляется ощущение, что они видят оттенки желтого цвета там, где их нет. Всю силу муарового узора можно ощутить, например, взглянув на некоторые картины Бриджит Райли (поскольку муар – это все, что в этих картинах есть) (Рис. 6). Рис. 6. Картины Б. Райли: “Current” (1964) – слева вверху, “Blaze” (1962) – справа вверху, “Cataract” (1967) – слева внизу и “Movement in Squares” (1961) – справа внизу [12] И по сей день на многих статистических изображениях можно наткнуться на иллюзию Неккера (или Куб Неккера), которая способна сбивать с толку. Куб Неккера – это оптическая иллюзия восприятия, которая впервые была замечена швейцарским кристаллографом Луи Альбертом Неккером в 1832 году. В ходе своих наблюдений он обнаружил, что если смотреть на куб с гранями, маленький черный шарик появляется то на переднем плане, то на заднем, то в углу, то в центре. 9 Другой пример того же явления, даже более близкий к нашей теме, можно увидеть на кубе с одной затененной гранью (Рис. 7).2 Рис. 7. Иллюзия Неккера на примере каркасного куба (слева) и куба с одной затененной гранью (справа) [13] И на статистических изображениях стык левой, задней и нижней ограничивающих плоскостей может восприниматься, как находящийся то на заднем плане, то на переднем. Изучая такую диаграмму, приходится себя периодически «одергивать», что отвлекает от анализа цифровой информации (Рис. 8). Рис. 8. Пример реализации иллюзии Неккера в статистической графике За последние 100 лет значительно расширился набор способов, с помощью которых можно продемонстрировать зрителю некое изображение: помимо бумажных носителей информации, таких как газеты и журналы (многие из которых по-прежнему издаются в черно-белом варианте), появились сначала монохромные, а потом и цветные мониторы, компактные устройства с маленькими, но высококачественными экранами, 3D-экраны и очки и многое другое. Современные графические 2 Разумеется, на разных людей зрительные иллюзии влияют в разной степени. 10 программы позволяют одним движением руки создавать информационные изображения, не заставляя их авторов задумываться над тем, как и где они будут выводиться: • на большом экране или на маленьком; • в черно-белом или цветном варианте (Рис. 9); • будет ли изображение распечатано или будет скачиваться по сети? Рис. 9. Основные и дополнительные цвета при преобразовании к шкале серого средствами Microsoft Word 2007 Если производится демонстрация изображений в цвете, то используемые в них цвета, зачастую попросту «вводят в ступор» своей несовместимостью.3 Нужно отметить, что в былые времена рисовальщику или чертежнику приходилось серьезно задумываться над всеми указанными нюансами, поскольку, как ранее говорилось, производство рисунков и графики вручную было куда более трудоемким. Зато сегодня такой необходимости нет… С подготовкой в одной и той же программе и идентичным образом версий изображений на все случаи жизни могут возникать и другие, более значительные проблемы. В одном из американских журналов несколько лет назад была опубликована карта Бостона большого масштаба, на которой точками были отмечены районы вспышек сифилиса. Маленькая и грубая карта Бостона была 3 Простейший способ подобрать сочетающиеся цвета заключается том, чтобы позаимствовать их с открыток с видами живой природы: в природе можно встретить даже весьма нетривиальные, но гармоничные сочетания цветов, например красного и зеленого на грядке с клубникой. Более изощренные способы включают заимствование цветов с цифровых копий картин художниковклассиков, например, А. Матисса. Для заимствования цвета можно воспользоваться инструментами «Выбор цвета» или «Пипетка», которые имеются во многих графических программах (в частности в Microsoft Paint). 11 получена посредством вставки на страницу текстового редактора изображения большой и детальной карты. Изображение автоматически уменьшилось до размеров страницы, и авторы справедливо сочли, что в напечатанном варианте будет невозможно восстановить детали. Но качественная печать изображений требует, чтобы они были сохранены в файле (как правило, формата PDF) в высоком разрешении, так что карта, которая казалась весьма недетализированной при вставке на страницу, на самом деле была сохранена в файле в исходном высоком разрешении (точно также работает и Microsoft Word). Авторы статьи, не будучи осведомленными об этом, позднее выложили ее в Интернете в виде того же файла, который отсылали в издательство, а «энтузиасты», скачавшие этот файл, смогли легко «растянуть» карту с отметками до исходного размера, наложить на нее другую карту Бостона, на которой помимо прочего были нанесены еще и названия улиц, и номера домов, и получить точные «адреса» вспышек сифилиса. Сличив адреса с базой данных жильцов, «исследователи» получили список пациентов с точностью до семьи [14].4 Именно благодаря современной лавине цифровой информации и практически безграничным возможностям для ее анализа появился даже специальный термин – «очистка данных». Речь идет уже не только о том, чтобы сделать информацию доступной для восприятия, но и о том, как не допустить извлечения из некоторого материала большего объема данных, чем предполагал его создатель / издатель. «Инфографика» атакует Первым, кто попробовал отобразить «скрытое» (незаметные с первого взгляда зависимости или тренды) в доступном варианте и сопроводить свои изображения текстом, поясняющим принцип работы и назначение изображенных предметов или существ, был Леонардо да Винчи. Именно Леонардо да Винчи считают родоначальником объясняющей графики [15]. Считается, что одним из первых изображений информационной графики, размещенным в средствах массовой информации, была карта залива около города Кадиз в Испании с отображенным на ней ходом попытки оккупации британскими войсками. Карта была напечатана в английской газете “Daily Courant” в 1702 г. [16] Сегодня графика вышла на массовый рынок, ее потребителями перестали быть только ученые. К сожалению, это также означает, что и ее создателями перестали быть только ученые, а остальные люди еще менее щепетильны в вопросах выбора шкал, нормирования и адекватности сравнения нескольких числовых рядов [17]. Даже слово «инфографика» перестало быть лишь сокращением от «информационной графики» и стало обозначать нечто особенное – выдержанное в весьма свободном стиле, часто лишенное научной строгости изображение с цифрами, рассчитанное на донесение неких фактов до массовой аудитории (картинки с поясняющими комментариями, способные заменить несколько страниц текста). Такая инфографика расцвела бурным цветом в конце 80-х – начале 90-х годов прошлого века в западных газетах и журналах (“Daily Courant”, “USA Today ”, “Esquire”, “New Yorker” и др.), хотя образчики ее можно было найти и в «Правде» того же времени (Рис. 10), и трансформировалась сегодня в гигантские цветные полотнища с цифрами на 4 Всегда готовьте разные файлы для печати материала на бумаге и для публикации в Интернете. Помимо аспектов, связанных с качеством изображений, файлы для Интернета должны иметь возможно меньший размер. Во всех программах-редакторах можно настроить параметры процедуры сохранения подходящим для данного случая образом, например, указать, для чего предназначен формируемый файл. 12 телевидении, на рекламных стендах, на персональных и корпоративных страницах в Интернете (причем, разумеется, эти полотнища бывают как удачными с точки зрения представления информации, так и неудачными во всех смыслах). Рис. 10. Инфографика из номера газеты "Правда" от 24 мая 1982 г. [18] Рис. 11. Инфографика с веб-сайта: источники дохода компании Google [19] 13 Рис. 12. Инфографика в рекламных целях [20] Помимо цели доступного представления данных, эта «инфографика» преследует еще две: • привлечь внимание, разбавив «скучные цифры» красками и метафорами; • сэкономить пространство (если речь идет о печатном издании) / заполнить пространство (в случае веб-сайтов). В научных целях такие образчики и парадигма в целом вряд ли применимы, поскольку, во-первых, в точных науках «скучным» может считаться что угодно, только не цифры, а во-вторых, яркость представления не должна конкурировать за внимание зрителя с ясностью изложения. Конечно, статистические данные не обязаны выглядеть скучно, но нужно знать меру и понимать, для какой целевой аудитории и с какой целью изображение разрабатывается [21]. Еще одна характерная для инфографики проблема: любое явление стоит изучать системно, но в данном случае объект исследования (сама инфографика) представляет собой комбинацию из цифр и нарисованных образов в произвольных долях и вариантах исполнения, что значительно затрудняет какую-либо классификацию. Фундаментальные ошибки В предыдущих разделах мы рассмотрели ряд удачных примеров применения графики в научных и просветительских целях, а также ряд неудачных шаблонов и ошибок, допускаемых создателями диаграмм и другой информационной графики. Как уже отмечалось, многие нелепости в современной графике (иллюзия Неккера, несочетающиеся цвета, эффект муара, общее непонимание наблюдателем того, что ему пытаются продемонстрировать, применение инфографики с рожицами и 14 трехмерными зданиями там, где обычный график эффективнее донес бы информацию), что называется, «созвучны моменту», то есть являются следствием принятого способа ее создания – современного аппаратного и программного обеспечения. В то же время, корни того, каким является это обеспечение, лежат в более фундаментальной области. Первое, что стоит принять к сведению – это то, что графическое представление желательно проектировать для каждого отдельного случая в контексте целей и задач исследования, а не идти бездумно на поводу у шаблонов (кстати, в этом отношении современная инфографика превосходит научную: чтобы создать уникальный, привлекающий внимание вид, думать о контексте необходимо, другое дело, что эти размышления и выводы из них выливаются чаще в особенности оформления изображения, а не в качество самой формы представления данных). С фундаментальными проблемами представления невозможно справиться, просто меняя цвета диаграммы, ее макет, перемещая или удаляя легенду, преобразуя изображение к объемному виду (3D) или действуя каким-либо другим образом, но в той же манере. Скажем, классическая столбчатая диаграмма, как ее ни раскрашивай, не будет раскрывать структуру данных. Но если структуру показывать необходимо, можно воспользоваться «столбчатой диаграммой с накоплением» (Рис. 13). Рис. 13. Пример столбчатой диаграммы с накоплением, с которой, помимо прочего, удалено все лишнее Если единичные элементы данных плохо организуются в группы (по смыслу), или цель исследования не предполагает подобной группировки, или диаграмму просто хочется сделать еще более информативной, то сами элементы данных можно использовать в качестве «строительных блоков» для столбцов. На Рис. 14 приводятся результаты опроса, который автор данной работы вместе с коллегами проводил в 2011 году. Целью опроса было выяснить, люди каких возрастов играют в компьютерные игры онлайн, в какие именно игры и по сколько часов в неделю. Преимуществом данной формы представления является то, что на ней видны все результаты опроса, включая кол-во отозвавшихся на призыв респондентов, точный возраст каждого из них, кол-во играющих от общего числа опрошенных, конкретные игры и кол-во часов, проводимое за игрой каждым респондентом. Иными словами, данная графическая форма представления данных является многомерной (многомерность 15 вообще является одним из критериев хорошо проработанной статистической графики; в частности, обычно хороший результат дает отображение динамики одновременно в пространстве и во времени естественно, когда природа данных это позволяет). Разумеется, если бы результатов было значительно больше (было бы больше респондентов), пришлось бы разрабатывать другую форму. В данном же случае легко на глаз определить соотношение играющих и неиграющих респондентов, в то время как отображение соотношения играющих ко всем респондентами в виде чисел дополнительно ничего бы не дало. Рис. 14. Пример построения столбчатой диаграммы на основе результатов опроса (песочные часы с цифрами обозначают количество часов в неделю, проводимое за играми) Низкая информативность диаграммы – это первая из фундаментальных и наиболее часто встречающихся проблем. Другая такая проблема – диаграммный мусор. «Диаграммный мусор» – это все, что включено в изображение, отображающее числовую информацию, но при этом не является ни самой числовой информацией, ни чем-то, что помогает эту информацию понять или необходимо для понимания (осями координат, обозначениями единиц измерения, линиями трендов и т. д. – хотя и эти элементы во многих случаях можно расценить как мусор). Говоря иначе, мусор – это все, что можно удались с изображения, оставляя его столь же информативным, как и до того. Например, с точки зрения классической или хорошо проработанной современной научной графики, большая часть практически любой современной инфографики – это и есть диаграммный мусор (сравните с учетом приведенных определений Рис. 2, Рис. 3, Рис. 11, Рис. 12, Рис. 13 и Рис. 14). Можно рассчитать один из показателей (L) эффективности представления, как 16 отношения количества «чернил», потраченных на отображение информации к общему количеству использованных «чернил»: Ij I L = d × 100% = (1 − ) × 100% , Ia Ia где Id - количество «чернил», потраченное целевым образом, то есть на отображение данных и необходимой сопутствующей информации (Эдвард Тафти называет эти «чернила» термином “Data Ink” [9]), Ij - количество «чернил», потраченных на все остальное, а Ia - общее количество «чернил», затраченных на изображение. Разумеется, понятие «чернил» применимо только для изображений, нарисованных вручную (технически оно также применимо к изображениям, распечатанным на струйных принтерах, но когда они напечатаны – их сложно анализировать). Поскольку большинство изображений информационной графики сегодня создается посредством компьютера, представляется логичным анализировать их в цифровом виде и использовать в качестве единицы измерения «зарисованной» площади пиксели или единицы измерения длины. Кроме того, бумага, ранее используемая для создания изображений вручную, зачастую была белой и все, что дополнительно на ней появлялось, было чернилами. В случае же с редактированием цифровых изображений часто имеет место цвет фона, отличный от белого, и его имеет смысл отфильтровывать перед проведением вычислений, то есть не рассматривать пиксели фона в качестве закрашенных и не использовать их в вычислениях. Третья фундаментальная проблема, имеющая место с некоторыми образчиками графического представления числовых данных – это «диаграммная ложь», «диаграммная полуправда» или просто искажение данных в одной или нескольких формах кодирования. Форма кодирования информации в данном случае – это способ передачи информации в изображении. Сами числовые данные в виде цифр – это форма кодирования, каковой является также и площадь сектора на круговой диаграмме или высота столбца – на столбчатой. Также формами кодирования могут быть цвета, уровни размещения элементов данных по вертикали, размеры шрифтов и многое другое. При создании информационной графики обычно используют сразу несколько форм кодирования. Искажение данных проявляется в том, что одна из форм сообщает информацию, отличающуюся от сообщаемой другими. Рассмотрим еще раз Рис. 10 и проанализируем величины, изображенные на нем (первая форма кодирования), соотношение между ними, а также соотношение диаметров кругов, которые им сопоставлены (вторая форма кодирования). Соответствующие сведения представлены в Табл. 1. Табл. 1. Анализ инфографики из газеты "Правда" № позиции 1 2 3 4 5 Числовое значение 1 24 279 514 537 Диаметр соответствующего круга (мм, при 22 33 49 64 76 размере изображения 275 на 158 мм) Тафти предлагает для статистических изображений метрику, которую можно назвать «мерой правдивости» (M). Изображение тем «правдивее», чем метрика ближе к 1 (в оригинале 17 употребляется термин “Lie Factor” [8], но учитывая, что оптимальное значение данной меры равно 1, употребление оригинального термина может вводить в заблуждение): M = EG , ED где EG – размер эффекта, показанного в графике, а E D – размер эффекта, отраженного в цифрах (на том же изображении или в других формах представления, например, в таблицах, в том же источнике). При этом размер эффекта (E) рассчитывается следующим образом: E= где vmax и v max − v min × 100% , v min v min – это либо максимальное и минимальное значения величин в отображаемом наборе чисел (для случая E D ), либо (для случая EG ) максимум и минимум некой меры графического элемента, представляющего эти числа на изображении, при этом характер меры зависит от конкретного представления и формы кодирования (диаметр или площадь круга, диагональ прямоугольника, высота столбца, размер шрифта и т. д.) Размер эффекта, показанный в данных на изображении выше, вычислим следующим образом: 537 − 1 × 100% = 53600% , 1 а размер эффекта, показанный с помощью графики, составляет В данном случае мера 76 − 22 × 100% ≈ 245, 45% . 22 правдивости составляет ≈ 0,0046 . На указанной диаграмме верно показано лишь направление изменений.5 В качестве следующего образца для экспериментов можно взять одно из изображений из книги Николая Рубакина «Россия в цифрах. Страна. Народ. Сословия. Классы», изданной в 1912 году в Санкт-Петербурге. 5 Вообще, объективнее было бы отразить помимо объемов производства еще и его темп роста, и в этом случае впечатление от диаграммы было бы совсем другим. 18 Рис. 15. Статистическая графика из книги Н. Рубакина 1912 года издания [22] В книге множество отлично выполненных с иллюстративной точки зрения изображений, но у многих из них схожая проблема: непонятно, что выступает дополнительной к записанным цифрам формой кодирования: высота фигуры человека или ее площадь. В данном случае, если в качестве графической формы кодирования численности населения рассматривать высоту фигур, то мера правдивости составит всего ≈ 0,06 , если же сопоставлять числовые данные и площади фигур людей, то результат значительно лучше, чем у изображения из газеты «Правда» – ≈ 0,62 . Получается, что перед нами не столбчатая диаграмма, как ни был бы велик соблазн считать ее таковой. Недалеко ушла в отношении «правдивости» и инфографика в нижней части Рис. 12. Топливо “Evolution”, согласно изображению в верхней части того же рисунка и информации с сайта его производителя, не обязательно превосходит «98-ой бензин» октановым числом, как можно было бы 19 подумать, глядя на размещение кругов, соответствующих элементам данных, и вряд ли дает такой прирост размера эффекта, какой показан за счет площадей этих кругов (что бы под этим эффектом ни подразумевалось). Впрочем, от инфографики, применяемой в рекламных целях, было бы наивно ожидать абсолютной искренности. Последней, впрочем, можно было представляет собой часть бы ожидать иллюстративного от студентов-выпускников. Рис. 16 материала, представленного государственной аттестационной комиссии к защите одного дипломного проекта. Рис. 16. «Слишком» прямая линия В данном случае неважно, чему равна мера правдивости, потому что и без нее понятно, что зависимость количества обнаруженных в программе ошибок от номера тестового прогона должна носить несколько более сложный характер, чем y = −3 x + 15 . Приведенный график говорит нам даже больше, чем ожидал его автор: либо а) студент вообще не тестировал программу, либо б) студент чрезвычайно везуч. К сожалению, ни то, ни другое никак не связано с реальным процессом тестирования программного обеспечения, навыки которого студент по идее должен был 6 продемонстрировать. Если «диаграммная ложь» присутствует, то чаще всего лжет либо графическое представление, либо цифровое и графическое представления вместе. Если графика отражает истину, а цифры – нет, то возникает вопрос: как графика получена? Последний из представленных примеров относится, скорее, к категории курьезов, но в общем случае «диаграммная ложь» опасна тем, как она воспринимается. По определению человек понимает нарисованное лучше, чем то же самое, но в виде цифр, если цифр много. В случае, когда разные формы кодирования на изображении несут разную информацию, подсознательно или интуитивно человек «ухватит» графическую информацию быстрее, и в памяти она останется значительно дольше, чем цифры. Иными словами, ложь в сознании будет превалировать над правдой. 6 Хорошо проработанная диаграмма могла бы, помимо прочего, отражать календарный график тестирования и отражать интеграцию последнего в процесс разработки программного обеспечения, потому что в данном случае непонятно, что подразумевается под итерацией, почему их было пять, и когда именно они проводились. 20 О методике оценки графического представления числовых данных Недостаточно выявить наиболее часто встречающиеся фундаментальные проблемы в статистической графике и проблемы, связанные с методами ее создания. Графика может быть одновременно и инструментом, и результатом научного исследования (то есть результаты часто представляются графически), а потому, как ни крути, качество всего научного исследования определяется, в том числе, и качеством графики.7 Как говорилось выше, графику нужно проектировать, а этот процесс требует времени и сил. Очевидно, что статистическая графика должна подвергаться некой оценке, хотя разработка методики такой оценки – задача весьма непростая. Как было показано выше, изображение, отражающее числовую информацию, может быть количественно оценено с точки зрения доли диаграммного мусора и меры правдивости. Действительно, автором данной работы была создана несложная программа для выполнения таких оценок (названная по фамилии многократно упоминавшегося в данной работе теоретика информационной графики – “Tuftemetr”), а кроме того, они могут быть выполнены в одном из популярных профессиональных редакторов изображений, например, в Adobe Photoshop (разумеется, при наличии навыка и данного программного обеспечения, приобретенного законным образом). Однако если с мерой правдивости все довольно просто, то процедура оценки с точки зрения доли диаграммного мусора может быть в принципе формализована лишь на стадии вычислений, но не на стадии, их предваряющей, то есть во время определения того, что именно является мусором, а что – нет. Например, математик вполне может забраковать изображение без традиционных осей абсцисс и ординат, даже если и без них сообщение, передаваемое изображением, ясно, как день. Для кого-то линии сетки представляются чем-то необходимым, традиционным, даже если большинство людей вполне способны все понять и так и обошлись бы без них. Еще сложнее дело обстоит с информативностью графики: как оценить ее количественно? А как быть с такими откровенно плохими приемами, как отражение на рисунке одномерных данных в виде двух- или трехмерных элементов, использование неравномерного шкалирования, смещение точки отсчета с целью показать несуществующие тренды и зависимости? Такие вещи можно оценить лишь экспертным путем, возможно, посредством тестов с соответствующими вопросами, задаваемыми нескольким экспертам относительно одного или нескольких изображений. В конце концов, каким образом приемы отображения разрозненных показателей, как количественных, так и качественных собрать в некую единую методику? Возможно, здесь будет полезен подход, используемый при проверке метрик качества изображений. В данном случае метрика качества – это оценка вычислительными средствами какоголибо файла цифрового изображения на предмет наличия и степени визуальных артефактов и искажений, это попытка без помощи человека поставить изображению диагноз, который человек выражает в форме «хорошее» / «удовлетворительное» / «плохое». Здесь речь идет о технической оценке – сюжет, изображенный на рисунке, никакого значения не имеет. Проблема в том, что в идеале метрика должна максимально коррелировать с оценками пользователей, которые увидят изображение, а последняя оценка является качественной, экспертной. То есть, как и в нашем случае, 7 В данной работе речь идет, в основном, о графическом представлении данных третьим лицам – в ходе самостоятельной работы исследователь имеет право использовать любое представление данных, если оно приносит ему пользу. 21 необходимо получить количественную оценку того, что обычно оценивается исключительно качественно. Для тестирования и сравнения метрик качества изображений исследователями-энтузиастами было составлено несколько баз данных файлов (например, LIVE [23], TID2008 [24] и т. д.), которые можно бесплатно скачать в Интернете. В частности, база TID2008 состоит из 25 оригинальных изображений и 1700 искаженных (25 оригинальных изображений × 17-искажений × 4 уровня искажения). В TID2008 также входит информация о средней оценке каждого изображения наблюдателями по шкале от 0 до 9. Имея в распоряжении такой статичный набор файлов, можно определять степень корреляции между оценками изображений по метрике (в частности, новой, разработанной вами), и оценками, выданными наблюдателями. Также можно сравнивать между собой сами метрики, например, какая из них в большей степени коррелирует с пользовательскими оценками на подмножестве изображений со специфическими видами или степенью искажений [25]. Похожим образом на фиксированном наборе изображений может выполняться и оценка алгоритмов распознавания изображений (текста, предметов, лиц и т. д.) – можно легко проверить, правильно ли работает алгоритм, если заранее известно, что именно изображено на картинке. Существует множество баз данных изображений, предназначенных для этой цели, например: • ALOI — база изображений 1000 предметов, созданная в Амстердамском университете [26]; • FVC2000 Fingerprint Databases — четыре базы изображений отпечатков пальцев, подготовленные для международного конкурса алгоритмов верификации по отпечаткам пальцев; в каждой базе содержится 880 изображений для 110 пальцев [27]; • VisTex — база изображений естественных текстур, созданная в Массачусетсском технологическом институте [28]; • CVRL Data Sets (Notre Dame Datasets) — базы биометрических изображений (2D и 3D лица, радужка глаза), созданные в Университете Нотр-Дама [29]. Со статистической графикой дело обстоит несколько сложнее: речь идет о семантике, контексте, о передаче информации, сюжета, сложных идей. В данном случае достаточно трудно получить даже некие усредненные качественные оценки изображений на основе мнений наблюдателей. Вероятно, для получения таких оценок следует ориентироваться не на одностороннее мнение наблюдателей о том, что они видят, а на сопоставление мнений об изображении его создателя (какую именно информацию, факт, идею он хотел передать, что является главным?) и зрителей (что именно они поняли из изображения, на что обратили внимание?). Как и в случае с технической оценкой изображений, необходимо создать статичную базу файлов, на которой исследователи смогут «обкатывать» свои методики оценки диаграмм. Заключение Автор данной работы ни в коей мере не настаивает на том, что методика оценки качества статистической графики должна быть утверждена на государственном или отраслевом уровнях или в виде корпоративных стандартов, неукоснительно применяться к каждому изображению, на котором есть хотя бы одна цифра, а изображения, не прошедшие некий порог, установленный методикой, должны безжалостно уничтожаться и никогда не находить дороги к наблюдателю. Разработка изображений, представляющих численную информацию, или графическое моделирование – процесс во многом творческий, имеющий отношение к понятию «вкуса», его невозможно уложить в 22 ограниченный набор канонов. С другой стороны, пример шрифтов, которые также являются практическим инструментом и произведением искусства одновременно, показывает, что проведение исследований в указанном направлении и их популяризация представляют большой научный, практический (и художественный) интерес. После того как Адриан Фрутигер разработал систему «Универс», изобретение совершенно новых гарнитур, пригодных для набора больших текстов, в принципе, закончилось. Эта система описала все правила, которым нужно следовать, чтобы шрифт выглядел гармонично. Для многих букв существуют разные допустимые варианты, но число их оказалось ограниченным. По его собственным словам, Фрутигер просчитал не столько все закрашенные плоскости, сколько «воздух между ними», и вывел формулу абсолютного равновесия между светом и тьмой. Справедливость этих выводов подтверждается статистикой: с момента создания «Универс» первые пять мест в десятке самых используемых в мире гарнитур стабильно заняты шрифтами Фрудигера, а его OCR-B признан стандартом мировой компьютерной промышленности в области распознавания символов с 1973 года [30]. Исследования в области статистической графики позволили бы высвободить авторов из плена графических шаблонов, а потребителей этих шаблонных изображений освободить из тенёт непонимания того, что они видят, и дать им надежду на что-то более внятное. В перспективе такие исследования могли бы привести к модернизации производителями популярных пакетов обработки данных и к появлению нового программного обеспечения, построенного на базе новых концепций. Иными словами, исследования в данной области могли бы стимулировать развитие графической культуры и практики8, которые можно было бы передавать через преподавание свежим поколениям ученых.9 Сегодня, чтобы удалить весь мусор с диаграммы, созданной в Microsoft Excel, иногда приходится потратить значительное время, а чтобы получить забитую им диаграмму, не нужно делать практически ничего.10 Список литературы 1. Два математика [Электронный ресурс] : Загадки и головоломки. – Электрон. дан. – 2001. – Режим доступа : http://zagaza.ru/za716.htm, свободный. – Загл. с экрана. – Яз. рус. 2. Паундстоун У. Как сдвинуть гору Фудзи? Подходы ведущих мировых компаний к поиску талантов. 2-е издание. – М. : Альпина Бизнес Букс, 2009. – С. 101. 8 Интересно, что практика вполне могла бы измениться с появлением устройств вывода высокого разрешения: современные принтеры и мониторы могут очень четко выводить куда меньшие детали, чем в прошлом, к тому же сами мониторы на столах многих пользователей в последние годы значительно увеличились. Такие изменения вполне могли привести, например, к сокращению количества изображений, занимающих целые страницы, к встраиванию небольших диаграмм в линию с текстом (если нужно показать общий тренд, но детали не нужны) и т. д. Но, увы, в этом отношении революция аппаратная не привела к революции в программах и в сознании разработчиков и пользоватеплей программного обеспечения. 9 Существует Международный совет ассоциаций по графическому дизайну (ICOGRADA), объединяющий теоретиков и практиков графического (и, более общо, коммуникационного) дизайна. Однако в определении «коммуникационного дизайнера», данном ассамблеей организации в 2007 году, где упоминаются такие виды деятельности, как типографика, каллиграфия, разработка упаковки, книг и рекламных материалов, к сожалению, нет ни слова о статистической или научной графике [31]. 10 Следует отметить, справедливости ради, что помимо MS Excel существуют и другие, в частности, бесплатные программные продукты с аналогичным функционалом, но они далеки от столь же широкого распространения. 23 3. Парадокс Монти Холла [Электронный ресурс] : Википедия. – Электрон. дан. – 2011. – Режим доступа : http://ru.wikipedia.org/wiki/Парадокс_Монти_Холла, свободный. – Загл. с экрана. – Яз. рус. 4. Никулова Г. А. Средства визуальной коммуникации – инфографика и метадизайн // Образовательные технологии коммуникативная ассоциация. и общество – Электрон. №2 [Электронный дан. – 2010. ресурс] – : Режим Российская доступа : http://ifets.ieee.org/russian/depository/v13_i2/html/14.htm, свободный. – Загл. с экрана. – Яз. рус. 5. William Playfair [Электронный ресурс] : Wikimedia. – Электрон. дан. – 2011. – Режим доступа : http://commons.wikimedia.org/wiki/William_Playfair, свободный. – Загл. с экрана. – Яз. англ. 6. Charles Joseph Minard [Электронный ресурс] : Wikipedia. – Электрон. дан. – 2012. – Режим доступа : http://en.wikipedia.org/wiki/John_Snow_(physician), свободный. – Загл. с экрана. – Яз. англ. 7. John Snow (physician) [Электронный ресурс] : Wikipedia. – Электрон. дан. – 2012. – Режим доступа : http://en.wikipedia.org/wiki/Charles_Joseph_Minard, свободный. – Загл. с экрана. – Яз. англ. 8. Tufte E. R. Beautiful Evidence. – Graphics Press LLC, 1997. 9. Tufte E. R. The Visual Display of Quantitative Information. – Graphics Press LLC, 2001. 10. Report of the Presidential Commission on the Space Shuttle Challenger Accident [Электронный ресурс] : NASA. – Электрон. дан. – 1986. – Режим доступа : http://history.nasa.gov/ rogersrep/v1ch5.htm, свободный. – Загл. с экрана. – Яз. англ. 11. Tufte Edward R. Visual Explanations. Images and Quantities, Evidence and Narrative / Edward F. Tufte. – Cheshire, Connecticut: Graphics Press LLC, 1997. 12. Искусство. Всемирная история. / Под ред. С. Фарсинга. – Пер. с англ. – М. : ООО «Магма», 2012. – С. 526. 13. Иллюзии глубины [Электронный ресурс] : МГУ им. М. В. Ломоносова. – Электрон. дан. – 2003. – Режим доступа : http://www.psy.msu.ru/illusion/depth.html, свободный. – Загл. с экрана. – Яз. рус. 14. Абельсон Х., Ледин К., Льюис Г. Атака битов. Твоя жизнь, свобода и благополучие в цифровую эпоху. – СПб. : Символ-Плюс, 2009. 15. Леонардо да Винчи. Избранные произведения : в 2 т. / пер. А. А. Губера, В. П. Зубова, В. К. Шилейко, А. М. Эфроса ; под ред. А. К. Дживелегова, А. М. Эфроса – М. : Изд-во Студии Артемия Лебедева, 2010. 16. Myers S. A Quantitative Content Analysis of Errors and Inaccuracies in Missouri Newspaper Information Graphics [Электронный ресурс] : University of Missouri-Columbia. – Электрон. дан. – 2009. – Режим доступа : https://mospace.umsystem.edu/xmlui/bitstream/handle/10355/6570/ research.pdf?sequence=3, свободный. – Загл. с экрана. – Яз. англ. 17. Артюхин В. В. Реальность 2.0b. Современная история информационного общества / В. В. Артюхин. – М. : 2011. 18. Рост продукции промышленности : Газета «Правда» от 24 мая 1982 г. – 1982 г. 19. Google Product Services and Revenue [Электронный ресурс] : Social Blog – Электрон. дан. – 2011. – Режим доступа : http://www.socialblog.in/google-product-services-and-revenue- infographics /. – Загл. с экрана. – Яз. англ. 24 20. Топливо будущего [Электронный ресурс] : Нефтьмагистраль – Электрон. дан. – 2012. – Режим доступа : http://www.neftm.ru/, свободный. – Загл. с экрана. – Яз. рус. 21. Ратковски Н. Профессия – иллюстратор. Учимся мыслить творчески / Натали Ратковски. – М.: Манн, Иванов и Фербер, 2012. – 328 с. 22. Россия 1912. Инфографика [Электронный ресурс] : тогда. История в фотографиях – Электрон. дан. – 2011. – Режим доступа : http://www.togdazine.ru/?p=32, свободный. – Загл. с экрана. – Яз. рус. 23. LIVE Image Quality Assessment Database [Электронный ресурс] : Laboratory for Image & Video Engineering. – Электрон. дан. – 2012. – Режим доступа : http://live.ece.utexas.edu/research/quality/subjective.htm, свободный. – Загл. с экрана. – Яз. англ. 24. TAMPERE IMAGE DATABASE 2008 TID2008, version 1.0 [Электронный ресурс] – Электрон. дан. – 2010. – Режим доступа : http://www.ponomarenko.info/tid2008.htm, свободный. – Загл. с экрана. – Яз. англ. 25. Ponomarenko N., Lukin V., Zelensky A., Egiazarian K., Astola J., Carli M., Battisti F. TID2008 – A Database for Evaluation of FullReference Visual Quality Assessment Metrics [Электронный ресурс] – Электрон. дан. – Режим доступа : http://www.ponomarenko.info/papers/mre2009tid.pdf, свободный. – Загл. с экрана. – Яз. англ. 26. Amsterdam Library of Object Images (ALOI) [Электронный ресурс] : University of Amsterdam. – Электрон. дан. – Режим доступа : http://staff.science.uva.nl/~aloi/, свободный. – Загл. с экрана. – Яз. англ. 27. Databases [Электронный ресурс] : FVC2000. – Электрон. дан. – 2000. – Режим доступа : http://bias.csr.unibo.it/fvc2000/databases.asp, свободный. – Загл. с экрана. – Яз. англ. 28. Vision Texture [Электронный ресурс] : Massachusetts Institute of Technology. – Электрон. дан. – 1995. – Режим доступа : http://vismod.media.mit.edu/vismod/imagery/VisionTexture/vistex.html, свободный. – Загл. с экрана. – Яз. англ. 29. CVRL DATA SETS [Электронный ресурс] : University of Notre Dame. – Электрон. дан. – Режим доступа : http://www.nd.edu/~cvrl/CVRL/Data_Sets.html, свободный. – Загл. с экрана. – Яз. англ. 30. Франк Я. Дневник дизайнера-маньяка. - М. : Издательство Студии Артемия Лебедева, 2011. 31. Defining the profession [Электронный ресурс] : ICOGRADA – Электрон. дан. – Режим доступа : http://www.icograda.org/about/about/articles836.htm, свободный. – Загл. с экрана. – Яз. англ. 32. Артюхин В. В. Об актуальности задачи оценки качества изображений статистической графики и подходе к разработке соответствующей методики [Электронный ресурс] : Электронное научное издание «Актуальные инновационные исследования» № 3 2012. – Электрон. дан. – 2012. – Режим доступа : http://actualresearch.ru/nn/2012_3/Article/science/artuhin20123.htm, свободный. – Загл. с экрана. 33. Артюхин В. В. Статистическая графика и инфографика: области применения, актуальные проблемы и критерии оценки // Прикладная информатика № 6 2012. – М. : ООО «СинергияПресс», 2012. 25
