Зависимые ссылки: Мотивационное значение адаптивных
advertisement
Educational Technology & Society 3(4) 2000 ISSN 1436-4522 Addictive Links: The Motivational Value of Adaptive Link Annotation in Educational Hypermedia Притягательные ссылки: мотивационный эффект адаптивного аннотирования в обучающей гипермедиа Петр Брусиловский, Сергей Сосновский, Майкл Юделсон Школа информационных наук Университет Питтсбурга Pittsburgh PA 15260, США peterb@pitt.edu, sas15@pitt.edu, mvy3@pitt.edu АННОТАЦИЯ Адаптивные комментарии к ссылкам являются распространенным технологией адаптивной навигационной поддержки. Эмпирические исследования адаптивных комментариев в контексте образования показали, что они могут помочь обучаемым быстрее овладеть знаниями, улучшить результаты обучения, сократить потери при навигации, поддерживать непоследовательную навигацию. В данной статье мы представляем наши исследования достаточно неизученного эффекта адаптивных комментариев, их возможности значительно увеличить мотивацию обучаемых к работе с диспозитивным уровнем образования. 1. Введение Адаптивные комментарии к ссылке являются распространенным технологией адаптивной навигационной поддержки. Идея адаптивных комментариев заключается в том, чтобы дополнить ссылки подсказками, информирующими пользователя о текущем состоянии ссылок, содержащих комментарии. Обычно эти комментарии предоставляются в форме визуальной подсказки, предназначенной, например, чтобы контрастировать с цветом, размером, типом шрифта якоря ссылки или различных иконок, следующих за якорем. Адаптивные комментарии особенно распространены в образовательной гипермедии. Ряд аннотационных методов был введен и исследован в адаптивных образовательных системах гипермедии. [2, 3, 7, 8, 11, 13]. Эмпирические изучения адаптивных комментариев в образовательном контексте показали, что они могут помочь обучаемым быстрее усваивать знания, улучшить результаты обучения, сократить потери при навигации, поддерживать непоследовательную навигацию [2, 3, 6, 9, 12]. Эти эффекты часто называются значениями адаптивных комментариев. В данной статье мы представляем наши исследования достаточно неизученного эффекта адаптивных комментариев, их возможности значительно увеличить мотивацию обучаемых к работе с диспозитивным уровнем образования. Этот эффект был впервые обнаружен во время внеклассных исследований системы ELM-ART [13]. Система ELM-ART является адаптивной системой для изучения языка программирования LISP, основанной на Интернет-технологии. Данная система являлась и до сих пор является свободно доступной в Интернете любому, кто заинтересуется изучением языка LISP. Использование системы не было обязательно для пользователей – они работали с системой только до тех пор, пока были в ней заинтересованы, и была мотивация. Анализ показал, что люди, знающие хотя бы еще один язык программирования просмотрели 1 значительно больше страниц и решили больше задач и проблем, когда они работали с адаптивными комментариями к ссылкам. Однако, эффект не всегда был значительным и значение мотивации не было принято во внимание. Мы заново изучили значение мотивации на классных исследованиях QuizGuide, адаптивного гипермедиа сервиса, созданного, чтобы показать обучаемым наиболее важные тесты для самооценки [5]. Использование тестов было не обязательным условием. Обучаемым было разрешено использовать их столько, сколько они сами хотели, чтобы проверить их уровень знаний и подготовить классные тесты и экзамены. Главная цель QuizGuide заключалась в улучшении качества знаний. К тому времени, когда эта цель была достигнута, наиболее поразительным результатом наших исследований стало повышение мотивации обучаемых к работе с тестами для самооценки. Используя QuizGuide, обучаемые изучили больше вопросов, работали с ними более упорно, получили доступ к большому числу разнообразных вопросов. В некотором смысле адаптивные комментарии сделали тесты необходимыми для некоторых обучаемых. Когда обучаемый начинает свою работу с системой, то сеансы длятся довольно долго. Средняя время сеанса и среднее количество вопросов в течении семестра увеличивается [4]. Несмотря на явную необходимость значения мотивации адаптивных комментариев, отдельных исследований не было достаточно, чтобы публично объявить признание адаптивных комментариев. Мы провели еще один год, исследуя это влияние и измеряя его значение. Для проверки стабильности эффекта мотивации мы провели еще один семестр, исследуя QuizGuide. Чтобы проверить переносимость системы, мы попробовали повторить тот же эффект, используя разные виды адаптивных комментариев и разные образовательные программы – примеры программ. Наши исследования подтвердили наши первичные наблюдения в обоих изученных контекстах, показали значимость исследованного данного влияния, и лучше пояснили некоторые механизмы, лежащие в основе. В этой статье описываются наши исследования эффекта мотивации адаптивных комментариев. Начнем мы с представления систем, которые были использованы как начальные платформы для наших исследований, представим результаты исследований, обсудим их необходимость и наметим некоторые направления для дальнейшей работы. 2. QuizGuide – адаптивные комментарии к тестам для самооценки. Система QuizGuide [5] – это адаптивный гипермедиа сервис для персонального доступа к тестам для самооценки, обслуживаемым разработанной ранее системой QuizPACK. Она информирует обучаемых об их текущем уровне знаний и о целях обучения, с помощью адаптивных комментариев вместе с ссылками на тесты. QuizGuide группирует тесты, доступные обучаемому в тематические разделы (Рис. 1). Ссылка к каждому разделу имеет комментарий в виде иконки, изображающей мишень со стрелой или без стрелы. Количество стрел (от 0 до 3) отражает работу обучаемого над тестами данного раздела (отсутствие стрел показывает очень маленький прогресс, три стрелы показывают хорошее понимание темы). Цвет мишени отражает важность раздела при данной цели обучения. Разделы имеют структуру предпосылки и последствия. Каждый новый раздел представленный на лекции, отмечается ярко-синей мишенью. Разделы, являющиеся исходными для текущего раздела отмечены голубой мишенью. Изученные разделы отмечены серой мишенью. И наконец, необходимые, но еще не изученные в классе перечеркнуты крестом. 2 Рис. 1. Интерфейс QuizGuide 3. NavEx – адаптивное руководство для примеров кодов, содержащих комментарии. Система NavEx [14] обеспечивает адаптивный доступ к большому количеству интерактивных примеров программ. Она построена, как дополнительный адаптивный сервис для неадаптивной системы WebEx, которая доставляет отобранные примеры. Дополнительное значение NavEx в том, что система дает визуальные подсказки к ссылке каждого примера. Окно NavEx состоит из рамки навигации (слева) и информационной области (Рис.2). Адаптивные комментарии к ссылкам представленные в области навигации обобщает некоторую информацию о примерах и отображает это с помощью иконки и определенного типа шрифта. Рис. 2. Интерфейс NavEx 3 Сочетание иконки и шрифта отображает три функции NavEx: 1. отмечает, что пример доступен (зеленый маркер) или еще не доступен для изучения (красный Х). 2. отражает прогресс обучаемого в изучении конкретного примера (постепенное наполнение незакрашенного зеленого маркера) 3. отмечает жирным шрифтом наиболее подходящие примеры для изучения 4. Изучение эффекта мотивации в двух системах. Мы представили несколько классных исследований систем QuizPACK и WebEx, и дополнительных адаптивных сервисов QuizGuide и NavEx. Изучения были сделаны в контексте студенческих курсов программирования в Школе информационных наук Университета Питтсбурга с весеннего семестра 2003 года до осеннего семестра 2005 года. Неадаптивные системы QuizPACK и WebEx были доступны студентам, начиная с весеннего семестра 2003 года. Система QuizGuide была представлена весной 2004 года, а NavEx – осенью 2004 года. После того как студенты получили доступ к адаптивным сервисам, неадаптивные системы были все еще доступны. Студенты могли получить доступ к информации с помощью адаптивных комментариев к ссылкам, обеспечиваемых новыми сервисами или могли “по старинке” использовать ссылки образовательного портала, лишенные комментариев. Набор тестов и примеров кодов программ остались неизменными на протяжении всех семестров. План курса остался неизменным на протяжении всех этих семестров, включая содержание лекций, объем домашнего задания и классные тестирования. Введение каждого из адаптивных сервисов привело к увеличению времени работы студентов с тестами QuizGuide и примерами NavEx по сравнению с работой с неадаптивными интерфейсами в предыдущих семестрах. Пока работа с этими образовательными программами продолжала оставаться необязательной, мы приняли в рассмотрение феномен эффекта мотивации адаптивных комментариев к ссылкам. Последующие подразделы представляют некоторые результаты исследований эффекта мотивации в контексте QuizGuide и NavEx. Раздел 4.1 описывают величину и значение роста, с использованием некоторых параметров, а раздел 4.2 показывает более глубокое рассмотрение процесса с целью объяснения некоторых механизмов, вызывающих данный эффект. 4.1 Итоговые данные и значение В этом разделе, будет представлен количественный анализ дополнительных параметров, которые имеют адаптивные комментарии QuizGuide и NavEx have по сравнению с неадаптивными системами QuizPACK и WebEx. Исходными данными для анализа были записи регистрации, зафиксированные системой. Записи фиксировались во время каждого нажатия пользователем на кнопку (т.е. ответ на вопрос или щелчок на строке кода примера). Информационные процедуры не менялись в течение рассматриваемого семестра и не зависели от метода, с помощью которого получали тесты или коды программ (с помощью адаптивных или неадаптивных систем). Студент, использующий какую-либо из систем, автоматически учитывался при моделировании. Зарегистрированная информация давала понять, с помощью чего студент получил тест или пример программы. Мы использовали три переменные для определения активности обучаемого: 1. Активность: количество щелчков на строке программы (для WebEx и NavEx) или попыток ответить на вопросы теста (для QuizPACK и QuizGuide) -далее будут называться щелчки или действия; 4 2. Количество: Количество изученных примеров (WebEx и NavEx) или пройденных тестов (QuizPACK и QuizGuide) -- далее будут называться примерами или тестами; 3. Границы: количество лекций, из которых были отобраны рассмотренные примеры или тесты (далее будут называться лекциями). Каждая из этих переменных была собрана на двух уровнях: 1. Уровень общей производительности – общее число щелчков мыши, пройденных тестов и примеров и лекций за семестр. 2. Уровень выполнения за один сеанс – среднее число щелчков мыши, пройденных примеров и тестов, среднее число разделов лекций, изученных за один сеанс работы. Нашей целью было осуществление субъективного контроля, т.е. определения являются ли значения активности, количества и границы выше у тех студентов, которые использовали QuizGuide и NavEx, чем у студентов, которые использовали не адаптивные форматы QuizPACK и WebEx. Результаты наших сравнений явно демонстрируют значение адаптивной навигационной поддержки в повышении мотивации студентов для работы с тестами и примерами. В анализе значения QuizGuide мы сравнили два семестра (весенний и осенний семестры 2003 года), когда для доступа к тестам использовались только возможности QuizPACK с двумя семестрами (весенний и осенний семестры 2004 года), когда студентам были доступны обе программы – QuizGuide и QuizPACK. При рассмотрении адаптивного значения NavEx мы сравнили два семестра, когда для доступа к примерам программ использовалась только система WebEx (осенний семестр 2004 года и весенний семестры 2003 года) с семестром, когда была возможность использовать обе системы – NavEx и WebEx (осенний семестр 2004 года). Во время проведения анализа мы исследовали около 18.300 действий пользователей в QuizPACK и QuizGuide (ответов на вопросы) и примерно 3,400 действий WebEx и NavEx (запросов комментариев для строк программ). Прежние данные об экзаменах мы представили, обособляя отобранные значения отдельных щелчков на мышь. Отбор значений происходил в интервале 3 от значения общего количества щелчков, во время каждого из 4 семестров. Распределение данных на границах интервала было ассиметричным, так как было определенное количество не очень активных студентов, меньшее количество студентов проявляли среднюю активность, и очень мало студентов проявляли сильную активность. Гетерогенность данных не позволили нам использовать для сравнения информации параметрические, статические тесты. Вместо этого мы использовали тест Манна-Витни. Результаты теста показали, что для всех переменных и объединенных уровней обучаемые использовали адаптивные возможности QuizGuide/NavEx, тем самым, достигая значительно лучших результатов (Табл. 1). Прежде всего, для комбинации QuizGuide+QuizPACK против отдельного использования QuizPACK: при сравнении уровней общих параметров, пользователи, работающие с адаптивным руководством, делали почти вдвое больше попыток ответить на вопросы в течение семестра (в среднем 260 против 128), и работали с вдвое большим количеством тестов (в среднем 24 против 13). Это увеличение активности комбинации QuizGuide+QuizPACK против отдельного использования QuizPACK было статистически значимым. Расширение границ курса было видимым, но не статистически значимым. В отличие от других параметров, границы курса имели естественную границу – общее число лекций в курсе. Достаточно небольшая разница показывает, что студенты должны больше работать с самими тестами, чем с теоретической информацией. В общем, статистика показывает, что все параметры при использовании комбинации QuizGuide+QuizPACK против отдельного использования QuizPACK были в среднем выше в 1.5 – 2 раза. 5 Табл. 1 Сравнение значения переменных для семестров, когда адаптивные системы (NavEx, QuizGuide) использовались в комбинации с неадаптивными системами (WebEx, QuizPACK) с семестрами, когда использовались только неадаптивные системы. Во-вторых, сравнивая NavEx+WebEx и WebEx на уровне общих параметров можно сказать, что пользователи, которым была доступна адаптивная навигация делали в 5 раз больше щелчков мыши за семестр (в среднем 170 против 35), просматривая почти в три раза больше кодов (в среднем 18 против 6), и изучили вдвое больше лекций (в среднем 8 против 3.5). Все из упомянутых преимуществ статистически значимы. На уровне средней статистики за один сеанс пользователя число щелчков мыши было больше у тех пользователей, которые могли использовать адаптивное руководство, но это была не существенная разница. Однако, число просмотренных примеров и изученных лекций было значительно выше у пользователей, использовавших адаптивное руководство. Чтобы доказать то, что описанная разница в мотивациях не объясняется различиями в самих студентах, а отображает повышение ценности адаптивных комментариев, мы проанализировали пол студентов и их начальный опыт работы в области программирования. Результат критерия хи-квадрат показывает значительную разницу между QuizPACK и QuizGuide разделении по половому признаку (Хи-квадрат Пирсона = 0.718, p-значение = 0.397) или опыту работы в сфере программирования (Хиквадрат Пирсона = 4.263, p-значение = 0.119). Аналогичные результаты были получены для групп работающих с WebEx и NavEx для обоих полов (Хи-квадрат Пирсона = 1.720, p-значение = 0.268) и опыта работы (Хи-квадрат Пирсона = 0.704, p-значение = 0.703). 4.2 Более глубокий взгляд на профиль использования Сравнивая работу обучаемых с адаптивной и неадаптивной версиями, мы заметили, что сеансы работы с QuizGuide и NavEx дольше и разнообразнее, чем соответственно сеансы работы с QuizPACK и WebEx. Работая с QuizGuide, обучаемые изучили большее количество вопросов, а работая с NavEx – большее количество примеров. Кроме того, в обеих адаптивных системах обучаемые в течении одного сеанса работы использовали материал из разных лекций. 6 Рис. 1 Распределение по времени работы обучаемых с QuizGuide и QuizPACK в осенний семестр 2004 года. Зона “A” – поток лекций, зона “B”- результаты финального экзамена, зона “C”самостоятельная работа с материалом предыдущих лекций. Чтобы понять природу этих результатов, мы осуществили более глубокий анализ работы обучаемых. Для этого мы просмотрели все лекции, в которых дается материал, необходимый обучаемым. Все подборки вопросов характеризовали лекции (или цели обучения), к которым они относились. Например, Рис.3 показывает, что с помощью QuizGuide или QuizPACK более 5.500 вопросов были пройдены обучаемыми за осенний семестр 2004 года. 15 лекций формируют вертикальную ось. Даты отображены на горизонтальной оси. Можно выделить 3 зоны. Зона “A” отображает все текущие действия студентов в течение лекционного курса. Эти данные достаточно обобщенные, так как домашняя работа и внутриклассные тестирования задерживают на 1-2 недели переключение обучаемого с прошлой темы. Зона “B” содержит период подготовки к финальному экзамену. Модель работы с нашей системой кардинально меняется в этот период времени. Наконец, зона “C” отображает все действия обучаемого, произведенные им за основную часть семестра, для тем, отдаленных по своему содержанию от текущих тем. Эта зона нам наиболее интересна. Все действия здесь мотивируются не ситуацией текущего курса, а инициируются самими обучаемыми, вероятно для того, чтобы заполнить пробел в знаниях, которые они должны были получить ранее. Мы использовали 2 измерения, чтобы оценить интенсивность самостоятельной работы обучаемых: количество действий в зоне “C”, поделенное на общее количество действий и среднее отклонение между текущей целью обучения и текущими действиями. Для подсчета второй величины мы использовали зоны “А” и “С”. Для всех студентов мы определили степень “С” и необходимые тесты и примеры. Чтобы оценить влияние QuizGuide на мотивацию обучаемых, снова поделили их на две группы: адаптивная (весенний семестр 2003 и осенний семестр 2003) и неадаптивная (весенний семестр 2004 и осенний семестр 2004). Так как принятие равномерности изменений и нормальности было отклонено, возникла необходимость в проведении непараметрического теста Манна-Витни. Как показано в Таблице 2, оба показателя значительно выше для адаптивной группы, что означает, что обучаемые, которым в течение семестра была доступна программа QuizGuide, более охотно занимались не текущими темами. Аналогичный анализ был проведен и для систем WebEx/NavEx. Адаптивная группа занималась в осенний семестр 2004 года, а неадаптивная группа – в осенний и весенний семестры 2003 года. Как можно заметить по нижней строке Таблицы 2, оба измеряемых параметра значительно выше для систем WebEx+NavEx, чем просто для системы WebEx. 7 Таблица 2. Данные параметры характеризуют самостоятельные действия обучаемых с использованием или без использования адаптивных комментариев: Степень “C” оценивает процентное отношение действий, предпринятых обучаемым вне темы текущего курса, в то время как отдаленность цели обучения определяет, насколько широки границы (в рамках цели обучения) добровольной работы обучаемых с системой. Зона «С» Описанный эффект может быть объяснен тем фактом, что ориентированные на развитие и необходимые условия адаптивные комментарии, созданные с помощью QuizGuide и NavEx, направили внимание обучаемых на материал предыдущих лекций, которые были ими недопоняты. В QuizGuide это руководство очень гибкое. Зона рекомендуемой работы зависит от классной работы – текущие и пройденные за неделю темы представлены в лекции. С другой стороны, темы предшествующие текущим темам демонстрируются по степени прогресса обучаемого. Студенты, изучающие текущую тему, могут с легкостью сфокусировать свое внимание на предыдущих темах, которые были недопоняты, по мере своего прогресса. Руководство NavEx точнее: зона рекомендуемой работы адаптирована под индивидуальный прогресс обучаемого. Система дает сильный толчок к изучению недостаточно изученных предшествующих концептов в предыдущих примерах. Этот сильный толчок может стать причиной усиления работы в области предыдущих тем в NavEx. 5 Обсуждение Возможность адаптивных комментариев усиливать мотивацию обучаемых к работе с необязательным для обучения материалом очень важна в контексте современного Интернет-образования. За последнее время исследователи и практики разработали целый ряд продвинутых инструментов для Интернет-образования, такие как образовательные анимации и имитации, он-лайн лаборатории, учебные пособия и тесты для самооценки. Многие из разработанных инструментов были испытаны в лабораториях и классных комнатах и оценены как пригодные к работе. Тем не менее, хотя мы и определили пригодность этих инструментов, и их благотворное влияние на обучаемых, но этого не достаточно, чтобы гарантировать их большой вклад в обучение [10]. Важно призвать тех, кто занимается использованием компьютеров в образовании, к увеличению эффективности этого использования обучаемыми. Управляемые обучаемыми инструменты созданы, чтобы способствовать процессу обучения, до сих пор они не достаточно используются в процессе образования. В отличие от разнообразия инструментов, управляемых оценками, которые вынуждены использовать обучаемые, чтобы закончить выполнение задания, в инструментах, управляемых обучаемым от него самого зависит, до какой степени он хочет обучиться, и как часто он будет использовать систему. Инструктор должен работать очень много, чтобы подготовить правильный набор образовательных инструментов из тех, которые считаются подходящими, но не достаточно используются. Наша работа доказала, что адаптивные комментарии могут стать очень полезным инструментом в повышении мотивации студентов к более частой работе с необязательными образовательными инструментами, что в свою очередь должно привести к лучшим результатам обучения. 8 6 Заключение и будущая работа Результаты наших исследований, представленные в данной статье, подтверждают мотивационный эффект адаптивных комментариев к ссылкам в образовательной гипермедии, и показывают их важность и значимость. Они проливают свет на механизм этого эффекта. Мы отобразили этот эффект в контексте двух различных систем. Наличие адаптивных комментариев стало причиной возрастания некоторых параметров. Доступ к необязательным образовательным активам с помощью адаптивных комментариев к ссылкам дал возможность обучаемым, изучить большее количество информации, более тщательно работать с ней, и получать более обширный курс лекций. В добавление к более раннему отчету о подобном эффекте адаптивных комментариев в контексте изучения ELM-ART, мы можем обобщить наши наблюдения и говорить о мотивационном значении адаптивных комментариев к ссылкам. Результаты, которые мы получили, очень важны. Во-первых, это всегда очень интересно выявлять новые достоинства в известных технологиях. Во-вторых, возможность повысить мотивацию обучаемых к работе с необязательным материалом дает шанс использовать адаптивные комментарии в технологиях, что может стать важным этапом в практическом успехе широкого спектра полезных образовательных технологий. Больше работы требуется для определения границ эффекта мотивации и достижения мастерства в практическом использовании. Тогда как этот эффект был исследован на трех различных типах адаптивных комментариев, механизмы были концептуально схожи, в них комбинировалось пригодность (слишком рано, слишком поздно, вовремя) и развитие (сколько уже сделано) комментариев. Пока мы доказываем, что оба механизма вложили вклад в уровень мотивации, у нас нет данных, чтобы подтвердить это. Также пока не ясно, относится ли описанный эффект к двум механизмам комментариев или может быть применен и к другим адаптивным комментариям (и возможно к другим типам адаптивной навигационной поддержки). Чтобы ответить на эти вопросы, мы планируем продолжить наши исследования значения мотивации адаптивных комментариев к ссылкам. Благодарность Этот материал базируется на работах, созданных при поддержке Национального научного фонда США (гранты № 0310576, 042602, 0447083). References [Brusilovsky P. 1996] Brusilovsky, P.: Methods and techniques of adaptive hypermedia. User Modeling and User-Adapted Interaction 6, 2-3 (1996) 87-129 [Brusilovsky P., Eklund. J. 1998] Brusilovsky, P. and Eklund, J.: A study of user-model based link annotation in educational hypermedia. Journal of Universal Computer Science 4, 4 (1998) 429-448 [Brusilovsky P., Pesin. L. 1998] Brusilovsky, P. and Pesin, L.: Adaptive navigation support in educational hypermedia: An evaluation of the ISIS-Tutor. Journal of Computing and Information Technology 6, 1 (1998) 27-38 [Brusilovsky P., Sosnovsky S. 2005] Brusilovsky, P. and Sosnovsky, S.: Engaging students to work with self-assessment questions: A study of two approaches. In: Proc. of ITiCSE'2005, Monte de Caparica, Portugal, ACM Press (2005) 251-255. [Brusilovsky P., Sosnovsky S., 2004] Brusilovsky, P., Sosnovsky, S., and Shcherbinina, O.: QuizGuide: Increasing the Educational Value of Individualized Self-Assessment Quizzes with Adaptive Navigation Support. In: Nall, J. and Robson, R. (eds.) Proc. of World Conference on E-Learning, ELearn 2004, Washington, DC, USA, AACE (2004) 1806-1813. 9 [Davidovic A., Warren J. 2003] Davidovic, A., Warren, J., and Trichina, E.: Learning benefits of structural examplebased adaptive tutoring systems. IEEE Transactions on Education 46, 2 (2003) 241-251 [De Bra P., Calvi L. 1998] De Bra, P. and Calvi, L.: AHA! An open Adaptive Hypermedia Architecture. The New Review of Hypermedia and Multimedia 4 (1998) 115-139 [Henze N., Nejdl W. 2001] Henze, N. and Nejdl, W.: Adaptation in open corpus hypermedia. International Journal of Artificial Intelligence in Education 12, 4 (2001) 325-350. [Masthoff J. 2002] Masthoff, J.: Design and evaluation of a navigation agent with a mixed locus of control. In: Cerri, S. A., Gouardères, G. and Paraguaçu, F. (eds.) Intelligent Tutoring Systems. Lecture Notes in Computer Science, Vol. 2363. Springer-Verlag, Berlin (2002) 982991 [Naps T. L., Rößling G. 2003] Naps, T. L., Rößling, G., et al. Exploring the role of visualization and engagement in computer science education. ACM SIGCSE bulletin 35 (2003) 131–152. [Papanikolaou K. A., Grigoriadou M. 2003] Papanikolaou, K. A., Grigoriadou, M., Kornilakis, H., and Magoulas, G. D.: Personalising the interaction in a Web-based Educational Hypermedia System: the case of INSPIRE. User Modeling and User Adapted Interaction 13, 3 (2003) 213-267. [Specht M. 1998] Specht, M.: Empirical evaluation of adaptive annotation in hypermedia. In: Ottmann, T. and Tomek, I. (eds.) Proc. of ED-MEDIA/ED-TELECOM'98 - 10th World Conference on Educational Multimedia and Hypermedia, Freiburg, Germany, (1998) 13271332. [Weber G., Brusilovsky P. 2001] Weber, G. and Brusilovsky, P.: ELM-ART: An adaptive versatile system for Web-based instruction. International Journal of Artificial Intelligence in Education 12, 4 (2001) 351384, available online at http://cbl.leeds.ac.uk/ijaied/abstracts/Vol_12/weber.html [Yudelson M., Brusilovsky P. 2005] Yudelson, M. and Brusilovsky, P.: NavEx: Providing Navigation Support for Adaptive Browsing of Annotated Code Examples. In: Looi, C.-K., McCalla, G., Bredeweg, B. And Breuker, J. (eds.) Proceedings of AI-ED'2005. IOS, Amsterdam (2005) 710-717 10
