А. Пронин (НИУ ВШЭ - Санкт-Петербург), Е. Веретенник (НИУ
advertisement
А. Пронин (НИУ ВШЭ - Санкт-Петербург), Е. Веретенник (НИУ ВШЭ - Санкт-Петербург) ФОРМИРОВАНИЕ УЧЕБНЫХ ГРУПП В УНИВЕРСИТЕТЕ С ПОМОЩЬЮ АНАЛИЗА СОЦИАЛЬНЫХ СЕТЕЙ Необходимость реформировать студенческие учебные группы, с которой сталкиваются администрации факультетов и профессорско-преподавательский состав, является вполне закономерной и может быть обусловлена следующими причинами: ● естественным «убыванием» студентов в результате отчисления или перевода; ● техническими требованиями (вступление в силу нового положения, устанавливающего минимальный размер группы); ● форматом образовательной технологии (актуально для курсов - исследовательских проектов, в рамках которых студенты работают в рабочих командах). В нашем случае эта необходимость была продиктована запросом от администрации факультета менеджмента. На втором курсе бакалавриата количество студентов в каждой из четырех учебных групп (направление 080200.62 “Менеджмент”) приближалось к критически малому значению, при котором существование каждой из группы было бы проблематичным (в данном случае мы рассматриваем исключительно организационноадминистративный аспект). Факторами, которые обусловили необходимость уменьшения количества студенческих учебных групп на факультете, выступили: ● снижение численности обучающихся на одном из курсов бакалавриата к концу второго года обучения на почти 20% (с 96 до 78 студентов); ● вступление в силу внутриуниверситетского положения, устанавливающего минимальный размер учебной группы - 25 человек. Таким образом, задача исследования, сформулированная администрацией Факультета, состояла в следующем: сформировать на основе имеющихся четырех учебных групп второго курса бакалавриата (группы A-D) новые 3 группы (см. Рис. 1). Главным условием для осуществление перегруппировки выступало сохранение сложившихся дружеских и деловых отношений между студентами. Также, технические требования к результатам исследования касались равного по количеству размера новых групп (N=26 студентов) и эквивалентного уровня академической успеваемости (измерялась по среднему баллу рейтинга успеваемости студентов за семестр - S). Рисунок 1 - Визуализация задачи переформирования учебных групп факультета менеджмента Ожидаемым результатом исследования должны были стать несколько вариантов списков трех обновленных студенческих учебных групп. Для сбора первичных данных и для последующего сетевого анализа был использован один из наиболее известных и популярных методов [5]- “взаимной номинации” (reciprocal nomination method). В соответствии с целями исследования, использовались вопросы, косвенно характеризующие связи (привязанности) между студентами курса. Ответы на такие вопросы показывают студенческие оценки дружественных взаимосвязей и существующие субгруппы студентов [4,9]. Социометрическая анкета, использованная для данного исследования включала косвенные вопросы для определения 5 индикаторов различного типа отношений/выборов как между членами конкретной учебной группы, так и на курсе в целом (cм. рисунок 2). В качестве ответов на вопросы респонденты могли указывать всех студентов своего курса (не только тех, кто присутствовал в момент сбора данных). Предполагалось, что подобное условие позволит получить более полную картину о дисперсии различных отношений/выборов между студентами. Распределение индикаторов по типу агентов и структуре отношений между ними (внутри группы или между группами) производилось следующим образом: ● Вопросы 1 и 2 — оценка сплоченности (cohesion) и характеристик доверия внутри каждой конкретной группы. Под сплоченностью в данном случае понимается стремление группы совместно осуществлять реализацию определенной цели или эмоционально поддерживать своих участников. ● Вопросы 3, 4 и 5 — оценка межличностных отношений в рамках учебных практик на курсе в целом. Данные по этим вопросам могут использованы для определения учебных “кластеров” на курсе, которые сформировались за время совместного обучения. Для измерения “качества” учебных кластеров, образованных за счет используется коэффициент модулярности (modularity index), который показывает процент связей участников группы, находящихся "внутри" этого кластера [7]. Чем выше значение коэффициента модулярности, тем ярче выражен уровень кластеризации сообщества. Рисунок 2 - Социометрическая анкета Для решения поставленной задачи мы разработали 2 стратегии. Для решения поставленной задачи предполагалось использовать стратегию “слабого звена”. Ключевая идея такой стратегии - осуществить выбор наименее целостной, четко разделенной на автономные, плохо связанные друг с другом кластеры (подгруппы), учебной группы и дополнить выделенными кластерами существующие 3 учебные группы. Поиск наименее “дружной” группы осуществляется по двум условиям: ● графическому анализу визуализации сетевых взаимодействий (графов): оценка внутренней (in-degree centrality) и внешней центральности (out-degree centrality). Внутренний коэффициент показывает количество выборов, которые направлены на определенного участника группы (сети), а внешний - количество выборов, которые осуществляет сам участник. ● расчету и поиску минимального из значений коэффициента реципрокности (взаимности) связей сети, который характеризует процент взаимных связей в учебной группе (взаимных выборов). Одной из наиболее часто используемых формул расчета коэффициента взаимности является следующая: r = e ⇔/E где e ⇔ - количество двусторонних (взаимных) выборов (ребер в графе-сети), Е - общее количество выборов в данной сети (в нашем примере - учебной группе) [8]. Коэффициент реципрокности принимает значение 0 ≤ r ≤ 1, при этом минимальному уровню соответствует группа, в которой отсутствуют взаимные выборы, т.е. наименее “дружная” (сплоченная) учебная группа; ● расчету и поиску минимального из значений коэффициента кластеризации, который показывает тенденцию графа быть разделённым на группы (кластеры). Кластер – подмножество вершин (участников сети - студентов), которое содержит множество ребер, соединяющих эти вершины друг с другом (взаимные/невзаимные выборы, характеристика отношений). Коэффициент кластеризации в сети (графе) равен , где N = является количеством вершин, i – вершина со степенью deg(i) = k, е - количество ребер между k соседей вершины i [5]. Коэффициент кластеризации принимает значения 0 ≤ Ci ≤ 1. Чем ближе значение коэффициента кластеризации к 1, тем более вероятно, что данная сеть стремится стать “кликой” (clique) (т.е. все участники - вершины связаны ребрами, или максимально взаимодействуют друг с другом). В общем виде, коэффициент кластеризации показывает вероятность, с которой два студента, которые активно взаимодействуют с третьим, будут также взаимодействовать между собой. Соответственно, чем ближе значение коэффициента к 0, тем более вероятно, что в существующей сети нет кластеров и вершины практически не связаны (отсутствует взаимодействие, группа не является “сплоченной”). Расчет соответствующих коэффициентов осуществляется по данным, соответствующим вопросам на групповое взаимодействие и сплоченность - вопросы 1 и 2. Учебная группа, которая соответствует обоим указанным условиям, признается “слабым звеном” и используется в качестве основания для дополнения оставшихся 3 групп до установленного размера. Используя оценки межличностных отношений на курсе в целом (вопросы 3-5), мы присоединяем обособленные кластеры группы - “слабого звена” к группе, с которой у студентов каждого кластера наблюдается максимальное количество и взаимность выборов. Таким образом, формируем несколько вариантов дополнения исходных 3 учебные группы до установленного размера - 26 человек. Отметим, что сохранение целостности максимального количества групп выступает в качестве одного из ключевых достоинств стратегии “слабого звена”. Такую стратегию возможно использовать не только для задачи формирования учебных групп на уровне факультета из-за естественного убывания студентов, но и для реорганизации групп для посещения факультативных занятий или занятий, требующих обязательного разделения на подгруппы (иностранные языки, компьютерные технологии и т.п.). В тоже время такое разделение оставляет за собой риск сохранения автономии выделенных кластеров после присоединения к другим группам, что, в конечном итоге, может снизить уровень сплоченности учебного коллектива. Способствовать последнему также может и основная идея стратегии - дискриминация (уничтожение) одной из групп, которая при отсутствии должного информационного сопровождения (поддержки, разъяснения) может привести к возникновению недопонимания и конфликтов между администрацией факультета и студентами расформированной группы. В поставленной задаче использование стратегии “слабого звена” по установленным критериям оказалось несообразным. Прежде всего, за счет функций ORA были построены графические отображения каждой из 4 начальных групп: каждому узлу (вершине) соответствует один из студентов группы, каждой взаимосвязи (ребру) - выбор студента в отношении коллег (ответы на вопрос 1 и 2). Полученные структуры группы, с цветовой дифференциацией отдельных кластеров внутри каждой группы, представлены в таблице 1. Группа 1 Группа 2 Группа 3 Группа 4 Таблица 1 - Графическое отображение групповой структуры первоначальных групп Изображения структуры отношений наглядно демонстрируют уровень сплоченности учебных групп: во всех группах присутствует от 3 до 4 кластеров (подгрупп) разной степени внутренней центральности, в двух группах также присутствуют и полностью изолированные узлы (студенты). Можно отметить, что в группе 1, в отличие от остальных, присутствовал изолированный от остальной части учебного коллектива кластер студентов. Данное наблюдение позволяет предположить, что именно эта группа может являться “слабым звеном”, которое будет расформировано для дополнения групп 2, 3 и 4. Для подтверждения этой гипотезы необходимо провести в ORA расчет коэффициентов реципрокности (взаимности) и кластеризации для каждой из 4 групп (таблица 2) по вопросам 1 и 2 (столбцы в таблице закодированы соответственно номеру вопроса Х_1 или Х_2, где Х - номер группы). Коэффициенты Количество 221_1 221_2 222_1 222_2 223_1 223_2 224_1 224_2 выборов 63.00 48.00 60.00 46.00 74.00 58.00 58.00 49.00 0 0 0 0 0 0 0 0 0.206 0.157 0.175 0.135 0.160 0.126 0.170 0.143 0.575 0.333 0.500 0.533 0.423 0.349 0.611 0.531 0.637 0.348 0.485 0.296 0.454 0.351 0.519 0.391 (ребер) Плотности (density) Коэффициент реципрокности Коэффициент кластеризации сети Таблица 2 - Сетевая статистика (расчет коэффициентов взаимности и кластеризации) Расчет показателей, тем не менее, не позволяет дать однозначного ответа относительно наличия единственного “слабого звена” среди групп. Группа 1, при том, что содержит обособленный кластер, демонстрирует одно из самых высоких значений коэффициента взаимности по данным вопроса № 1 - 0,575, а, значит, 57,5% всех выборов в этой группе являются взаимными и группу можно считать более “сплоченной”, чем, например, группу 3, у которой процент взаимности равен 42%. Максимальное значение коэффициент реципрокности достигает у группы 4 (61,1%). Для вопроса № 2 (доверие в группе) значение коэффициента по всем группам меньше значения для вопроса № 1, и, соответственно, уровень взаимного доверия в группах ниже уровня активности (учебных взаимодействий). Схожая ситуация наблюдается и при анализе значений коэффициента кластеризации - для первой группы он принимает максимальное значение среди первоначальных групп курса - 0,637, что говорит о наличии тенденции к созданию клики, т.е. высокому уровню внутригруппового взаимодействия. Минимальное значение коэффициент кластеризации принимает для группы 2 в вопросе на оценку внутригруппового уровня доверия (вопрос №2). Таким образом, в отсутствие единственного выбора группы - “слабого звена” стратегия оказывается несостоятельной для данного случаю, в связи с чем возникает необходимость разработать и протестировать иной подход, обратный описанному выше. Таким подходом стала стратегия “плавильного котла”, которая предполагает действие от общего у частному - реформирование всех четырех групп курса (т.е. всего потока студентов 2 курса) в абсолютно новые кластеры на основании их оценок учебного взаимодействия (вопросы № 3-5 анкеты). Для определения структуры отношений в некотором сообществе используется множество вариаций метода кластеризации. Одним из наиболее часто употребимых [7, c. 7821] вариантов является иерархическая кластеризация. Суть этого метода состоит в упорядочивании участников сети, в роли которой может выступать и учебное сообщество, на отдельные кластеры на основании значения показателя прочности взаимосвязи между отдельными парами участников (узлов). Стратегия “плавильного котла” предполагает, что вместо того, чтобы выбирать узлы с наибольшей промежуточной центральностью (betweenness centrality) и уже на их основе строить кластеры, нам необходимо сделать опрос для студентов всех групп, таким образом используются углы с минимальной центральностью, т.е. те, что находятся в самой середине между различными кластерами. В общем виде алгоритм Ньюмана выглядит следующим образом: 1. Расчет значения показателя срединной центральности для всех участников сети (учебного курса). Коэффициент центральности оценивает влиятельность (значимость) узлов сети (студентов или преподавателей) и рассчитывается как длина самого короткого пути между другими узлами, который проходит через первый узел. Этот показатель показывает силу воздействия узлов (студентов) на различные информационные потоки В данном исследовании расчеты значений проводились по обработанным данным в программе ORA. 2. Удаление ребра (связи) с самым высоким значением показателя центральности; 3. Перерасчет показателя центральности для всех ребер, которые были связаны с удаленным; 4. Повторить пункт 2 до тех пор, пока не останется ли 1 ребра (взаимосвязи). Для второй стратегии мы использовали данные по вопросам 3 и 4 поскольку между ними был наиболее высокий коэффициент сетевой корреляции [11] (QAP correlation) = 0,618. В процессе кластеризации требуется единственный набор данных, в связи с чем актуальным становится выбор наиболее значимого вопроса. Критерием значимости в данном случае выступает значение коэффициента модулярности (modularity). Коэффициент модулярности в последние годы все активнее [см. подробнее 1;2;3;6;10] используют в рамках процесса решения задачи разделения сети на несколько сообществ (кластеризации графов) для определения качества итогового деления. В сетях с высокой модулярностью сильны взаимосвязи между узлами (участниками) внутри кластера, но существенно ослаблены между узлами разных кластеров. Для ситуации с учебными группами высокая модулярность свидетельствует о правильном соблюдении основного условия задачи перегруппировки - максимального уровня внутригруппового взаимодействия. Подсчитанной с помощью программного пакета ORA значение M4>M3 (0,521>0,451), а это значит, что кластеры (новые учебные группы), образованные с использованием алгоритма Ньюмана по данным вопроса 4, представляют собой более “сплоченные” коллективы, чем аналогичные, созданные по данным вопроса 3. Таким образом, в качестве основы для следующего этапа формирования групп выбираются кластеры по вопросу 4. В результате кластеризации, из имеющихся 4 групп (A (18), B (19), C (22), D (19)) были получены новые 3 группы-кластеры (G1 (32), G2 (24), G3 (17)). Поскольку алгоритм не позволяет контролировать размер получаемых групп, итоговая численность групп была вручную выровнена с учетом данных о межличностном взаимодействии (вопросы 1 и 2). Итоговые значения размеров групп соответствуют заданным условиям: G1=G2=G3 = 26, Графическое изображение процесса формирования новых групп в рамках алгоритма Ньюмана представлено на рисунке 3. Рисунок 3 - Преобразование полученных по алгоритму Ньюмана кластеров в учебные группы с предустановленными характеристиками численности В качестве достоинств данной стратегии отмечена возможность максимально учесть выборы/пожелания членов всех групп, за счет чего нивелируются недостатки предшествующего административного деления на группы. При этом, из-за допущенных упущений в процессе составления анкеты и проведении социометрического теста невозможно было учесть в полной мере пожелания студентов по всему курсу. Так, выборы студентов в отношении группы 5, другого направления обучения, но принадлежащей к этому же набору (курсу), были исключены из анализа, хотя и присутствовали в начальном массиве данных, что было связано с тем, что группа 5 в реорганизации не участвовала. Вторым “узким” положением стратегии является безусловно и тот факт, что происходит существенное изменение состава групп, последствия которого слабо предсказуемы для образовательного процесса. Оценка результатов и перспективы исследования Эффективность проведенной кластеризации и перегруппировки можно оценить в том числе при помощи сравнения средних оценок студентов (данные рейтингов академической успеваемости до и после перегруппировки) в «новых» и «контрольных» группах. Под “новыми” мы понимаем группы, которые были получены благодаря использованию SNA на 2 курсе факультета менеджмента. В качестве “контрольных” групп мы рассматриваем учебные группы по сходному направлению и уровню обучения, которые в аналогичный период были переформированы без использования SNA (группы второго курса бакалавриата другого факультета НИУ ВШЭ - СПб). Изменение социальной структуры (как состава, так и размера) учебных групп при условии, что последнее является одним из факторов продуктивной работы студентов, может приводить к негативным последствиям. Мы полагаем, что в качестве позитивного результата может рассматриваться как сохранение прежнего уровня успеваемости, так и его повышение. Поэтому мы использовали различные параметры “новых” и “контрольных” групп, включающие не только успеваемость, но и изменение позиции в рейтинге. Отметим, что при сравнении использовались как текущий, так и кумулятивный рейтинги. Отличие первого от второго заключается в использовании итоговых оценок, которые получены после дополнительной сессии, а также с учетом факультативных курсов. Прежде всего, мы можем наблюдать положительную стабильную динамику количества студентов, повысивших свой средний балл по кумулятивному рейтингу (по итогам 2 и 3 годов обучения). Более того – если для контрольной группы рост среднего балла в течение 2 и 3 годов обучения является несущественным (колебание от 0,44 до 0,49), то для групп, сформированных за счет сетевого анализа, мы можем зафиксировать более чем трехкратный рост среднего балла (от 0.24 до 1) за следующий после группировки год обучения (см. таблицы 3 и 4). Спустя 1 учебный год Спустя 1 семестр Спустя 2 семестра после после перегруппировки перегруппировки 57% 37% 42% 35% 68% 52% после перегруппировки (включая период дополнительной сессии) % студентов, демонстрировав ших рост средней оценки по кумулятивному рейтингу % студентов, демонстрировав ших рост позиции в кумулятивном рейтинге Таблица 3 - Динамика роста среднего балла и позиции в рейтинге для реорганизованных групп Спустя 1 учебный год Тип группировк и Спустя 1 Спустя 2 после семестр после семестра после перегруппиров перегруппиров перегруппиров ки (включая ки ки период дополнительно й сессии) % студентов, демонстрирова вших рост средней оценки по кумулятивном у рейтингу Значен ие прирос та оценки , балл % студентов, демонстрирова вших рост средней оценки по кумулятивном у рейтингу Значен ие прирос та оценки , балл % студентов, Значен демонстрирова ие вших рост приро средней оценки ста по оценк кумулятивному и, рейтингу балл Анализ социальных 48% 0,24 48% 0,84 48% 1 0,49 68% 0,44 52% 0,45 сетей Традиционн ый 35% Косвенно об эффективности работы алгоритма и нивелировании проблемы учета всех пожеланий студентов, может свидетельствовать и небольшое количество заявлений, которые поступили от студентов с просьбой о переводе в другую группу (5 на курс). Для доступа к полноценной картине последствий тех изменений, которые были произведены на втором курсе факультета, спустя год были проведены планируется провести повторные опросы среди студентов бакалавриата. Используя полученные данные социометрии, мы построили новую карту взаимодействий на уровне курса в переформированных группах (Рисунок 4). На представленной социограмме четко заметны изменения в структуре: отсутствуют изолированные кластеры и, фактически, курс поделен на несколько четко очерченных «дружных» кластеров, связанных друг с другом. Это позволяет нам сделать вывод о том, что, во-первых, удалось выполнить первое условие перегруппировки – максимально сохранить структуру взаимосвязей и повысить ее эффективность, во-вторых, достичь при этом повышение уровня среднего балла. Рисунок 4 – Структура взаимоотношений на курсе через год после реорганизации групп (вопрос №4) Предлагаемый метод также может выступать решением для проблемы группировки проектных команд в учебных курсах, предполагающих подготовку и реализацию полноценного исследовательского проекта. Полученные оценки эффективности проведенной группировки дают нам возможность предположить перспективу повышения среднего уровня усвоения материала (повышении среднего балла) при осуществлении группировки по заданному алгоритму. Интересным для дальнейшего исследования является вопрос о том, насколько более организованными и сплоченными будут перераспределенные группы выпускников относительно контрольной группы, которая была сформирована традиционным административным методом деления. Известно, что сообщества выпускников могут выступать в качестве одного из основных источников положительной динамики социального капитала университета в целом и факультета в частности, поскольку обладают возможностью непосредственно формировать общественное мнение о качестве образовательных услуг, предоставляемых высшим учебным заведением (например, для своих работодателей и коллег). Вопрос, который приобретает актуальность для отделов по взаимодействию с выпускниками: будут ли значения метрик отношений с выпускниками (% трудоустройства в первый год окончания обучения; % участия в научных и культурных мероприятиях университета и др.) выше за счет установившихся за 3 года обучения дружественных взаимоотношений (учтенных при сетевом распределении групп)? Список использованных источников 1. 4Fine P., Paolo E. Spatially Constrained Networks and the Evolution of Modular Control Systems // in 9th Intl. Conference on the Simulation of Adaptive Behavior (SAB). 2006. 2. 5Fortunato S., Barthelemy M. (2007) Resolution Limit in Community Detection // Proceedings of the National Academy of Sciences. 2007. V. 104. №1. Pp. 36–41. 3. 6Gaertler M., Gorke R., Wagner D. Significance-Driven Graph Clustering // in Proceedings of the 3rd International Conference on Algorithmic Aspects in Information and Management (AAIM’07), ser. Lecture Notes in Computer Science. Springer-Verlag, 2007. pp. 11–26. 4. 7Hymel S., Vaillancourt T., McDougal P. (2002). Peer acceptance and rejection in childhood. // Blackwell handbook of childhood social development //Malden, Oxford, Carlton: Blackwell Publishing. - Pp. 265–284). 5. 12Kemper, A. (2009). Valuation of Network Effects in Software Markets: A Complex Networks Approach. Springer, 2009. 6. 16Muff S., Rao F. Local Modularity Measure for Network Clusterizations // Physical Review E. 2005. V. 72. №. 056107. 7. 18Newman M. Modularity and community structure in networks // Proceedings of the National Academy of Sciences of the United States. 2006. V. 103. Iss. 23. Pp. 8577-8582 8. 19Newman, M.,, Forrest (2002) Email networks and the spread of computer viruses // Phys. Rev. 2002. № 66 (035101). 9. 25Yugar, J. M., & Shapiro, E. S. (2001). Elementary children’s school friendships: A comparison of peer assessment methodologies. School Psychology Review, 30 , 568–585. 10. 26Ziv E., Middendorf M. Information-Theoretic Approach to Network Modularity // Physical Review. 2005. V. 71. №. 046117. 11. 28Krackhardt D. (1987). QAP partialling as a test for spuriousness // Social Networks. 1987. № 9(2). pp. 171–186.
