Кононова_Якимова Оценка компетенций

Компетенция как объект оценивания и измерения в системе
контроля качества обучения
Ольга Витальевна Кононова, Зоя Владимировна Якимова
Владивостокский государственный университет экономики и сервиса,
Россия, 690014, г. Владивосток, ул. Гоголя, 41
Olga Vitalievna Kononova, Zoya Vladimirovna Yakimova
Vladivostok State University Economics and Service,
Russia, 690014, Vladivostok, Gogolya Street, 41
Аннотация: в статье анализируется соотношение категорий “результаты
обучения” и “компетенции”. Предложена концепция сопряжения “системы
измерения” и “системы оценивания”, описаны различия двух систем в разрезе
трех элементов: субъекта, объекта и предмета. Определены условия измерения
и
оценивания
уровня
сформированности
компетенции
как
латентной
переменной. Рассмотрена специфика применения понятия «компетенции» в
качестве объекта оценивания и в качестве объекта измерения в системе
контроля качества обучения.
Ключевые
слова:
компетенция,
результаты
обучения,
система
оценивания, система измерения, качество обучения, оценочны средства,
латентная переменная, индикаторные переменные, модель Г. Раша.
Введение.
Согласно
ФГОС
высшее
учебное
заведение
обязано
обеспечивать контроль качества подготовки, в том числе путем:
– разработки объективных процедур оценки уровня знаний, умений
обучающихся, компетенций выпускников с высокой степенью объективности,
обоснованности и сопоставимости;
– учёта всех видов связей между включенными в дисциплины (модули)
знаниями,
умениями,
навыками,
позволяющие
установить
качество
сформированных у обучающихся компетенций по видам деятельности и
степень общей готовности выпускников к профессиональной деятельности;
– в рабочей программе каждой учебной дисциплины (модуля) должны
быть четко сформулированы конечные результаты обучения в органичной
увязке с осваиваемыми знаниями, умениями и приобретаемыми компетенциями
в целом по основной образовательной программе.
Отсюда следует три основополагающих вывода. Первый о том, что
система контроля качества подготовки предполагает разработку процедур
оценки, а значит подсистемы оценки качества подготовки. Второй вывод –
качество или уровень сформированности компетенций должен устанавливаться
посредством оценки качества приобретенных знаний, умений, владений
(навыков). Третий вывод – возникновение термина “результаты обучения”,
используемого как интегральное понятие аналогично понятию компетенция.
Данный вывод поддерживается также формулировками проектов ФГОС
обновленного формата, которые предлагают вузу оценивать “достижение
запланированных в образовательной программе результатов обучения и
уровень сформированности всех компетенций, заявленных в образовательной
программе”.
Соответственно возникают необходимость определиться как с самим
понятием, так и с вопросами, что считать результатами обучения в рамках
системы контроля качества подготовки на базе ФГОС и что в этом случае будет
являться объектом и предметом оценки, а что измерения?
В 2005 г. рабочей группой по разработке европейской структуры
квалификаций было сформулировано понятие “результаты обучения” (Learning
outcomes) и в Руководстве пользователя ECTS дано его четкое определение:
результаты обучения – это формулировки того, что, как ожидается, будет знать,
понимать и/ или будет в состоянии продемонстрировать (делать) обучающийся
после завершения периода обучения [1; 2].
Однако следует внести уточнение, что результаты обучения могут быть
как ожидаемыми, так и фактическими. При этом под ожидаемыми результатами
обучения (expected leaning outcomes) – понимается модельное представление
(для типичного среднего студента) результатов обучения для определения
уровня той или иной квалификации. Фактические результаты обучения (actual
leaning outcomes) – это продемонстрированные и прошедшие оценку знания и
компетенции (общекультурные и профессиональные)
обучающегося по
завершению программы (дисциплины, модуля).
Стоит отметить, что употребление термина “результат” подразумевает
нечто внешнее, измеримое, предметное и объективное. Компетенция же по
своей сущности является латентной (скрытой, ненаблюдаемой), её невозможно
измерить в явном виде, как, например, длину или вес в физике. Что позволяет
предположить некорректность применения термина результат обучения по
отношению к компетенции.
Необходимость разработки процедур оценивания компетенций отмечена
рядом исследователей [3]. Однако требование “измеримости” в отношении
компетенций составляет на сегодняшний день наивысшую трудность, как в
теоретическом, так и в практическом плане. Именно этим вопросам и
посвящена данная статья.
Сопряженность систем оценивания и измерения
Отсутствие
детерминировала
сформированности.
вузовской
практики
необходимость
выбора
Один
из
подходов,
оценивания
подхода
к
компетенций
определению
поддержанный
на
ее
уровне
образовательных стандартов РФ и в международной (“Болонской”) практике,
предполагает введение уровней и критериев сформированности компетенций
[4]. При этом необходимо учитывать, что согласно ФГОС уровни и критерии
сформированности компетенций каждый вуз будет определять самостоятельно,
а к процедурам оценивания привлекать кроме преподавателей самих
обучающихся и представителей работодателей из числа действующих
руководителей
и
работников
профильных
организаций,
т.е.
создавать
экспертные группы и применять экспертные методы оценивания.
Применение
категории
дополнения
оценочных
оценочных
процедур
“уровня”
процедур
на
предполагает
процедурами
различных
этапах
необходимость
измерения.
обучения
Проведение
обеспечивается
посредством
использования
широкого
позволяющих
продемонстрировать
спектра
обучающимися
оценочных
как
средств,
образовательные
результаты, так и совокупность приобретенных компетенций.
По причине того, что фонды оценочных средств каждым вузом так же
должны
разрабатываться
актуальность
разработки
и
утверждаться
и
самостоятельно,
обоснования
возрастает
методологических
основ
“измеримости” компетенций. Эти основы не только позволят сопоставлять
результаты обучения в рамках одного направления подготовки по разным ООП
(разработанных разными вузами), но и положительно повлияют на развитие
экспорта образовательных услуг.
Первым шагом к становлению такой методологии является соотнесение
системы оценки и системы измерения компетенций в рамках системы контроля
качества подготовки. Обе системы мы будем рассматривать в разрезе трех
базовых
элементов:
субъекта,
объекта
и
предмета.
По
умолчанию
подразумевается, что обе системы функционируют в ситуационном поле, т.е.
детерминированы конкретной ситуацией как совокупностью всех внешних и
внутренних
факторов,
одноактностью
и
неповторимостью
наступления
множества событий, происходящих в момент оценивания и/или измерения.
Схематично взаимосвязь (сопряжение) этих двух систем отражена на рисунке 1.
субъект оценивания
(преподаватель + эксперты: обучающиеся, представители бизнес-среды+ сам оцениваемый)
субъект измерения
Система
оценивания
предмет измерения
(экспертная группа)
Система
измерения
объект оценивания
(уровень сформированности
компетенций)
объект измерения
(критерии сформированности
компетенции – индикаторные
переменные)
предмет оценивания
(компетенция – латентная переменная)
(результаты обучения)
Рис.1. Взаимосвязь систем оценивания и измерения
Согласно представленной на рис.1 схеме, система измерения встроена в
систему оценивания как неотъемлемая её часть. Для того чтобы разобраться во
всех нюансах этих взаимосвязей разведём представленные термины и понятия.
Оценивание - это экспертный либо формализованный процесс сравнения
демонстрируемых респондентом (обучающимся) фактических результатов
обучения с «эталоном» (ожидаемыми результатами обучения), который
завершается
оценкой
уровня
образовательных
достижений
учащегося
(результатов обучения).
Оценка
–
результат
процесса
оценивания,
суждение
о
качестве
выполненной работы, об успехах и недостатках в достижении результатов.
Система оценивания может разворачивается одновременно в трёх плоскостях
оценки: успеваемости, прогресса и потенциала.
Оценка успеваемости – результат сравнения того, что есть сейчас с тем,
что должно быть к моменту оценивания.
Оценка прогресса – результат сравнения того, что есть сейчас с тем, что
было раньше (сформировано, достигнуто до начала обучения по дисциплине,
модулю, ООП).
Оценка потенциала – результат сравнения того, что есть сейчас с тем, что
может бы быть в будущем (профориентация, построение индивидуальной
траектории обучения, выбор профиля).
Отметка – количественное выражение оценки, имеющее градации
(например, отлично, хорошо, удовлетворительно, не удовлетворительно).
В системе оценивания субъектом оценивания выступает одновременно и
внешний эксперт/эксперты и личность самого обучающегося, который
проходит процедуру оценивания. В качестве внешнего эксперта могут
выступать преподаватели, члены экзаменационной комиссии, а так же другие
обучающиеся.
Таким
образом,
«комплексный»
субъект
оценивания
потенциально обеспечивает двуединство (экспертная оценка + самооценка),
либо триединство (экспертная оценка + взаимооценка + самооценка). При этом
внешний эксперт отмечает личные достижения каждого обучающегося,
определяет круг решённых и не решённых им задач. Обучающийся, выступая в
качестве субъекта оценивания, производит самооценку: осознает не только
свои личные достижения, прогресс, приращение знаний, умений, навыков, но и
«белые пятна», пробелы и проблемы над которыми нужно работать.
Объектом оценивания является уровень сформированности компетенций,
позволяющий давать оценку об индивидуальном уровне академической
успеваемости, прогресса и потенциала оцениваемого.
Предмет оценивания – результаты обучения.
Таким образом, следует понимать, что оценивание — это не фиксация
итогов, а “точка” за которой следует новый виток развития [5]. Система
оценивания по своей сути является формирующей – она ориентирована на
конкретного обучающегося, определяет его индивидуальные образовательные
результаты и не предполагает сравнения с результатами других обучающихся.
Формирующее оценивание позволяет дифференцировать уровень знаний и
умений обучающегося; качественно проанализировать допущенные ошибки,
дать конструктивную обратную связь, наметить перспективы дальнейшего
развития.
Измерение может быть определено как процесс позиционирования
(локализации) респондентов на непрерывной числовой оси, в соответствии с
полученными ими баллами на интервальной шкале. С математической точки
зрения числовая ось представляется в виде горизонтальной прямой линии,
отражающей различные уровни развития интересующей латентной переменной
(компетенции). Эта ось позволяет представить интересующую латентную
переменную в виде числа. Иначе говоря, мера - это место (точка) на линии, а
измерение - это процесс построения линии и поиска месторасположения
респондентов на этой линии в зависимости от продемонстрированных ими
результатов [6]. В качестве математического аппарата, способного обеспечить
«измеримость» латентных переменных, применяется однопараметрическая
модель
Г.
Раша,
позволяющая
установить
связь
между
подготовленности респондентов и уровнем трудности заданий [7;8].
уровнем
Описанный выше подход к оцениванию позволяет рассматривать при
измерениях:
– компетенцию как латентную переменную, для проявления которой
необходимо сформировать некое силовое поле – “ситуацию”, реализующую
возможность фиксации значений латентной переменной (компетенции) через
индикаторные переменные (признаки);
– критерии сформированности компетенции с монотонно возрастающими
от уровня к уровню значениями в качестве индикаторных переменных.
Значения индикаторных переменных получаются как результаты применения
оценочных средств (тестовые задания, вопросы, задачи, кейсы и т.п.).
Таким образом, измерение определяет, в какой интервал попадает
числовой эквивалент выраженности латентной переменной (компетенции).
Соответственно, для измерения уровня сформированности компетенций через
индикаторные переменные применяется интервальная шкала, обладающая
рядом свойств:
1) Интервальная индикаторная переменная имеет количественную меру определённые количественные пределы существования в данном качестве. Так,
например, если мы рассматриваем коммуникативную компетенцию, то такая её
индикаторная переменная как коммуникативная активность может быть
измерена через количество проявленных инициатив взаимодействия в единицу
времени. При этом низкое количество контактов в единицу времени будет
интерпретироваться как стеснительность и замкнутость, а большое количество
контактов в ту же единицу времени – как навязчивость и гиперобщительность.
2) Интервальная шкала не имеет абсолютной начальной точки отсчета,
но имеет определённую относительную точку отсчета. Рассмотрим данное
свойство так же на примере коммуникативной компетенции, но уже через
такую индикаторную переменную как “способность высказывать своё мнение”:
 даже по пустяковым вопросам не имеет собственного мнения;
 обычно
избегает
высказывать
второстепенным вопросам;
собственное
мнение
даже
по
 редко высказывает собственное мнение, даже в тех случаях, когда оно
имеется;
 готов высказывать своё мнение в тех вопросах, в которых разбирается;
 часто высказывает собственное мнение даже по таким вопросам, в которых
не очень хорошо разбирается;
 всегда настаивает на своей точке зрения как единственно верной [9, С.35].
В приведённом примере нельзя установить абсолютную начальную точку
отсчета (появление собственной точки зрения), но можно установить
относительную точку отсчета (готовность высказываться в тех вопросах, в
которых разбирается).
3) Интервальная шкала имеет базовую единицу измерения. В контексте
математической теории измерений такая единица называется логитом, которые
с помощью линейных преобразований можно перевести в баллы. Чаще всего за
относительную точку отсчета (за нуль логитов) принимается среднее значение
оценок индикаторных переменных [10]. Удачный, на наш взгляд, пример
измерения уровня толерантности как социальной установки в логитах приведен
в исследовании Маслака А.А., Позднякова С.А. [11].
4) Значения интервальной шкалы не связаны отношениями пропорции и
могут не соответствовать отношениям пропорции меры, переменной,
показателя, характеристики объекта исследования. Так, например, при
рассмотрении компетенции «владение навыками сбора и анализа информации»
нельзя вывести пропорцию о соотношении количества сделанных выводов
относительно объема аналитического отчета в страницах, хотя и количество
выводов и объем аналитического отчета могут быть рассмотрены в данном
примере как индикаторные переменные.
5) Границы
интервалов
определяют
уровни
сформированности
компетенций. Компетенция измеряется достижением некого, заранее заданного
вузом,
уровня
сформированности.
Уровни
характеризуются
названием,
содержательным описанием, которое раскрывает название уровня, но не
используется непосредственно в измерениях, а также основными признаками
уровня в качественной и количественной форме (текстовый и числовой формат)
и их градациями. Таким образом, измерение уровня в системе контроля и
оценки предполагает создание паспорта для каждой компетенции. При этом
можно выделить пороговый уровень (обязательный для всех выпускников
ООП), продвинутый и высокий уровни [3].
Субъект измерения – экспертная группа, состоящая из работодателей,
преподавателей
смежных
образовательных
областей,
специалистов
по
разработке и сертификации оценочных средств.
Объект измерения – компетенция. Компетенции являются точкой
схождения основных векторов общеобразовательной и профессиональной
подготовки, задатков, способностей и мотивов обучающегося, используются
для обозначения результата обучения [12]. В зависимости от направления и
профиля подготовки действующие образовательные стандарты (ФГОС ВПО)
могут от содержать до нескольких десятков компетенций.
Предметом
измерения
будут
являться
индикаторные
переменные
(признаки). В качестве примера можно привести опыт измерения латентной
переменной
“удовлетворённость
студентов
качеством
образовательного
процесса в вузе”, описанный в статье Васильевой Е.Ю., Бакай Е.П. [10]. В
ситуации, когда латентная переменная задается набором индикаторных
переменных, очень важно проверить, насколько они совместимы, т. е. в какой
степени они определяют одну и ту же латентную переменную. Адекватность и
совместимость
перечня
индикаторных
переменных
достигается
путем
применения метода экспертных оценок, расчета коэффициента конкордации.
Экспериментальными исследованиями подтверждено, что чем больше
число учитываемых индикаторных переменных, а так же чем меньше
коррелированность индикаторных переменных (статистическая взаимосвязь
между индикаторными переменными), тем выше точность измерения.
Исследования так же показывают, что повысить точность измерения можно не
только за счет увеличения числа индикаторных переменных, но и за счет
увеличения числа их градаций [10; 13].
Подобный “индикаторный” подход к измерению компетенций широко
применяется в бизнес-среде, однако в образовательной среде он имеется ряд
ограничений, в частности большую трудоёмкость создания оценочных средств
и необходимость привлечения работодателей и специалистов-практиков к
процессу формирования перечня индикаторных переменных.
Выводы.
1. Сопряжение двух систем: оценивания и измерения могут быть
рассмотрены в разрезе трех элементов: субъекта, объекта и предмета,
представленных в Таблице 1.
Таблица 1.
Сопряжение системы оценивания и системы измерения
субъект
объект
предмет
Система оценивания
Эксперт/эксперты (педагог,
комиссия, учебная группа) + сам
обучающийся
Респондент (обучающийся),
демонстрирующий фактические
результаты обучения, компетенции
Результаты обучения (фактические
и ожидаемые)
Система измерения
Экспертная группа (работодатели,
преподаватели смежных
образовательных областей, специалисты
по разработке и сертификации
оценочных средств)
Компетенция – латентная переменная
Индикаторные переменные
2. Рассматриваемые нами категории “компетенция” и “результаты
обучения” не только находятся в разных системах координат, но и имеют
разноуровневую принадлежность: компетенция рассматривается и как объект
оценивания, и как объект измерения, а результаты обучения - как предмет
оценивания.
3. Компетенция как объект оценивания рассматривается с позиции уровня
её
сформированности
для
оценки
индивидуальной
академической
успеваемости, прогресса и потенциала обучающегося. Компетенция как объект
измерения – рассматривается как латентная переменная, проявляющаяся под
воздействием
индикатора
переменные (признаки).
(оценочного
средства)
через
индикаторные
4. Для измерения уровня сформированности компетенций как латентной
переменной
через
индикаторные
переменные
необходимо
применение
интервальной шкалы, с учетом ряда её свойств: количественных пределов
существования в данном качестве, наличия относительной и отсутствия
абсолютной точки отсчета, использования единицы измерения (логитов),
отсутствия отношений пропорции между значениями шкалы, определения
границ интервалов (уровней сформированности компетенции).
5. При сопряжении систем оценивания и измерения появляется
возможность выставлять отметку “отлично” при достижении высокого уровня
сформированности
продвинутого
компетенции,
уровня,
отметку
отметку
“хорошо”
при
достижении
“удовлетворительно”
при
достижении
порогового уровня. Соответственно, при проектировании вузом ООП для
каждой компетенции должен быть разработан расширенный паспорт, в котором
представлено содержательное описание уровня (порогового, продвинутого,
высокого), для каждого уровня обозначены основные признаки уровня
(индикаторные переменны), определены градации признака, представлены
возможные типы индикаторов (фонд оценочных средств), определены
интервалы числового эквивалента признака и сформулирован “эталон”
(ожидаемые результаты обучения).
Литература:
1. Kennedy, D., A. Hyland and N. Ryan, 2007. Writing and Using Learning
Outcomes: a Practical Guide. Date Views 05.11.2013.
www.tcd.ie/vpcao//academicdevelopment/assets/pdf/Kennedy_Writing_and_Using_Learning_Outcomes.pdf
2. ECTS Users’ Guide Brussels: Directorate – General for Education and Culture. –
2005. Date Views 05.11.2013
www.ec.europa.eu/education/policies/educ/bologna/report05.pdf
3. Kononova, O.V. and E.V. Sadon, 2013. Competence as educational outcomes of
BEP: from measurement to estimate. The territory of new possibilities. Bulletin of
the Vladivostok State University of Economics and Service, 3 (21): 82-88.
4. Baydenko, V.I. The Bologna process: the middle path. Moscow: Research centre
of problems of quality of preparation of experts, 2005. 378 p.
5. Krasnova, T.I., 2003. Evaluation of educational activity of students. Analytical
review of international trends of development of University education (issue 6),
Center of education development problems of Belarusian state University Date
Views 05.11.2013 www.charko.narod.ru/index16.html.
6. Avanesov, V.S., 2012. Quality criteria for educational measurement. Educational
measurements, 1: 51-63.
7. Rasch, G. Probabilistic Models for Some Intelligence and Attainment Tests. With
a Foreword and Afteword by B.D. Wright. The Univ. of Chicago Press. Chicago
& London, 1980. 199 p.
8. Wright, B.S., Masters, G.N. Rating. Scale Analysis: Rasch Measurement,
Chicago, MESA Press, 1982. 206p.
9. Mogilevkin, E.A., A.S. Novgorodov and S.V. Klinikov. HR tools. Practical
assessment. How to identify employees who can yield maximum results. SaintPetersburg: Rech, 2012. 320p.
10. Vasilyeva, E.Yu. and E.P. Bakai, 2008. Estimation of quality of questionnaire for
measurement of latent variable "satisfaction of students with quality of
educational process in university ". Human ecology, 11: 15-22.
11. Maskak, A.A. and S.A. Pozdnyakov, 2008. Rash Model for checking the quality
of the method of measurement of tolerance. Sociology: methodology, methods,
mathematical modeling, 26: 87-104.
12. Sadon, E.V., 2012. The role of the structure of competence in practical
organisation of the educational process. Training and education: methods and
practice of 2012/2013 academic years, 2: 149-155.
13. Danilov, A.A. and A.A. Maslak, 2009. Investigation of measurement precision of
latent variable depending on number of indicators levels. Herald of the Voronezh
State Technical University, 11(5): 106-114.