УТВЕРЖДАЮ Заместитель генерального директора по безопасности и персоналу ФГУП «Госкорпорация по ОрВД» ____________ В.Г.Дынников «19» августа 2005 г. РЕКОМЕНДАЦИИ ПО ОРГАНИЗАЦИИ И ПРОВЕДЕНИЮ ТЕСТИРОВАНИЯ ПЕРСОНАЛА УВД ФГУП «ГОСКОРПОРАЦИЯ ПО ОрВД» ПОЯСНИТЕЛЬНАЯ ЗАПИСКА Языковое тестирование является одним из важнейших факторов обеспечения безопасности полетов, так как «… безопасность авиапассажиров в немалой степени зависит от эффективности коммуникации пилотдиспетчер» (Глава 6 пункт 6.3.2 Руководства по внедрению требований ИКАО к уровню владения языком). Для улучшения радиотелефонной связи необходимо: 1) определить требования к языковой компетенции; 2) разработать качественные учебно-методические материалы по авиационному английскому языку; 3) разработать основные принципы тестирования и формат соответствующих инструментов оценки уровня владения английским языком (тестов). Требования к языковой компетенции уже определены документами ИКАО и подробно рассматриваются в пункте 3 данных Рекомендаций. Для выполнения второго пункта необходимо разработать учебнометодические пакеты в соответствии с уровнями шкалы ИКАО на основе Программы курсов повышения квалификации по авиационному английскому языку для персонала ОВД с первого до четвертого (рабочего) уровня по шкале языковой компетентности ИКАО, утвержденной начальником управления ОрВД Росавиации. Хотя ИКАО выдвинула требования к языковой компетенции и тестированию, разработка тестов и процедур тестирования остается за государствами. Речь идет не о тесте в традиционном значении этого слова, 2 как правило на бумажных или электронных носителях (“pen and paper tests”), а о всей процедуре определения уровня в целом (подробно о процедуре см. пункт 2 данных Рекомендаций). Тестирование должно основываться на коммуникативном подходе. Непрямые тесты оценивают не владение языком, а лишь «знания о языке». Коммуникативные тесты проверяют практическую способность использовать язык. Такой вид тестирования оценивается не количеством набранных баллов, а с помощью квалификационной шкалы. В ходе процедуры тестирования специально подготовленные экзаменаторы (рейтеры) определяют уровень владения английским языком согласно шкале ИКАО. Навыки устной речи проверяются в ходе интервью, беседы или ролевой игры. Акцент делается на адекватность восприятия и реагирования, а не на грамматическую неточность. Грамматическая неточность может приниматься во внимание в том случае, если она затрудняет понимание. Оценка только грамматических знаний не является целью тестирования. ИКАО предусматривает тестирование навыков говорения (устной речи) и аудирования (восприятия речи на слух), так как эти навыки, прежде всего, необходимы в работе диспетчера. Оцениваться должны только эти виды речевой деятельности, а не чтение, грамматические знания или словарный запас в оторванном контексте. Однако, в ходе обучения не стоит полностью игнорировать чтение и письмо. Разработка соответствующей требованиям ИКАО процедуры тестирования для авиационной индустрии является вопросом особой важности по следующим причинам: 1) Результат языкового теста будет влиять на карьеру диспетчеров. Специалисты УВД, обслуживающие международные воздушные трассы, должны демонстрировать соответствие требованиям ИКАО к языковой компетенции. Несоответствие требованиям ИКАО может повлечь за собой отказ в получении и/или подтверждении допуска к работе на МВЛ, а также может негативно повлиять на деятельность всего предприятия ФГУП «Госкорпорация по ОрВД» как поставщика аэронавигационного обслуживания. 2) Индустрия языкового тестирования является относительно нерегулируемой. В настоящее время в мире не существует независимого, имеющего аккредитацию органа, который бы занимался проблемами тестирования. Такое положение дел плюс неосведомленность авиационного сообщества о необходимости соответствующей квалификации для рейтеров и широко распространенное мнение, что «любой, кто говорит по-английски, может преподавать английский», оставляет авиационную индустрию открытой для инвестиций в тесты плохого качества или тесты, которые не соответствуют задачам работы диспетчера. Очень важно, чтобы поставщики тестов добросовестно придерживались рекомендаций Руководства по внедрению требований ИКАО к уровню владения языком. Хотя принято говорить о необходимости «английского теста», но это не совсем точные концептуальные рамки для обсуждения потребностей 3 языкового тестирования. Более точно это можно выразить как необходимость создания «службы тестирования». Единичный тест не может удовлетворить потребности в оценке языковых умений большого количества диспетчеров УВД ФГУП «Госкорпорация по ОрВД». Нужно постоянно обновлять версии теста. Поэтому в документе 9835 ИКАО «Руководство по внедрению требований ИКАО к уровню владения языком» говорится о «службе тестирования», либо внутренней, либо с источником извне, которая сможет постоянно поставлять новые материалы для тестирования. Следует отметить, что любой тест содержит определенный процент ошибки при оценке уровня. То есть, ни один тест не может обеспечить совершенно точное представление о языковых способностях тестируемого. Поэтому наилучшей практикой тестирования является такой подход, при котором во всех возможных случаях учитываются многочисленные дополнительные факторы, влияющие на оценку уровня, которые следует принимать во внимание. К таким дополнительным факторам, которые могут помочь справедливо оценить уровень, относятся: 1) документально подтвержденное время, затраченное на изучение языка, проведенное в образовательных учреждениях; 2) оценка, данная инструктором тренажера; 3) результат обучения на дополнительных занятиях; 4) результат обучения на курсах повышения квалификации; 5) оценка на рабочем месте. Коммуникативный подход к языковому обучению привел к коренному пересмотру практики языкового тестирования с введением методов тестирования, которые «прямо» оценивают языковые навыки. В дипломатической службе США обнаружили, что дипломаты, которые набрали большое количество баллов в традиционных языковых тестах, были не в состоянии эффективно использовать язык в реальных условиях. Такая озабоченность побудила к поиску тестов, которые бы более точно отражали фактические способности человека использовать язык. Была разработана техника «интервью» с сопровождающей рейтинговой шкалой для оценки уровня владения устной речью. С тех пор рейтинговая шкала для определения уровня владения языком активно используется при прямой оценке владения устной речью. Инструментом для проверки уровня владения английским языком в сфере авиации являются прямые коммуникативные тесты, в ходе которых проверяются навыки владения устной речью и восприятия речи на слух. В тесте может присутствовать элемент «pen and paper», например, при выборе правильного варианта ответа при прослушивании. Тесты, отвечающие нуждам авиационной индустрии, должны учитывать контекст, с которым связана работа диспетчера. Все имеющиеся коммерческие доступные тесты разрабатывались для академической оценки навыков говорения, аудирования, чтения и письма. Такие тесты не подходят для оценки уровня владения английским языком в высокоспециализированной авиационной сфере. Например, в Руководстве по внедрению требований ИКАО к уровню 4 владения языком в Главе 6 в пункте 6.7.13 говорится: «Нельзя прийти к заключению об уровне владения английским языком в контексте специализированной аэронавигационной коммуникации, принимая во внимание количество набранных баллов в тесте TOEFL. Некоторые студенты, сдавшие TOEFL и набравшие свыше 173 баллов, могут иметь очень ограниченные навыки говорения, а другие, набравшие менее 173, могут вполне хорошо говорить по-английски. Хотя раздел «аудирование» может представлять некоторый ограниченный интерес, не было доказано, что большое количество набранных баллов в разделе «аудирование» TOEFL означает компетентное интерактивное владение языком, в особенности в авиационном контексте». Глава 6 пункт 6.7.14: «Этот случай с неправильным использованием хорошо известного теста, который является надежным и валидным инструментом тестирования в контексте, для которого он предназначен, но который имеет негативные последствия, если используется в другом контексте, является хорошим примером, чтобы показать насколько важно выбрать или разработать тест, соответствующий требованиям тестирования. Хорошо известные существующие тесты, такие как TOEFL, TOEIC, IELTS и другие разрабатывались для других контекстов тестирования и не относятся к авиационному контексту». Пункт 6.7.15: « … Другие тесты могут включать в себя элементы говорения и/или аудирования, но они предназначены для тестирования навыков в другом контексте, часто в контексте университетской академической или офис/бизнес коммуникации. Рейтинговая шкала ИКАО была специально разработана с учетом специфических требований к коммуникации пилотов и диспетчеров. Система оценки должна учитывать характеристики шкалы ИКАО». Данные Рекомендации не могут вместить всей широты имеющейся полезной и важной информации. Они является предметом обновления и совершенствования по мере выхода в свет новых руководящих документов и рекомендаций ИКАО. 1. ОБЩИЕ ПОЛОЖЕНИЯ 1.1 Рекомендации предназначены для руководящего состава и специалистов УВД, экзаменаторов (рейтеров), переводчиков и преподавателей филиалов ФГУП «Госкорпорация по ОВД», Центров ОВД, отделений, обеспечивающих подготовку персонала ОВД к обслуживанию международных полётов на английском языке. 1.2 Настоящие Рекомендации регламентируют организацию тестирования и содержание теста для персонала УВД ФГУП «Госкорпорация по ОрВД» и содержат модель типовой процедуры тестирования (Приложение 1). 1.3 Для обеспечения постоянной разработки различных версий тестов при ФГУП «Госкорпорация по ОрВД» создается специальное подразделение 5 и комиссия по тестированию, которые будут заниматься вопросами апробации и валидации теста, анализом результатов. Основу данной комиссии будет составлять группа хорошо информированных опытных рейтеров. Опыт и профессиональная деятельность рейтеров должны внушать доверие. Они должны понимать задачи ФГУП «Госкорпорация по ОрВД» по обслуживанию международных полетов, а так же критерий и контекст, в котором протекает работа персонала УВД. Учитывая серьезное влияние результатов тестирования на карьеру специалиста УВД, необходима помощь профессиональных разработчиков тестов. Тест, разработанный без профессиональных разработчиков, может отвечать только целям диагностики. С тем, чтобы иметь уверенность, что тесты соответствуют стандартам ИКАО и обеспечивают надежные результаты, комиссия будет привлекать к разработке тестов представителей разных специальностей и авиационных структур: преподавателей и переводчиков, инструкторов тренажеров, действующих диспетчеров, пилотов, администраторов, профессорско-преподавательский состав учебных заведений и прикладных лингвистов (в том числе зарубежных). Участие рабочих экспертов придаст рабочую целостность данному процессу, а также обеспечит техническую точность. 1.4 Для обеспечения высоких стандартов комиссия по тестированию при ФГУП «Госкорпорация по ОрВД» разрабатывает этический и практический кодексы рейтера и следит за тем, чтобы все рейтеры придерживались данных кодексов. 1.5 Формирование и подготовка рейтеров для ФГУП «Госкорпорация по ОрВД» будет осуществляться централизованно генеральной дирекцией по специальной программе. Самостоятельная подготовка рейтеров филиалами ФГУП «Госкорпорация по ОрВД» не допускается. 1.6 Необходимость языкового тестирования может возникать на разных этапах карьеры диспетчера: - тестирование перед началом обучения профессии диспетчера (в учебных заведениях); - с целью диагностики или в качестве проверки достигнутого прогресса во время обучения и при повышении квалификации; - при подтверждении минимального уровня владения английским языком согласно требованиям ИКАО (начиная с 2008 года). Исходя из этого, требуются разные тесты: например, тесты для первоначального обучения диспетчеров должны отличаться от тех, с помощью которых проверяются специфические языковые умения у профессиональных диспетчеров. 1.7 Результаты тестирования служат двум целям: 1) чтобы проверить соответствие персонала УВД требованиям ИКАО. Уровень владения английским языком должен быть достаточным для обеспечения безопасного и эффективного ведения радиосвязи (соответствует «рабочему» уровню шкалы ИКАО); 2) чтобы оценить эффективность языковой подготовки. 6 1.8 Централизованное тестирование персонала УВД ФГУП «Госкорпорация по ОрВД» осуществляется 1 раз в год начиная с декабря 2005 года для отслеживания прогресса. Персонал УВД информируется о результатах тестирования. 1.9 В процедуре тестирования принимают участие 2 рейтера: рейтер – лингвист и рейтер-эксперт (рабочий эксперт по вопросам УВД). ИКАО считает, что наилучшей практикой в оценке уровня владения английским языком является участие в процедуре тестирования двух подготовленных рейтеров, один из них должен быть специалистом – лингвистом. 2. СОДЕРЖАНИЕ И СТРУКТУРА ПРОЦЕДУРЫ ТЕСТИРОВАНИЯ 2.1 Недостаточно тестировать только фразеологию. Необходимо тестировать авиационный английский язык, составными элементами которого являются: 1) фразеология радиообмена пилот/диспетчер; 2) английский язык для специальных целей ESP (English for Specific Purpose); 3) общий английский язык (General English) в той части, которая связана с авиацией. Если учесть, что все тесты оказывают обратный эффект на обучение, то естественно, что тестируемые захотят заниматься именно тем, что поможет им сдать тест. 2.2 Процедура тестирования персонала УВД ФГУП «Госкорпорация по ОрВД» состоит из трех этапов: I этап - контрольное упражнение на тренажере в реальной ситуации радиообмена пилот/диспетчер как в стандартных ситуациях, так и с возникновением особых случаев на борту; II этап – контрольное аудирование (прослушивание и ответ на вопросы по реальному радиотелефонному обмену); III этап - устное собеседование (интервью). Обеспечение трехэтапного тестового испытания обязательно. 2.3. Продолжительность каждого этапа тестирования составляет: I этап – 25 минут; II этап – 14 минут; III этап – 15 минут. 2.4 Устное собеседование (интервью) является решающим заключительным этапом тестового испытания, позволяющим объективно определить уровень владения английским языком по шкале ИКАО. Тематика устного собеседования на английском языке определяется рейтером самостоятельно с учетом рекомендаций ИКАО, требований данных Рекомендаций и Приложения к ним. В помощь рейтеру при проведении интервью разрабатывается контрольный перечень вопросов, который будет постоянно обновляться. Дополнительные вопросы помимо 7 данного перечня определяются рейтерами в ходе интервью с учётом уровня владения английским языком, который демонстрирует тестируемый. Контрольное аудирование проводится на основе реальных радиотелефонных переговоров пилот/диспетчер. 2.5 Руководство филиалов ФГУП «Госкорпорация по ОрВД» и рейтеры должны принимать специальные меры для обеспечения конфиденциальности материалов для тестирования. 3. ТРЕБОВАНИЯ К ЗНАНИЯМ И УМЕНИЯМ ПЕРСОНАЛА ОВД, ИМЕЮЩЕГО ДОПУСК К ОБСЛУЖИВАНИЮ МЕЖДУНАРОДНЫХ ПОЛЁТОВ НА АНГЛИЙСКОМ ЯЗЫКЕ 3.1 Требования к языковой компетенции в Добавлении к Приложению 1 ИКАО устанавливают минимальный уровень языковых умений. Кандидат на подтверждение «рабочего» уровня должен продемонстрировать умение: 1) Эффективно общаться в ситуациях исключительно голосовых (телефон/ радиотелефон) и при непосредственном общении. 2) Точно и ясно общаться по общим, конкретным и связанным с работой темам. 3) Пользоваться соответствующими коммуникативными стратегиями обмена сообщениями, распознавать и решать недоразумения (например, проверять, подтверждать или выяснять информацию) в общем и связанном с работой контексте. 4) Успешно и относительно просто решать лингвистические проблемы, возникающие из-за усложнения или неожиданного поворота событий, происходящих в контексте обычной рабочей ситуации или коммуникативной задачи, с которой он был ранее знаком. 5) Использовать диалект или акцент, понятный международному сообществу. 4. ПОРЯДОК И ТЕСТИРОВАНИЯ УСЛОВИЯ ПРОВЕДЕНИЯ ПРОЦЕДУРЫ 4.1 Для проведения тестирования в филиалах и центрах ОВД ФГУП «Госкорпорация по ОрВД» должно быть выделено отдельное помещение и 2 магнитофона (один - для записи процедуры тестирования, второй – для воспроизведения материалов по аудированию). 4.2 Присутствие посторонних лиц, не проходящих тестового испытания, не допускается. 4.3 Вся процедура тестирования должна быть записана на аудиокассету и храниться до проведения следующей процедуры тестирования (каждый тестируемый записывается на отдельную кассету). 8 4.4 До 2008 года диспетчеры УВД, имеющие допуск к ведению радиосвязи на английском языке, тестируются рейтерами в конце каждого года начиная с декабря 2005 г. согласно Плану поэтапного повышения уровня знаний английского языка диспетчерами УВД ФГУП «Госкорпорация по ОрВД» (Приложение № 2 к Приказу № 23 от 10.02. 2005 г.). После 2008 года диспетчеры УВД тестируются в соответствии со сроками, рекомендуемыми в Приложении 1 ИКАО (имеющие четвертый «рабочий» уровень - каждые 3 года, пятый уровень – каждые 6 лет, шестой уровень – освобождаются от тестирования). 4.5 До окончания подготовки рейтеров их функции возлагаются на преподавателей английского языка и диспетчеров –инструкторов центров ОВД. 4.6 Согласно требованиям ИКАО тест должен соответствовать следующим условиям: а) проверять языковые навыки говорения и аудирования; б) основываться на рейтинговой шкале ИКАО и описании уровней в соответствии с данной шкалой; в) определять уровень владения английским языком в контексте соответствующем авиации; г) тестировать навыки использования английского языка в более широком контексте, чем просто фразеология ИКАО. 4.7 В тестовом испытании участвуют два тестируемых. Тестирование группы свыше двух специалистов УВД не допускается. 4.8 Перед началом тестирования рейтеры должны напомнить порядок проведения процедуры тестирования и сообщить, когда будут известны результаты тестирования. 4.9 Продолжительность процедуры тестирования составляет 54 минуты без перерыва. 4.10 В ходе процедуры тестирования тестируемым разрешается делать необходимые заметки, относящиеся к выполнению задания. 4.11 Обращение тестируемых к какой-либо дополнительной литературе (учебным пособиям, справочным материалам, словарям, конспектам) запрещается. 4.12 Результаты тестирования заносятся в «Бланк контроля языковой компетентности специалиста ОВД» при этом обязательно проставляется дата прохождения тестирования. Заполненные бланки хранятся в личных делах специалистов УВД. 4.13 С результатами тестового испытания тестируемый ознакамливается под роспись. 4.14 Допуск к контрольному перечню вопросов в электронном виде и на бумажных носителях имеют только рейтеры. 4.15 Размножение тестовых заданий с целью их распространения или предварительного ознакомления персоналом ОВД запрещается. 9 5. КРИТЕРИИ ОЦЕНКИ УРОВНЯ ВЛАДЕНИЯ ЯЗЫКОМ И УСЛОВИЯ АПЕЛЛЯЦИИ АНГЛИЙСКИМ 5.1 Оценка языковой компетенции специалиста УВД проводится квалифицированными рейтерами ФГУП «Госкорпорация по ОрВД» согласно рейтинговой шкале ИКАО. 5.2 Рейтеры отдельно оценивают каждый компонент шкалы ИКАО. Согласно требованиям ИКАО итоговая оценка уровня выставляется по низшей полученной оценке. Рейтеры должны предоставить тестируемому точную информацию относительно уровня и подробно объяснить, на что тестируемый должен направить усилия, чтобы улучшить результаты. Данные рекомендации вносятся в «Бланк контроля языковой компетентности специалиста ОВД». По достижении специалистом «рабочего» уровня владения английским языком по каждому из разделов шкалы ИКАО ему выдается Удостоверение, что он владеет английским языком на уровне, соответствующем требованиям ИКАО. 5.3 Согласно Приказу от 10.02.2005 № 23 персонал УВД к концу 2005 г. должен демонстрировать второй («элементарный») уровень по шкале ИКАО, к концу 2006 г. – третий («предварительный») уровень и к концу 2007 г. – четвертый («рабочий») уровень. 5.4 Специалисты, которые не продемонстрируют требуемый «рабочий» уровень в 2007 г., должны пройти повторно процедуру тестирования, но не ранее чем через 2 месяца. Всего возможно прохождение трех повторных процедур тестирования. При отрицательном результате специалист не допускается к обслуживанию международных полетов на английском языке. 5.5 При несогласии тестируемого с полученной оценкой, аудиозапись прослушивают два других рейтера. Если мнения рейтеров не совпадают, тестируемый имеет право обратится в комиссию по тестированию при ФГУП «Госкорпорация по ОрВД». В этом случае копия аудиозаписи процедуры тестирования и копия Бланка контроля языковой компетентности специалиста ОВД высылается в адрес отдела подготовки кадров ФГУП «Госкорпорация по ОрВД». Начальник отдела подготовки кадров Исп. Машихина В.Н. т. 155-64-75 Ю.А.Ерзакович