МОНИТОРИНГ КАК ФОРМА АЛЬТЕРНАТИВНОГО КОНТРОЛЯ ПО ИНОСТРАННОМУ ЯЗЫКУ
Aннотация
В настоящей статье рассматривается проблема формирования контрольно-измерительной компетенции личности в рамках концепции когнитивно-коммуникативного контроля в обучении иностранному языку. Реализация данной концепции предполагает отслеживание результатов, полученных в процессе тестирования. Проводимый студентами мониторинг по результатам тестирования нацелен на отслеживание развития собственной коммуникативной компетенции, самонаблюдение над использованием стратегий подготовки, выполнения и последующего анализа тестовых заданий, рефлексию выполняемой учебной и тестовой деятельности с разработкой собственных рекомендаций по ее совершенствованию. Цель данного мониторинга - представить в динамике познавательную деятельность студентов, преобразовать тестирование в учение и создать условия для реализации их личностного потенциала в учении и тестировании. Выводы подтверждены данными многомерного статистического анализа.
Ключевые слова: когнитивно-коммуникативный контроль, контрольно-измерительная компетенция, тестирование по иностранному языку, мониторинг, коммуникативная компетенция, тестовые стратегии, развивающие умения, учебно-тестовый портфель, познавательная деятельность, многомерный статистический анализ
Специфической особенностью современного этапа развития вузовского образования является новый взгляд на социальные роли его участников. Функцией обучаемого становится не только «потребление» интеллектуальной и духовной культуры, но и обогащение ее самим фактом своего творческого развития в разнообразных формах индивидуальной и совместной с преподавателем и коллегами по учебе деятельности [4,5]. В настоящей статье ставится мало исследованная проблема формирования у студентов контрольно-измерительной компетенции, основанной на теории, технике и технологии современных педагогических измерений уровня учебных достижений обучаемых, что и обусловливает потребность в совершенствовании теории и технологии процедур контроля, необходимость повышения эффективности использования результатов контроля путем оперативного реагирования на индивидуальные особенности познавательной деятельности обучающихся [7,8,9].
Наиболее полная реализация контрольно-измерительной компетенции личности возможна, если сформирована способность личности управлять контрольно-измерительной деятельностью, т. е. осуществлять длительный мониторинг [7,8] для измерения своих достижений в учебно-познавательной деятельности при помощи комплекса коммуникативных и когнитивных средств, технологий и инструментов, использующихся при проведении научно-исследовательской деятельности.
Реализация концепции когнитивно-коммуникативного контроля [2,3] в обучении иностранному языку предполагает мониторинг, т.е. отслеживание результатов, полученных в ходе тестирования компонентов коммуникативной компетенции обучающихся, являющейся объектом как традиционного, так и альтернативного тестирования, умений обучающихся пользоваться стратегиями выполнения тестов, а также развивающих умений обучающихся, которые активно формируются в условиях альтернативного языкового тестирования за счет реализации идей гуманистической идеологии и превращения обучения в учение [7,8,9].
Разработанная методика и технология организации альтернативного языкового тестирования на основе когнитивно-коммуникативного подхода была реализована при помощи мониторинга обучающимися собственных учебных достижений под руководством ведущего преподавателя. В качестве тестируемых выступили 2 группы студентов (30 человек) 2 курса Северо-Западного института управления РАНХиГС при Президенте РФ, обучающихся по направлению: 41.03.05 «Международные отношения». Мониторинг длился в течение учебного года (с сентября по июнь 2016 года).
Работа над каждым разделом учебно-тестового портфеля предполагала мониторинг формирования коммуникативной компетенции, тестовых стратегий и развивающих умений. Проводимый студентами мониторинг означал отслеживание развития собственной коммуникативной компетенции, самонаблюдение над использованием стратегий подготовки, выполнения и последующего анализа тестовых заданий, рефлексию выполняемой учебной и тестовой деятельности с разработкой собственных рекомендаций по ее совершенствованию [7,8,9].
В ходе и результате проведенной опытной работы сложилась структура мониторинга учебно-тестовой деятельности студентов. Данная структура состояла из следующих элементов: цели, средств, участников (субъектов), объектов и предмета мониторинга.
Целью мониторинга, как мы указали выше, было представить в динамике познавательную деятельность студентов, преобразовать тестирование в учение и создать условия для реализации их личностного потенциала в учении и тестировании. Средством мониторинга был учебно-тестовый портфель, на материале которого студенты анализировали свою учебную деятельность [9]. Активными участниками (субъектами) мониторинга были сами студенты в сотрудничестве со своими одногруппниками и преподавателями. Объекты мониторинга включали формирование коммуникативной компетенции, овладение тестовыми стратегиями и становление развивающих умений. Наконец, предметом мониторинга был рост познавательных возможностей учащихся, выражаемый в их активном учении, самореализация себя как личности в сотрудничестве с учителем и учащимися, а также рост учебно-тестовых показателей. Покажем структуру учебно-тестового мониторинга учащихся (рис. 1):
Рис. 1. Мониторинг учебно-тестовой деятельности
Fig. 1. Monitoring of the training and test activity
В ходе опытной работы была предпринята попытка реализовать представленную структуру. Для получения объективно доказательных результатов мониторинга были использованы методы многомерного статистического анализа, позволяющие характеризовать наблюдаемый объект множеством переменных, такие как кластерный и дискриминантный анализы, критерий Т² Хотеллинга. Также были использованы сравнительные критерии: t - критерий Стьюдента, Манна-Уитни [1,6,10]. В свете этого мы можем говорить о доказательной педагогике, основными постулатами которой являются: каждое решение педагога должно основываться на научных данных; вес каждого факта тем больше, чем строже методика научного исследования, в ходе которого он получен.
Мониторинг развития коммуникативной компетенции представлял собой отслеживание процесса коммуникативного развития, осуществляемое самими студентами. С целью мониторинга развития коммуникативной компетенции в учебно-тестовый портфель в полном объеме включались задания стандартизованного тестирования. Эти задания позволяли проверить уровень всех видов речевой деятельности студентов (говорение, слушание, чтение и письмо) а также их грамотность, словарный запас и владение фразеологией. Результаты выполнения этих заданий (оценки преподавателя) вносились студентами самостоятельно в таблицу с указанием номера и даты тестирования. Материалы таблицы позволяют проследить, какие результаты были получены студентами по соответствующим типам стандартизованных тестовых заданий, и какова была динамика этих показателей: количество хороших и отличных оценок, полученных в сентябре на начальном этапе мониторинга и количество хороших и отличных оценок, полученных этими же учащимися в июне на заключительном этапе мониторинга.
Наглядные и объективные результаты дают данные, полученные в ходе многомерного статистического анализа (t–критерий Стьюдента). Определенные закономерности проявились по временным отрезкам: 1группа – сентябрь; 2группа – октябрь, ноябрь, декабрь; 3 группа– январь, февраль; 4 группа– март, апрель; 5 группа – май, июнь. Объединение данных временных отрезков можно объяснить спецификой учебного процесса: сентябрь – начало учебного года, адаптационный период у студентов после летних каникул; октябрь, ноябрь, декабрь – активизация студентов, интенсивная вовлеченность в учебный процесс; январь, февраль – спад учебной активности объясняется наличием большого количества праздничных дней и зимними каникулами; март, апрель – небольшой рост учебной активности, связанный с началом второго семестра и влиянием весенних месяцев; май, июнь – значительный рост учебной активности, связанный с окончанием семестра и подведением итогов года. Рассмотрим итоговую таблицу, позволяющую проанализировать конечные результаты между группами 1 (начальный этап мониторинга) и 5 (конечный этап мониторинга) (табл. 2).
Табл. 2
Сравнение групп 1 и 5 по тестированию видов речевой деятельности
Table 1
Comparing test results in various kinds of speech activities in groups 1 and 5
В таблицах представлены различия между выше обозначенными группами по всем признакам, связанным с тестовыми заданиями по 4 видам речевой деятельности: аудированию, говорению, чтению, письму. Между группами 1-5, наблюдается существенный рост (существенными считаются различия при р < 0,05) по признакам listening for content (Lfc 2), listening for details (Lfd 3 4), giving information (Sgi 7) в области выполнения тестовых заданий по говорению, argumentative writing (Wra 13) При этом незначительный рост между 1 группой в начале нашего исследования и 5 группой на конечном этапе нашего исследования наблюдается по всем переменным, соответственно, по всем видам речевой деятельности, что позволяет сделать вывод об общей положительной динамике данного мониторинга (р по Т² Хотеллингу меняется от 0,062 до 0,00029).
Включенные в матрицу форматы тестовых заданий оценивались студентами после выполнения ими тестовых заданий и позволяли организовать мониторинг развития тестовой компетенции студентов в виде овладения тестовыми стратегиями. Владение форматами тестирования оценивалось студентами самостоятельно или вместе с преподавателем
Освоение различных тестовых форматов – процесс, растянутый во временном пространстве, в течение одного учебного года сдвиг в положительную сторону невелик, но он присутствует. Между начальной точкой и конечным результатом есть множество промежуточных моментов, наглядно показывающих сложность процесса овладения тестовыми форматами. В качестве примера рассмотрим линейное вычерчивание, представляющие различные тестовые форматы по месяцам мониторинга (рис. 3).
Рис. 3 Процесс формирования результата за период мониторинга (сентябрь – июнь)
Fig. 3. The process of result development during the period of monitoring (September – June)
Для промежуточного этапа характерны ухудшения, резкие улучшения, зависание на одном уровне, но конечный результат оправдывает наши ожидания и дает положительную динамику по всем предложенным студентам 24 тестовым форматам.
Эффективность использования тестовых стратегий в ходе нашего мониторинга можно представить графически следующим образом (рис.4)
Рис. 4. Начальный и конечный результаты (сентябрь – июнь) по использованию тестовых стратегий
Fig. 4. Initial and final results (September – June) of using test strategies
Наблюдается четкая линейная зависимость в сторону роста показателей по использованию всех тестовых стратегий до, во время и после тестирования между начальным и конечным этапами мониторинга. Длительность нашего мониторинга (10 месяцев) позволила учащимся узнать ранее неизвестные и неиспользуемые ими тестовые стратегии и активно применять их для альтернативного контроля собственных знаний.
В ходе мониторинга студентами своей коммуникативной компетенции, качество их учения интерпретировалось в соответствии с имеющимися у них опытом учебно-тестовой деятельности, реальными познавательными возможностями и потенциалом роста знаний. Их тестовые стратегии сопоставлялись с характерными познавательными стилями и тестовыми стратегиями. Развивающая компетенция рассматривалась, как объективно наблюдаемая готовность студентов анализировать свою познавательную деятельность, преодолевать возникающие затруднения и обеспечивать рост своих учебных показателей по результатам языкового тестирования.
Обратившись к кластерному анализу по всем вышеперечисленным переменным, оценивающим развивающие умения учащихся, можно проследить, каким образом студенты группируют эти критерии (рис.5).
Рис. 5. Дерево объединения в кластер по критериям методом Уорда, в качестве меры сходства – евклидова метрика
Fig. 5. The tree of combining into clusters according to criteria with Ward method; the measure of similarity – Euclidian metric
В первую группу кластера входят прогностические и рефлексивные умения, позволяющие предвидеть результат (Pras 1) и проанализировать его (Refas 6); прогностические, рефлексивные и исполнительные умения по управлению успешностью своей деятельности, позволяющие предвидеть, как получить хороший результат (Prman 5), объяснить причины (Exman 15) и спрогнозировать следующий, более лучший результат (Refman 10); прогностические, рефлексивные и исполнительные умения следовать определенным стандартам, предъявляемым к выполняемым тестовым заданиям (Prcontr 3, Refcontr 8, Excontr 13). Вторая группа кластера объединяет прогностические, рефлексивные и исполнительные умения осмысливать полученный результат (Prev 2, Refev 8, Exev 12) – предвидеть причины получения данного результата, проанализировать их, осмыслить, как устранить неудачи для улучшения своего результата. В третью группу кластера входят прогностические, рефлексивные и исполнительские умения по отслеживанию изменений в сторону улучшения своего результата (Prmon 4, Exmon 14, Refmon 9). Только одно умение осталось обособленным, не вошло ни в один кластер – умение определить, насколько можно улучшить свой результат (Exas 11). Логическая цепочка выглядит следующим образом: сначала студенты думают о том, что конкретно они могут иметь и имеют, затем почему они это могут иметь и имеют на уровне объяснения и на уровне осмысления, как это изменить. Вопрос насколько это можно изменить представляется для них трудным, так как это требует анализа по всем выше приведенным позициям и полного заключительного обобщения.
Экспериментальные данные, полученные в ходе опытного обучения, показывают, что когнитивно-коммуникативный контроль в обучении иностранному языку в форме языкового тестирования как проверка достижений студентов в овладении иностранным языком в ходе длительного мониторинга учебной и тестовой деятельности с помощью учебно-тестового портфеля оказался весьма эффективным для превращения тестирования в учение, повышения учебных показателей и самореализации познавательных возможностей личности студентов [11]. Мониторинг контрольно-измерительной деятельности студентов эффективно осуществлялся с помощью учебно-тестового портфеля. В ходе мониторинга отслеживалось развитие коммуникативной компетенции студентов, формирования у них тестовых стратегий, а также общеучебных умений развивающего характера. Объективность полученных результатов подтверждается данными многомерного статистического анализа.
Список литературы