Мониторинг качества образования и ЕГЭ

В последнее время появились разные направления использования результатов ЕГЭ на различных уровнях. На федеральном уровне специалисты начинают сравнивать результаты ЕГЭ по годам и отдельным регионам. Сравнивая результаты по годам, выясняют, почему изменилось распределение отметок; чем определяется количество выпускников, которые получили 100 баллов в разные годы. На региональном уровне результаты ЕГЭ начинают использовать для сравнения результатов по образовательным учреждениям и их аттестации. В школах результаты ЕГЭ начинают использовать для оценки работы учителя.

В связи с этим вопрос "Можно ли использовать результаты ЕГЭ для мониторинга качества образования?" становится ключевым.

Рассмотрим, какое место занимает ЕГЭ в системе образования и некоторых аспектах мониторинговых исследований. Для этого рассмотрим модель системы образования, используемую в международных мониторинговых исследованиях качества образования.

Система образования - это сложная система; она состоит из множества разных объектов с различными связями, скрытыми и явными. Её можно представить на упрощённой модели, которая на протяжении 30 лет используется во многих международных мониторинговых исследованиях. В этой системе есть различные уровни: сама система (федеральная и региональная), школа или класс, ученик. Качество образования зависит от многих факторов, например, от условий обучения в школе и в классе, от организации учебного процесса.

Уровни содержания образования можно представить следующим образом. Планируемый уровень образования разрабатывается на федеральном или региональном уровне; он включает цели образования, содержание образования и требования к уровню подготовки учащихся, отражённые в стандартах. Это ожидаемый обществом результат образования.

Следующий уровень - это реализуемый уровень образования, который, безусловно, определяется верхним планируемым уровнем, но зависит от многих факторов уже местного уровня, от самой школы, от её окружения, от того, какие дети учатся в школе, насколько профессионален коллектив, и от многих других факторов, включая, конечно, и учебники. Понятно, что этот уровень ниже планируемого. И последний - достигнутый уровень образования - это тот уровень, который учащиеся могут продемонстрировать в процессе оценки образовательных достижений, например, на едином госэкзамене. Понятно, что достигнутый уровень значительно отличается от планируемого и реализуемого. При анализе результатов ЕГЭ отмечается значительное расхождение в суждениях экспертов по поводу того, как должны выполняться те или иные задания по сравнению с реально полученными результатами, в среднем на 10-15%, а по некоторым заданиям до 40%. Это факт известный. Он говорит о том, что планируемый и достигнутый уровни всегда различаются, но величина расхождения зависит от информированности профессионального сообщества о реальных результатах образования в стране. При отсутствии необходимой информации в обществе создаётся искажённое представление об уровне образования, которое значительно отличается от реального.

Понимание целей и задач мониторинговых исследований по оценке качества образования помогает выявить вклад ЕГЭ в информационное пространство, создаваемое системой оценки качества образования. Первая цель мониторинговых исследований по оценке качества образования - описание системы образования по выделенным параметрам в соответствии с определёнными критериями, которые задаются для описания данной системы. Далее ставятся цели установить взаимосвязи между отдельными объектами (их показателями) в системе, исследования модели взаимодействия объектов (показателей) и сравнение образовательных систем в течение определённого времени на различных уровнях (региональном, федеральном и международном).

Перейдём к мониторингу образовательных достижений. Также как и в мониторинге качества образования, выделим три основные задачи мониторинга образовательных достижений: получение информации о состоянии образовательных достижений учащихся, выявление тенденций изменения состояния образовательных достижений и выявление факторов, оказывающих влияние на состояние этих образовательных достижений. Образовательные достижения в современном понимании включают: предметные знания и умения;

применение предметных знаний и умений на практике (в различных ситуациях реальной жизни, не только в контексте учебной дисциплины);

междисциплинарные умения;

коммуникативные умения (умения ясно выражать свои мысли устно или письменно, слушать и понимать других, понимать и анализировать прочитанный текст);

умения работать с информацией, представленной в различном виде (таблицы, графики и др.);

овладение информационными технологиями (умениями работать с информацией с помощью компьютера);

умения сотрудничать и работать в группах;

умения учиться и самосовершенствоваться;

умения решать проблемы.

Как известно, ЕГЭ оценивает только часть образовательных достижений - предметные знания и умения. На экзамене проверяется именно то, чему учат в школе, и именно в том учебном контексте, который задаётся школой. К сожалению, результаты международных сравнительных исследований качества образования, включая и исследование PISA, показывают, что наши школьники уже почти 10 лет демонстрируют достаточно низкие результаты в применении знаний в различных ситуациях, приближённых к жизни.

Что касается междисциплинарных умений, то вынуждены отметить, что ни один учебный предмет, по которому проводится ЕГЭ, не берёт на себя выполнение этой серьёзной и важной задачи. Вряд ли ситуация с ЕГЭ изменится в ближайшее время. Однако в настоящее время по заказу Министерства образования и науки разрабатывается инструментарий для отбора учащихся 9-го класса в профильные классы, который, наряду с предметными знаниями и умениями, будет оценивать междисциплинарные и общеучебные умения.

Надо сказать, что во многих странах мира стали разрабатывать тесты на оценку умений решать проблемы. Причём проблемы даются из различных ситуаций: например, нужно принять решение по поводу покупки машины или спроектировать библиотечную систему в школе, т.е. применить те умения и знания, которые приобретены в школе. При выполнении задания нужно понять проблему; соотнести эту проблему с теми предметами, которые изучались в школе, например, математизировать проблему или увидеть, что её можно решить с помощью физических законов или использовать знания по биологии; и, наконец, решить эту проблему и при необходимости обосновать способ решения.

Нам удалось реализовать комплексные подходы к оценке образовательных достижений в мониторинге образовательных достижений, который вёлся в рамках эксперимента по модернизации структуры содержания образования в 10-11-х классах экспериментальных школ (№№ 50, 7 г. Махачкалы). Был оценен уровень общеобразовательной подготовки учащихся 10-11-х классов на базовом, повышенном и высоком уровнях, выявлен уровень сформированности интереса учащихся к различным учебным предметам, отношение к полученному образованию, самооценка сформированности познавательных умений, ценностные ориентации, профессиональное самоопределение.

Может ли единый экзамен дать такой спектр показателей? Безусловно, нет, и не надо перед ним ставить все эти задачи.

Важнейшим этапом всех мониторинговых исследований становится слежение за системой, выявление изменений и установление тенденций в этих изменениях. Для этого необходимо иметь одинаковый инструментарий, при использовании которого можно было бы установить эти изменения. Те, кто занимаются мониторингом, прекрасно знают основное требование: не менять инструментарий, если ставится задача оценить изменения или тенденции в изменениях системы. В случае ЕГЭ это требование полностью невыполнимо: ЕГЭ проводится для оценки уровня подготовки учащихся, а результаты этой оценки используются при итоговой аттестации и отборе в вуз. Естественно, в этих условиях необходимо менять инструментарий из года в год для получения более объективных результатов.

Кроме того, за ограниченное время на экзамене нельзя проверить освоение всех или большинства элементов содержания образования. Но время увеличивать нельзя, оно определяется различными факторами, связанными с возможностью обеспечить эффективную работу экзаменуемых. Поэтому в рамках ЕГЭ даже одного года почти каждая предметная комиссия создаёт несколько планов тестов, которые немного отличаются друг от друга. Как известно, в спецификации, которая вывешена в Интернете, даётся обобщённый план работы и указываются обобщённые позиции кодификатора по темам для каждого задания. Реальные же контрольные измерительные материалы несколько отличаются по вариантам. По годам отличие более значимое. Предметные комиссии так планируют разработку КИМ, чтобы за определённое время, например, за 2-3 года, все возможные для проверки элементы содержания образования по данному предмету были включены в экзаменационные работы. Таким образом, экзаменуемым выдаются отличающиеся варианты, и это, безусловно, ограничивает возможности использования ЕГЭ для мониторинга качества образования.

Как можно использовать результаты ЕГЭ? Единый госэкзамен позволяет:

получить обобщённую информацию об уровне и качестве общеобразовательной подготовки выпускников средней школы;

оценить степень овладения выпускниками средней школы

проверяемым на экзамене содержанием учебных предметов, отражённым в обязательном минимуме содержания и требованиях к уровню подготовки выпускников;

получить информацию для оценки содержания нового варианта образовательных стандартов, реалистичности требований к уровню под"" готовки выпускников средней школы и возможности измерить их достижения;

определить направления совершенствования образовательного процесса и учебно-методического обеспечения учебных предметов;

оценить качество контрольных измерительных материалов и наметить пути их совершенствования.

Основной вывод - ответ на ключевой вопрос: при определённых условиях ЕГЭ может стать частью системы мониторинга качества образования, т.к. для управления качеством образования необходимо иметь информацию о результатах обучения.

При каких условиях ЕГЭ может быть частью мониторинга качества образования?

Среди основных требований к ЕГЭ можно выделить: - сравнимость результатов ЕГЭ по годам; - содержательную интерпретацию результатов; - наличие факторов, позволяющих объяснять полученные результаты; - сопоставимость системы ЕГЭ с национальными и международными исследованиями качества образования.

Один из недостатков ЕГЭ в его настоящем виде на этапе эксперимента - невозможность сравнивать результаты по годам. Баллы, проставленные в сертификат одного года, например, 80 баллов, не эквивалентны 80 баллам другого года. И граница в 70 баллов, которая разделяет учащихся, получивших "4" и "5" в разные годы, не может однозначно интерпретироваться по годам.

Как решить эту проблему? Многие страны, которые вводят стандартизированную систему оценивания, используемую для слежения за результатами обучения, планируют шкалу изначально и специально задают такую схему разработки своих экзаменационных работ, которая позволяет связать задания по годам. Это означает использование ротационной схемы создания контрольных измерительных материалов и единого банка откалиброванных заданий. Задания в каждом банке связаны между собой. Для связи всех заданий из трёх банков необходима специальная обработка большого массива результатов всех лет проведения ЕГЭ по единой модели теории моделирования и параметризации педагогических тестов. Все задания должны быть обработаны в единой системе и трудности заданий всех банков должны быть рассчитаны по одной шкале. На основании откалиброванных заданий и будут определяться результаты ЕГЭ, уже сравнимые по годам. Ключевым моментом в данном направлении является выбор и обоснование модели для калибровки. Таким образом, требования, связанные со сравнимостью результатов ЕГЭ по годам, включают:

создание единого банка откалиброванных заданий;

разработку ротационных схем создания КИМ;

введение единой шкалы.

Следующее требование - содержательная интерпретация результатов. В настоящее время по результатам ЕГЭ не даётся содержательной интерпретации ни подготовки отдельного экзаменуемого, ни подготовки всей их совокупности. В сертификат выставляются только количественные показатели, число баллов, полученных экзаменуемым по отдельным предметам. По результатам ЕГЭ на федеральном и региональном уровнях анализируются данные по отдельным показателям, например, анализируется процент учащихся, выполнивших то или иное задание; процент верно выполненных заданий из той или иной темы и т.п. Но характеристики подготовки ученика, в которой содержательно описывается, что он освоил, а что нет, к сожалению, не даётся. Это связано с отсутствием стандарта, отсутствием согласованного понимания, что такое базовый, повышенный и высокий уровень подготовки, и другими причинами. Для содержательной интерпретации результатов необходимо:

выделять отдельные уровни в подготовке учащихся (например, базовый, повышенный и высокий);

содержательное описание различных уровней достижения. Существует два подхода к содержательной интерпретации результатов тестирования. Первый подход включает априорное выделение отдельных уровней в подготовке учащихся (например, базового, повышенного и высокого) и их соотнесение с выполненными заданиями. При втором подходе выделяют различные группы экзаменуемых по интегральным показателям, затем определяют группы заданий, успешно выполняемых этими группами учащихся, и описывают подготовку школьников, соотнеся её с успешно выполняемыми ими заданиями. Сейчас в научных исследованиях прорабатывается первый подход. Исходя из экспертного понимания базового, повышенного и высокого уровней подготовки, задания объединяются в определённые группы. Школьники разделяются на две группы (достигшие и не достигшие базового уровня подготовки). Далее группа учащихся, достигших базовой подготовки, разделяется на три подгруппы:

) имеющих только базовую подготовку (не выполняют задания на повышенном и высоком уровнях);

) выполняющих задания и на базовом, и на повышенном уровнях; и 3) ученики, которые выполняют задания и на базовом, и на повышенном, и на высоком уровнях.

Школьники, не достигшие базовой подготовки, делятся на две подгруппы:

) не достигшие базовой подготовки и не выполняющие задания более высокого уровня и 2) не достигшие базовой подготовки, но выполняющие отдельные задания более высокого уровня.

Мы считаем, что если в рамках ЕГЭ этот подход будет реализован, будет получена ценная информация, позволяющая содержательно интерпретировать результаты ЕГЭ. Школы могут использовать эту информацию для коррекции учебного процесса.

Основной проблемой становится установление уровня подготовки. Существуют два подхода к установлению уровня подготовки: компенсирующий и ограничительный. Компенсирующий подход используется в ЕГЭ. Он означает, что экзаменуемый может компенсировать незнание какого-либо элемента содержания (невыполнение задания) хорошим знанием других вопросов. Это приводит к тому, что экзаменуемые, получившие отличные отметки, по ряду элементов могут продемонстрировать неудовлетворительные знания. Например, крайне редкий, но возможный случай, когда выпускник, получивший отметку "5" по русскому языку за выполнение всей экзаменационной работы, может получить 0 баллов за грамотность.

Что в этой ситуации делать? Переходить на ограничительную систему, в которой о достижении определённого уровня говорят только при условии выполнения, например, не менее 60% (70% или 85%) заданий; и в которой делается вывод о достижении учеником более высокого уровня при условии, если он выполнил не менее 60% (70% или 85%) заданий низкого уровня, например, базового, и не менее 60% (70% или 85%) заданий повышенного уровня?

В Великобритании и во многих других англоговорящих странах используется другой подход, но методологически схожий с ограничительным подходом. Стандарт задаётся в содержательно-деятельностных терминах. Задаются определённые уровни А, В, С, D, которые показывают, на каком уровне, какой объём содержания усвоен. Школьникам присваивается один из уровней, при условии, что они демонстрируют знания, полностью соответствующие одному из этих заданных уровней. Безусловно, второй подход более сложный, но он даёт именно ту содержательную информацию об освоении содержания образования, которая необходима школам для того, чтобы на её основе совершенствовать учебный процесс. К сожалению, количественная информация без содержательной интерпретации не может быть для этого использована.

Возможно, на этом этапе эксперимента компенсаторный подход, который и используется в ЕГЭ, наиболее рационален. Но при этом нельзя гарантировать, что все основные проверяемые знания и умения достигнуты всеми, кто получил удовлетворительную отметку. В этом большая проблема.

Для определения факторов, позволяющих объяснять полученные результаты в полной мере, ЕГЭ не предназначен: ведь для этого необходимы характеристики школьников и их семей, учителей, учебного процесса, характеристики школы. Однако часть необходимой информации собирается в базе данных ЕГЭ.

Сопоставимость системы ЕГЭ с национальными и международными исследованиями качества образования.

Сопоставимость системы ЕГЭ с другими исследованиями означает также использование общих подходов в разработке инструментария, обработке и анализе данных, учёт международных тенденций в разработке инструментария.

Прежде чем принять то или иное решение, нужно очень серьёзно проанализировать ситуацию и имеющийся опыт и только после этого принимать решение.

Если при создании системы ЕГЭ перечисленные требования будут достигнуты, можно ожидать полноценного использования результатов ЕГЭ.

ВЫВОДЫ ПО I ГЛАВЕ:

1. Мониторинг в образовании имеет глубокие исторические корни. Он не является принципиально новым явлением в образовании, но с учетом требований времени вносит качественные коррективы в традиционные управленческие функции, наполняя эти функции содержанием и обеспечивая их взаимосвязь.

. Предпосылками возникновения мониторинга явились: значительный опыт организации сбора статистической информации, систематичности, проведения статистических исследований, попытки указать на основе статистических данных информационную, аналитико-оценочную, контролирующую, прогностическую и корректирующую функции управления образованием по мере его усложнения.

. Среди основных характеристик мониторинга как нового качественного этапа совершенствования управления образованием можно назвать: целенаправленность, длительность и непрерывность изучения того или иного педагогического явления; систематичность и системность его отслеживания исходя из целей образовательной деятельности; способность выявлять динамику изменений изучаемых педагогических явлений.

. Мониторинг имеет полифункциональный характер, проявляющийся в единстве выполняемых им ролей: сбора необходимой и достаточной информации, её анализа и оценки, контроля за реализацией социального заказа на качественное образование, организации стимулирующе-мотивационного влияния на участников учебно-воспитательного процесса, прогноза дальнейшего развития образования и выработки рекомендаций по внесению необходимых корректив.

. Понятие "мониторинг" не тождественно близким по смыслу понятиям: "изучение", "экспертиза", "наблюдение", "контроль", "экспертиза", "информационное обеспечение управления" и др. Отождествление мониторинга со смежными понятиями происходит из-за присутствия в нем отдельных компонентов их содержания.

. Мониторинг - это, с одной стороны, система, а с другой стороны, - процесс, представляющий собой последовательное осуществление сбора сущностной и разносторонней информации о качестве образования, ее обработки, систематизации, глубокого анализа, оценки, интерпретации, прогноза дальнейшего развития и выработки мер по коррекции образовательного процесса и созданных для него условий.