Апробация и экспертиза образовательных электронных изданий и ресурсов

Образовательные электронные издания и ресурсы подлежат апробации посредством их реального использования в учебном процессе, демонстрации и обсуждения основных качественных характеристик разработанных средств информатизации образования на конференциях, семинарах, выставках, презентациях и других общественных мероприятиях. По результатам комплексной апробации формируется система корректив, подлежащих к учету в ходе совершенствования созданных средств информатизации.

Процесс апробации и последующего совершенствования образовательных электронных изданий и ресурсов носит итеративный циклический характер и должен продолжаться до полного достижения средством информатизации соответствия требованиям качества.

В случае создания профессиональных ОЭИ апробация образовательных электронных изданий и ресурсов начинается на предприятии, создавшем данное средство информатизации или его компоненты. В этом случае созданное средство (альфа-версия) проходит тестирование разработчиками (автором и программистом) и несколькими пользователями с целью выявления ошибок в разработке компьютерной программы или системе навигации но ее содержательному наполнению. Автор ОЭИ или его компонент особое внимание при этом обращает на реализацию педагогического сценария. В процессе тестирования автор ставит перед собой задачу моделирования различных образовательных траекторий учащихся и их опытной реализации. Таким образом, выявляются недостатки образовательных электронных изданий и ресурсов, источником которых может стать любой пройденный этап работы, выявляются проблемы создания педагогического сценария и программного кода, несоответствия желаемым характеристикам и принципам. Таким образом, результаты первого тестирования помогают устранить ошибки и усовершенствовать ОЭИ.

Второй этап тестирования (бета-тестирование) образовательного электронного издания или ресурса осуществляется группой реальных пользователей, которые в результате должны предоставить детальное описание аппаратной и программной конфигурации, при которой произошел сбой, основных проявлений ошибки, а также составить общие замечания и рекомендации, в том числе о степени соответствия данного средства информатизации другим средствам, применяемым в образовательной среде. Апробация электронного издания или ресурса в учебном процессе может являться частью бета-тестирования.

Для проведения апробации образовательных электронных изданий и ресурсов в учебном процессе формируют экспериментальную группу обучаемых. Группа должна состоять из обучаемых с разной успеваемостью (отличников, успевающих на "хорошо" и "отлично", успевающих на "хорошо" и "удовлетворительно"). Это условие может быть нарушено в случае, когда апробацию проходит средство, предназначенное для информатизации обучения лиц с ограниченными возможностями жизнедеятельности.

В зависимости от специфики образовательных электронных изданий и ресурсов для более точной оценки в апробации может принимать участие несколько экспериментальных групп.

Перед непосредственным использованием ОЭИ в учебном процессе следует провести подготовку обучающихся - ознакомить их с темой учебного предмета, в преподавании которого используется издание или ресурс, провести необходимый инструктаж, ознакомить с раздаточным материалом. Затем проводится учебное занятие с использованием образовательного электронного издания или ресурса в строгом соответствии с методическими указаниями и рекомендациями, сопровождающими конкретное средство информатизации.

В процессе работы обучаемых с изданием или ресурсом прослеживается ход и эффективность усвоения учебного материала, фиксируются вопросы учащихся, сбои в работе, проблемы взаимодействия с другими средствами информатизации образования. После окончания занятия ответы, положительные и отрицательные характеристики средства информатизации уточняются в ходе коллективного обсуждения.

Как правило, апробационные занятия проходят в присутствии педагогов, разработчиков, экспертов и специалистов, занимающихся разработкой данного класса средств информатизации образования. На завершающем этапе апробации эксперты должны проанализировать все вопросы и жалобы обучаемых, которые возникали в процессе их работы с образовательным электронным изданием или ресурсом.

Результаты анализа хода апробации и выявленной специфики функционирования средства информатизации в условиях реального учебного процесса направляются специалистам предприятия-разработчика для принятия мер по совершенствованию электронного издания или ресурса.

Основой системы оценки качества образовательных электронных изданий и ресурсов является технология экспертизы. Описываемая в настоящем пособии универсальная технология экспертизы образовательных электронных изданий и ресурсов базируется на основе описанной ранее системы требований к качеству ОЭИ и инвариантных подходах к организации экспертизы, не зависящих от содержательного направления, технологии создания и методической системы применения экспортируемых средств информатизации.

Экспертиза является частью технологического этапа тестирования законченной версии образовательного электронного издания или ресурса (бета-версии), прошедшей предварительное тестирование специалистами предприятия-разработчика и апробацию в учебном процессе. По результатам независимой экспертизы, внешней по отношению к предприятию-разработчику, создается средство информатизации, готовое к полноценной высоко­эффективной эксплуатации в системе образования (гамма-версия).

Целью проведения независимой компетентной экспертизы является установление соответствия показателей качества средства информатизации образования заранее определенным требованиям международных, государственных и отраслевых стандартов, нормативно-технических документов и др., а также обеспечение качества и эффективности процесса обучения на основе применения данного ОЭИ.

Универсальная единая для всех образовательных электронных изданий и ресурсов система экспертизы качества должна удовлетворять следующим основным требованиям:

• организация работ должна осуществляться на основе системного подхода;

• в качестве экспертов должны привлекаться специалисты разного профиля, в совокупности, обеспечивающие всесторонний анализ ОЭИ;

• труд и опыт экспертов высшей квалификации (ведущих специалистов в своей области) необходимо использовать только для принятия глобальных решений;

• работа по экспертизе образовательных электронных изданий и ресурсов должна быть разделена на основную и подготовительную; подготовительную работу могут осуществлять специалисты более низкой квалификации;

• вследствие возможного изменения и совершенствования ОЭИ, уже прошедшего экспертизу в процессе эксплуатации в системе образования, процедура экспертной оценки качества должна периодически повторяться в полном объеме.

Для рационализации схемы проведения экспертизы образовательных электронных изданий и ресурсов необходимо ее разбиение на этапы. Такое разбиение позволит упростить организацию экспертизы, поскольку на каждом этапе можно задействовать специалистов, необходимых лишь для проведения данного этапа. На определенном этапе экспертизы необходимо задействовать параллельно несколько экспериментальных площадок. При проведении экспертизы общение между специалистами разных экспериментальных площадок нежелательно.

Экспертиза образовательных электронных изданий и ресурсов осуществляется в испытательных лабораториях. Организационно-штатная структура испытательной лаборатории должна включать следующие группы специалистов, взаимодействующих между собой в рамках единой технологической цепочки оценки качества средств информатизации образования:

1.Координирующая группа

2.Экспертный совет

3.Группы специалистов, исследующих образовательные электронные издания и ресурсы на экспериментальных площадках

4.Группы тестирования ОЭИ

Координирующая группа должна осуществлять планирование, организацию проведения экспертизы, а также заниматься сбором результатов экспертизы и их оформлением.

Экспертный совет должен состоять из экспертов высшей квалификации и заниматься отбором из представленных ОЭИ издания и ресурсы, имеющие шанс пройти экспертизу, выбраковкой образовательных электронных изданий и ресурсов с заведомо неудовлетворительным качеством, для которых дальнейшее тестирование нецелесообразно, а также выносить окончательное решение о качестве ОЭИ на основании данных, получаемых с экспериментальных площадок и от групп тестирования.

На экспериментальных площадках должна проходить детальная проверка на соответствие характеристик образовательных электронных изданий и ресурсов допустимым параметрам-требованиям качества. К такой проверке необходимо привлекать ведущих специшгистов по профилю исследуемого средства, опытных методистов и педагогов. Данный этап экспертизы предусматривает постановку педагогического эксперимента.

Группам тестирования поручается проведение тех проверок, которые нецелесообразно выносить на экспериментальные площадки.

Центральная роль в процедуре экспертизы отводится экспертному совету. На разных этапах в экспертизе принимают участие группа планирования, организационного обеспечения и оформления результатов испытаний, группа подготовки оборудования и контрольных испытаний, установки средства информатизации образования, предварительной проверки его работоспособности, группа тестирования.

Требования к организации комплексной экспертизы предполагают подход, включающий экспертизу технико-технологических, психолого-педагогических и дизайн - эргономических аспектов создания и эксплуатации образовательных электронных изданий и ресурсов. Кроме этого, соответствующей стандартной экспертной проверке должен быть подвергнут персонал, занимающийся разработкой и внедрением данного вида средств информатизации.

Итоговое заключение по качеству средств информатизации образования должно основываться на результатах всех указанных экспертиз.

Технике-технологическая экспертиза. В ходе данного этапа проводится проверка работоспособности ОЭИ на компьютерной и телекоммуникационной технике трех различных конфигураций. Первая конфигурация должна совпадать с заявленными в сопроводительной документации минимальными системными требованиями. Последующие две конфигурации должны быть не ниже первой. Рекомендуется использование компьютерной и телекоммуникационной техники с различными операционными системами, процессорами, объемами памяти, скоростями установления соединений, передачи информации и т.д.

Проверка образовательного электронного издания или ресурса производится специалистами-экспертами. В ходе технико-технологической экспертизы выявляются:

- возможность нормального функционирования средства в требуемых средах, в сетевом режиме, в сочетании с другими изданиями и ресурсами;

- корректность использования современных средств мультимедиа и телекоммуникационных технологий;

- надежность, устойчивость в работоспособности, гетерогенность, устойчивость к дефектам;

- наличие и качество защиты от несанкционированных действий;

- простота, надежность и полнота инсталляции и деинсталляции;

- объем требуемой памяти;

- достаточность технического комплекта, сопровож­дающего средство (наличие необходимых системных программ, шрифтов и пр.);

- дружественность работы инсталлятора (если наличие инсталлятора предусмотрено);

- работоспособность всех заявленных функций и возможностей ОЭИ;

- наличие подсистем диагностики, предупреждений, продолжения работы при восстановлении работоспособности системы;

- корректность функционирования ОЭИ одновременно с другими средствами;

- скорость отклика на запросы пользователей.

Психолого-педагогическая экспертиза. В ходе психолого-педагогической экспертизы проводится позиционирование ОЭИ и его компонент по типу образовательного электронного издания или ресурса, уровню образования, типу и форме образовательного процесса, осуществляется оценка содержания и сценария средства информатизации, соответствия дидактическим, методическим и психологическим требованиям, использования специально разработанных педагогических методик применения и методической поддержки.

Проверка образовательных электронных изданий и ресурсов производится распределено специалистами-экспертами на компьютерной технике с конфигурацией не ниже системных требований, заявленных в сопроводительной документации. В ходе проверки выявляются:

- цели и область применения ОЭИ;

- педагогическая целесообразность эксплуатации ОЭИ в рамках планируемой методической системы обучения;

- методическая состоятельность;

- степень соответствия аналогичным средствам информатизации образования.

Кроме того, в процессе экспертизы специалисты должны оценить степень соответствия образовательного электронного издания или ресурса дидактическим и методическим требованиям:

• научности,

• доступности,

• проблемности,

• наглядности,

• сознательности обучения,

• самостоятельности и активизации деятельности,

• систематичности и последовательности обучения,

• прочности усвоения знаний,

• единства образовательных, развивающих и воспитательных функций,

• адаптивности,

• интерактивности,

• реализации возможностей компьютерной визуализации учебной информации,

• развития интеллектуального потенциала обучаемого,

• системности и структурно-функциональной связанности представления учебного материала, полноты (целостности) и непрерывности дидактического цикла обучения,

• учет своеобразия и особенностей конкретной учебной дисциплины,

• учет специфики соответствующей науки,

• отражения системы научных понятий учебной дисциплины,

• предоставления возможности контролируемых тренировочных действий.

В ходе психолого-педагогической экспертизы проводится оценка степени раскрытия и полноты основных свойств образовательных электронных изданий и ресурсов, способствующих достижению педагогического эффекта, повышению результативности образования, оценка соответствия компонентов рассматриваемых образовательных электронных изданий и ресурсов психологическим принципам и требованиям (возрастным особенностям и интересам обучаемого, использования развивающих компонент в обучении, способов активизации познавательной активности), оценка соответствия принципам вариативности образования.

Кроме соответствия уже отмеченным требованиям в ходе проверки выявляются:

- адекватность психолого-педагогическим требованиям представления учебного материала в образовательных электронных изданиях и ресурсах в соответствии вербально- логическому, сенсорно-перцептивному и представленческому уровням когнитивного процесса;

- единообразность подходов к изложению учебного материала с ориентацией на тезаурус и лингвистические особенности образовательной области, конкретного возрастного контингента, специфики: подготовки обучаемых, направленности ОЭИ на развитие как образного, так и логического мышления обучаемых;

- возможный возраст учащихся, на обучение которых рассчитано оцениваемое образовательное электронное издание или ресурс;

- соответствие ОЭИ психолого-педагогическому потенциалу обучаемых;

- возможность вариативности обучения.

Дизайн-эргономическая экспертиза. В ходе данного этапа экспертной деятельности проводится оценка качества интерфейсных компонент образовательных электронных изданий и ресурсов, их соответствия единым эргономическим, эстетическим, и здоровье сберегающим требованиям.

Как и на предыдущих этапах, проверку ОЭИ и его отдельных компонент целесообразно проводить на экспериментальных площадках. Это связано с необходимостью проведения большого числа измерений, проверкой результатов измерений, испытанием средства в условиях реального учебного процесса. Поскольку эргономические характеристики качества не затрагивают содержания учебного материала и специфику методики преподавания предмета, то привлечение дополнительных специалистов к экспертизе, как правило, не требуется.

В ходе проверки выявляются:

- временные режимы работы образовательного электронного издания или ресурса, соответствие его компонентов здоровьесберегающим требованиям;

- характеристики используемого подхода к визуализации информации на экране монитора, цветовые характеристики, характеристики пространственного размещения информации, степень соответствия использованных подходов к визуализации подходам, общепринятым для данного класса средств информатизации;

- характеристики организации буквенно-цифровой символики и знаков на экране монитора;

- характеристики организации диалога (доступность для обучаемых, время реакции на ответ или управляющее воздействие, число вариантов и правдоподобность ответов в вопросах типа "меню", наличие инструкции или подсказки);

- характеристики звукового сопровождения (комфортность восприятия звуковой информации, удобство настройки звуковых характеристик, степень засоренности и оптимальность темпа звукового сопровождения);

- степень эстетичности компонент средства информатизации образования.

Кроме того, в процессе дизайн-эргономической экспертизы специалисты должны оценить следующие основные параметры образовательных электронных изданий и ресурсов:

• целесообразность, корректность и удобство использования клавиатуры, манипулятора "мышь", микрофона, сканера, принтера и других устройств;

• наличие и качество видеофрагментов, анимации, статических графических и фото изображений, шрифтового и рисованного текста;

• дружественность интерфейса (удобство использования клавиатуры, подсказок, надписей, системы справки и пр.);

• наличие однообразной, но контекстно-зависимой корректирующей реакции на смысловые ошибки;

• удобство и постоянство принципов навигации по содержательному наполнению ОЭИ;

• возможность и качество имитационного моделирования;

• наличие, эффективность и однообразность работы поисковой и справочной подсистем.