Москва «Педагогика» 1978 4 страница

При составлении каждой методики устанавливались критерии количественной оценки решения входящих в нее задач по результату и способы выведения общей количественной оценки. Мы старались добиться максимальной объективности и простоты системы оценок, хотя в ряде случаев это было связано с известными трудностями, так как требовалось оценивать не только полную, но и частичную успешность решения.

К каждой методике составлялась инструкция, в которой мы подробно оговаривали порядок и все условия ее применения (способы предъявления задач, инструкцию, которая дается ребенку, меру возможной помощи, форму протокола и т. д.).

После разработки методик и инструкций следовала первоначальная экспериментальная проверка методик на сравнительно небольших группах детей (20—30 человек) соответствующего возраста. В ходе такой проверки устанавливались понимание детьми задания, их отношение к его выполнению, степень успешности решения предложенных задач, характер возникающих у детей затруднений, степень утомляемости и др. Данные, полученные

47

при проверке, подвергались первоначальной статистической обработке (подсчетам M, σ и R), позволявшей дать ориентировочную оценку некоторых параметров методики (ее трудности, дискриминабельности и надежности). В случае надобности в методику вносились те или иные изменения, после чего проверка повторялась. Это могло происходить неоднократно, вплоть до получения удовлетворительных результатов по всем параметрам.

Полученные таким путем варианты диагностических методик подвергались массовой проверке (на значительном количестве детей), преследующей цель накопления материала, достаточного для обоснования статистической оценки качества каждой методики, а в отдельных случаях — также и предварительной стандартизации всей системы методик¹.

При составлении стандартизационных групп мы исходили из иных принципов, чем те, которые приняты в зарубежной науке. Эти принципы определялись особым подходам к пониманию возрастной нормы, вытекающим из общего понимания закономерностей психического развития ребенка и задач диагностики, изложенного в главе I.

Основным (если не единственным) фактором умственного развития для зарубежных составителей тестов является возраст. Это далеко не всегда провозглашается теоретически, но чрезвычайно четко проявляется в практике стандартизации и установления норм. Стандартизационные группы подбираются строго по признаку равенства возраста (с колебаниями, не большими чем ± 2 месяца); нормы выводятся для детей каждого полугодия, а часто и для каждой четверти года жизни (4—4,25; 4,5—4,75—5 лет). Если, однако, признать, что умственное развитие определяется не возрастом самим по себе, а условиями жизни в обществе, воспитанием и обучением, подобная фетишизация возрастного фактора теряет всякий смысл. В многочисленных экспериментальных исследованиях советских авторов, посвященных разным сторонам умственного развития ребенка, неоднократно обнаруживалось, что достигнутый уровень лишь в самой

48

общей тенденции связан с возрастом, как таковым (да и то, по-видимому, не прямо, а косвенно — через накопление опыта и изменение условий развития), решающее же значение имеют особенности воспитания и обучения.

Опираясь на эти данные, мы решили в качестве основной единицы для установления норм избрать возрастную группу детского сада, независимо от календарного возраста входящих в нее детей. Поскольку детские сады нашей страны работают по единой государственной программе (с небольшими вариациями для разных союзных республик), именно группа детского сада создает наиболее однородные условия воспитания детей. И это типичные условия, поскольку детскими садами уже сейчас охвачено около половины дошкольников, а в ближайшие годы охват детей дошкольными детскими учреждениями будет неуклонно возрастать. Вместе с тем уровень развития детей, достигаемый в условиях детского сада, может с полным основанием являться, да и реально является, тем уровнем, на который ориентируется семья в отношении детей, не посещающих детские сады. Различного рода руководства и методические материалы для родителей, выпускаемые нашей печатью, исходят именно из программы воспитания в детском саду, приспосабливая ее требования к условиям семьи.

Справедливость выбора возрастной группы детского сада, а не календарного возраста ребенка в качестве исходного пункта для установления норм подтвердилась впоследствии, когда, уже после разработки соответствующих методик, мы провели сравнение уровня умственного развития детей одного и того же календарного возраста, воспитывающихся в разных группах детского сада (средней и старшей), и детей с полугодовой разницей в возрасте, воспитывающихся в одной и той же группе.

Нами было отобрано 48 детей в возрасте от 5 до 5,5 лет, 11 из которых являлись воспитанниками старшей группы, а 37 — воспитанниками средней группы. Обследование этих детей при помощи пяти диагностических методик показало, что по результатам четырех методик имеется различие средних в пользу воспитанников старшей группы, статистически значимое при p≤0,001, и по результатам одной методики — различие, не достигающее 95% уровня значимости (т. е. p≤0,05). Затем результаты тех же 37 детей из средней группы были сопоставлены

49

с результатами 64 детей в возрасте от 4,5 до 5 лет, также воспитывавшимися в средней группе. На этот раз только по данным одной из пяти методик обнаружилось статистически значимое различие в пользу пятилетних детей, по данным двух методик различие было незначительным, по данным еще одной методики его не обнаружилось вовсе, и, наконец, одна методика выявила фактически значимое различие в пользу младших четырехлетних детей. Итак, сравнение показало, что влияние воспитательных условий явно перекрывает влияние возраста в пределах полугода, причем последнее является вообще незначительным.

Эти соображения привели нас к решению формировать стандартизационные группы из детей, воспитывающихся в определенной возрастной группе детского сада. При этом мы сочли допустимым брать только городские детские сады, где воспитательная работы по программе ведется на более высоком уровне, считая, что именно этот уровень воспитательной работы может рассматриваться в качестве достаточного для полноценной реализации программы, и в ближайшие годы к нему подтянутся и сельские детские учреждения¹.

При этом мы учитывали, что дети из сельских дошкольных учреждений и дети из семьи при последующем практическом применении диагностики окажутся в невыгодном положении, так как их оценки будут сопоставляться с несколько завышенной для них нормой. Однако для нас это не выступало в качестве недостатка, поскольку задачей нашей диагностики отнюдь не являлось определение индивидуальных способностей детей «вообще», в отрыве от условий их воспитания.

По материалам, полученным при стандартизации, вычислялись M, σ и R и производился перевод «сырых» очков по каждой методике в нормализованную стандартную шкалу.

Для вычисления коэффициента надежности методики

50

(R) при обработке результатов как экспериментальных, так и массовых проверок применялся, как правило, метод расчета линейной корреляции между оценками, полученными детьми за решение задач, входящих в две половины методики, с последующим внесением соответствующей поправки. В ряде случаев применялось также повторное обследование тех же детей и расчет линейной корреляции между результатами двух проверок.

В качестве нормализованной стандартной шкалы нами применялась шкала с M=10 и σ=3 (D. Wechsler, 1967). Перевод «сырых» очков в эту шкалу производился на основе расчета кумулятивного процента детей, соответствующего каждому пункту исходной шкалы «сырых» баллов, и последующего использования следующей таблицы, выражающей соответствие кумулятивного процента стандартным оценкам на основе свойств нормальной кривой распределения.

Перевод данных, полученных при массовой проверке методик, в эту шкалу не только приводит к возможности сопоставления оценок, полученных детьми по разным методикам, и возможности их суммирования, но также является дополнительным средством проверки дискриминабельности методик: если методика является слишком легкой и не дифференцирует сильных детей, конечный участок стандартной шкалы остается незаполненным (высшая оценка в «сырых» баллах соответствует не 19, а 15—16 стандартным баллам). Слишком трудная методика, не дифференцирующая слабых детей, наоборот, оставляет незаполненным начальный участок стандартной шкалы (наиболее низкая, нулевая оценка в «сырых» очках соответствует не 1, а более высокому

51

стандартному баллу). Возможно и сочетание обоих случаев, свидетельствующее о недостаточном разбросе «сырых» баллов. Наконец, слишком значительное количество детей, получивших одинаковые оценки в «сырых» баллах, и недостаточное количество получивших другие оценки выражается в незаполненности тех или иных промежуточных участков стандартной шкалы.

После перевода данных по отдельным методикам в стандартную шкалу выводилась шкала общих суммарных показателей по всей системе методик, направленных на выявление уровня умственного развития детей, использовавшаяся затем для установления валидности системы и для других целей. Мы, однако, решили не выражать общие показатели в общепринятой шкале IQ, а употребить ту же стандартную шкалу, которая применялась для отдельных методик с M=10 и σ=3. Использовалась обычная процедура суммирования стандартных очков и последующей повторной их нормализации.

При подсчете общих показателей в систему не включалась методика, предназначенная для выявления степени овладения предпосылками учебной деятельности в подготовительной к школе группе детского сада. Данные по этой методике всегда учитывались отдельно, и к ней прилагались несколько иные критерии, чем к остальным методикам. Задание, которое давалось детям в этом случае, было прямо адресовано к определенной группе умений, причем предполагалось, что эти умения необходимы ребенку для перехода к систематическому учению, хотя в настоящее время они формируются не в полной мере и далеко не у всех детей. Такое определение содержания задания не позволяло, в частности, в полной мере применять к методике обычный критерий дискриминабельности, так как получение какой-либо частью детей высшего балла было заведомо возможно и желательно, а это снижало дифференцирующую силу методики, не допуская разграничения наиболее продвинутых дошкольников.

В случаях, если результаты массовой проверки обнаруживали недостатки той или иной методики, остававшиеся скрытыми при экспериментальных проверках в силу незначительности использовавшихся в них выборок (пониженная надежность, дискриминабельность и др.), методика подвергалась дальнейшей переработке, затем

52

снова экспериментальным проверкам и далее поступала в новую массовую проверку, проводившуюся с применением нескольких или всех методик. В результате массовые проверки системы методик производились нами неоднократно в разных вариантах. Соответственно, каждый раз осуществлялась стандартизация, имевшая, однако, предварительный характер. Окончательная стандартизация системы методик для детей всех возрастных групп производилась в октябре 1974 г. и в мае — июне 1975 г. На основе этих стандартизаций были получены нормативные стандартные шкалы для обследования детей в начале и конце учебного года.

В процессе переработки отдельных методик, которая производилась многократно, применялись как содержательный анализ задач, входящих в методику, так и (в случае необходимости) статистическая оценка их трудности и дискриминабельности с использованием расчета соответствующих коэффициентов.

Наиболее пристальное внимание уделялось нами установлению валидности разрабатываемых методик. При содержательном качественном подходе к диагностике проблема валидности приобретает новый смысл. Речь уже идет не только о том, отражает ли система методик в целом общий уровень умственного развития ребенка, но и о том, соответствует ли каждая методика вложенному в нее содержанию, т. е. действительно ли она «схватывает» степень овладения тем видом умственного действия, на выявление которого направлена.

Как уже говорилось выше, при конструировании методик мы пользовались заданиями, которые служили ранее материалом экспериментальных исследований, направленных на изучение соответствующих умственных действий ребенка. Таким образом, уже в самом истоке создания диагностики умственного развития была как бы заложена основа валидности методик, опирающаяся на прочный научный фундамент. Особенно важным моментом здесь являлось то, что в исследованиях, служивших для нас отправной точкой, адекватность заданий соответствующим умственным действиям доказывалась при помощи формирующих экспериментов, демонстрирующих закономерный рост успешности выполнения задания при целенаправленном формировании умственного действия определенного типа.

53

Однако в процессе разработки и экспериментальной проверки методик задания подвергались существенному изменению. В связи с этим неизбежно возникал вопрос, сохранилось ли исходное соответствие методики и того умственного действия, к которому она адресована, выражает ли числовая оценка степень овладения этим действием. Для ответа на этот вопрос мы решили использовать метод, основанный на обсуждавшемся ранее соотношении способа и результата решения ребенком диагностических задач. Поскольку способ решения, т. е. вид ориентировки в условиях задания, которую осуществляет ребенок, в достаточной мере выражает степень овладения соответствующим умственным действием, в качестве критерия валидности методики в указанном выше смысле была принята степень, в которой количественная оценка решения диагностических задач по результату зависит от способа решения. Для применения этого критерия был разработан метод, условно названный качественным анализом методики.

После экспериментальной и массовой проверки методики проводился дополнительный анализ материала с точки зрения применявшихся детьми способов выполнения задания. Количество способов, психологическая характеристика каждого из них и оценка его места по отношению к другим способам определялись на основе анализа и сопоставления всех решений и выделения их основных типов в соответствии с имеющимися теоретическими и экспериментальными данными об уровнях овладения соответствующим видом умственного действия, т. е. в известном смысле повторялась та «проекция» предварительной теоретически-экспериментальной конструкции в диагностическую практику, которая осуществлялась при построении серии задач, но теперь она повторялась как бы «снизу вверх» на реальном материале, полученном при решении этих задач детьми.

Следующий этап работы представлял собой распределение всех испытуемых по группам, соответствующим каждому из выделенных способов (и предположительно — каждому из уровней овладения данным видом умственного действия). Этот этап содержал свои трудности, так как далеко не все дети обнаруживают один и тот же способ при решении всех задач, входящих в серию, а применение более «высокого» способа с рядом

54

ошибок иногда трудно отличить от безошибочного применения более «низкого» способа. Поэтому не только выделение способов, но и разбивка испытуемых на группы в соответствии с уже выделенными способами являлась весьма сложной исследовательской задачей, которая решалась по-разному в зависимости от специфики каждой методики.

После формирования групп испытуемых по способу производилось определение статистически значимой разности средних оценок по результату между этими группами, различающимися по способу. Разность оценивалась по критерию t Стьюдента. В качестве критерия достаточной валидности методики с точки зрения «соответствия количественных результатов качественным» применялось наличие достоверной разницы средних при p≤0,05¹.

Указанный прием установления валидности отдельных методик применялся нами ко всем методикам, направленным на установление уровня умственного развития, но не применялся к методике, направленной на установление степени овладения предпосылками учебной деятельности, поскольку в ней способ и результат выполнения задания практически совпадали.

Наряду с описанным способом проверки валидности путем внутреннего анализа отдельных методик, нами применялись и другие общепринятые методы установления диагностической и прогностической валидности, основанные либо на сравнении результатов применения одних и тех же методик при обследовании детей, воспитывающихся в разных условиях, либо на привлечении тех или иных «внешних» критериев.

Изложение хода и результатов описанных видов работы содержится в последующих главах. Главы III—VIII посвящены разработке и проверке отдельных методик, глава IX — проверке обоснованности всего их комплекса.

55

ГЛАВА III

Разработку методики, направленной на определение степени овладения действием идентификации, мы начали с определения конкретного вида задания, который требовал бы такого действия и вместе с тем допускал возможность выявления разных условий его выполнения. В качестве такого задания мы применили выбор цветового объекта по образцу.

Задание на выбор цвета по образцу давалось детям многими авторами, изучавшими развитие восприятия цвета (В. П. Бражас, 1911; З. М. Истомина, 1960; Ж. И. Шиф, 1962, и др.). В исследовании Л. А. Венгера и И. Д. Венева (1968) выполнение детьми-дошкольниками такого задания было специально изучено с точки зрения зависимости его результатов от особенностей перцептивных действий идентификации, которыми владеет ребенок.

Это исследование показало, что выполнение идентификации при выборе по образцу ни в коей мере не может рассматриваться как результат непосредственного сравнения образца с объектом, но представляет собой поисковую деятельность, заключающуюся в серии сопоставлений фиксированного в представлении ребенка при помощи ранее усвоенных эталонов свойства образца с соответствующими свойствами объектов, предъявленных для выбора. Этот поиск может иметь различную степень планомерности и организованности.

Авторы провели формирующие эксперименты, в которых дети обучались приемам сличения цвета обследуемых объектов с эталонами, и показали, что успешность выбора по образцу в результате такого обучения резко повышается. В указанном исследовании было также отмечено, что эффективность действия идентификации при выполнении задания на выбор по образцу существенно изменяется в зависимости от условий выбора, в частности от цвета образцов и обследуемых объектов (выбор

56

цветовых объектов средней светлоты и максимальной насыщенности осуществляется значительно лучше, чем выбор цветовых объектов малой насыщенности и высокой светлоты).

Дальнейшее изучение выполнения детьми действия идентификации при выполнении задания на выбор цветовых объектов по образцу проводилось в нашем исследовании (Н. Б. Венгер, 1970), посвященном усвоению и использованию дошкольниками системы цветовых эталонов. Применявшийся нами вариант задания состоял в том, что детям предлагалось производить поиск цветового объекта, идентичного образцу, в цветовой матрице из 49 элементов, в которой по вертикали последовательно изменялся цветовой тон (в порядке расположения цветов в спектре), а по горизонтали — светлота и насыщенность¹.

Матрица размещалась на панели прибора, имевшего 49 круглых клавиш диаметром 2,2 см (при расстоянии между соседними клавишами 1 см). Цветовые элементы, сделанные из специальной бумаги, были наклеены в соответствующем порядке на клавиши.

Кроме клавиш на нашем приборе имелась сигнальная лампочка, которая могла быть подсоединена к любой из клавиш и зажигалась при нажиме на нее.

Образцы, предъявлявшиеся детям, представляли цветные кружки такого же размера, как элементы матрицы. Каждый из них был наклеен на квадратный листок светло-серого металла, совпадающего по цвету с панелью.

Поиск заданного элемента состоял в том, что ребенок нажимал на клавишу, цвет которой, по его мнению, совпадал с цветом образца. Если выбор был сделан правильно, зажигалась сигнальная лампочка. В случае ошибки мы побуждали ребенка продолжать поиск до нахождения нужного элемента. Каждая нажатая ребенком клавиша оставалась до конца поиска утопленной, что давало испытуемому возможность видеть пройденный путь, не сопоставлять уже опробованные элементы с образцом.

57

В качестве образцов для поиска применялись следующие 4 цветовых элемента: ж4, з2, г6, о8. При подборе образцов мы сознательно избегали самых легких вариантов, т. е. полноцветных оттенков хорошо знакомого цвета, (например, к8). Давались либо малознакомые цвета (г6, о8), либо слабонасыщенные оттенки знакомого цвета (ж4, з2).

При анализе выполнения детьми задания учитывались количественные и качественные показатели. Количественным показателем являлась суммарная ошибка, вычислявшаяся путем суммирования величин всех ошибок, допущенных ребенком в процессе поиска всех четырех заданных элементов (величина каждой ошибки измерялась количеством градаций, отделявших ошибочно нажатую клавишу от искомой, причем за одну градацию принималось расстояние между соседними клавишами по вертикали или горизонтали). Качественным показателем служила последовательность опробования ребенком элементов в ходе поиска по каждому образцу.

В экспериментах участвовали дети в возрасте от 3 до 7 лет и взрослые испытуемые.

При анализе результатов обнаружилось, что можно выделить 4 основных типа поиска, свойственных детям дошкольного возраста.

К первому типу относится поиск, в котором специфические особенности расположения цветовых элементов в матрице учитываются лишь в самом глобальном виде. Ребенок выделяет (притом далеко не всегда верно) более или менее широкую область, к которой относится заданный элемент. Внутри этой области поиск производится без какого бы то ни было порядка, причем нередко происходит и выход за ее пределы.

Поиск второго типа характеризуется более или менее систематическим перебором элементов. Однако этот перебор происходит без достаточного учета направления, в котором каждый опробованный элемент отличается от образца. Поэтому в процессе поиска ребенок может как систематически приближаться к нужному элементу, так и удаляться от него.

К третьему типу поиска относятся случаи, когда систематический перебор элементов осуществляется только в нужном направлении, иногда с некоторыми отклонениями, которые быстро замечаются и исправляются

58

ребенком. Нередко приближение к нужному элементу осуществляется с двух сторон — поиск строится по типу «вилки».

Наиболее высокий, четвертый тип поиска представляет собой дальнейшее совершенствование третьего. При этом типе поиск включает минимальное количество проб (1—2), приходящихся на элементы, либо соседние с искомыми, либо находящиеся через один от него. Движение осуществляется только в нужную сторону. Поиск по типу «вилки» встречается и здесь, но становится компактным, охватывая только элементы, смежные с искомым.

Сравнение средней величины суммарной ошибки для групп детей, ведущих поиск по каждому типу, показало, что во всех случаях имеется существенное и статистически значимое различие. Таким образом, эффективность выполнения задания оказалась зависящей от качественных особенностей поиска.

При сравнении средней величины суммарной ошибки для детей разных возрастных групп (3, 4, 5, 6 лет) обнаружилось, что она постепенно падает, но это падение достигает статистически значимого уровня только при переходе от 5 к 6 годам.

Что касается взрослых испытуемых, то часть из них вела поиск по третьему, часть — по четвертому типу. Этот поиск ни количественно, ни качественно не отличался от того, который осуществляли лучшие испытуемые шестилетнего возраста.

В дальнейшем в нашем исследовании осуществлялось специальное обучение детей 4—6 лет выполнению перцептивных действий, направленных на соотнесение цветовых объектов с образцом-эталоном. Обучение было включено в содержательную деятельность детей — закрашивание контурных изображений по образцу. При этом дети учились не только использовать цвет, но и преобразовывать его, получая нужные оттенки.

После такого обучения произошло резкое улучшение в выполнении задания на поиск элемента в цветовой матрице. Таким образом, была показана роль целенаправленного формирования действия идентификации в совершенствовании выбора по образцу.

Задание, дававшееся детям в констатирующей части изложенного исследования, было принято нами за основу

59

при построении диагностической методики. Оно требовало выполнения действия идентификации в сравнительно сложных условиях, что давало возможность хорошо дифференцировать детей по степени овладения этим действием (коэффициент вариации — CV — был равен в наших экспериментах для группы четырехлетних детей 60%, для группы пятилетних — 75% и для группы шестилетних — 71%).

При выполнении задания выявились заметные возрастные различия. Кроме того, условия выполнения задания способствовали выявлению качественных особенностей выполняемых детьми действий, что могло служить основой последующего качественного анализа диагностической методики.

Однако в том виде, в каком задание применялось нами в исследовательских целях, оно не было приспособлено для диагностики. Необходимо было добиться краткости обследования ребенка, большей простоты и в применении методики, и в оценке успешности решения задач.

Основная трудность преобразования методики для использования ее в диагностике заключалась в необходимости отказаться от сравнительно сложного прибора с клавишами и вместе с тем сохранить подкрепление выбора нужного элемента. Преодолеть эту трудность удалось, использовав в качестве основы для размещения цветовых элементов распространенную игру «Электровикторина». Эта игра представляет собой панель, разделенную пополам. Каждая половина имеет квадратную форму, на которой расположены с правильными промежутками 25 контактов (5 рядов по 5 контактов). При этом каждый контакт левой половины связан с одним из контактов правой половины, так что при одновременном прикосновении к ним электродов загорается сигнальная лампочка. Пространственное расположение связанных между собой контактов носит случайный характер: они занимают разные места в соответствующих половинах панели.

Игра была переделана нами следующим образом: на левой половине мы расположили цветовую матрицу из 25 упорядоченных элементов (5 рядов — к, ж, з, с, ф — по 5 оттенков — 10/10, 8/8, 6/6, 4/4, 2/2 по «Атласу цветов» Е. Б. Рабкина), на правой половине те же 25 элементов

60

были расположены вперемежку соответственно связям между контактами.

Во время обследования экспериментатор прикасался электродом к тому из элементов правой половины панели, который в данном случае являлся образцом, а ребенок осуществлял поиск в левой половине панели, прикасаясь вторым электродом к опробуемым элементам. При правильном выборе загоралась лампочка.

Из приведенного описания видно, что задание было существенно упрощено по сравнению с вариантом, предъявлявшимся детям в нашем исследовании: матрица была уменьшена (25 элементов вместо 49), а различия между цветовыми тонами и оттенками увеличены (удалены оранжевый и голубой цвета, которые вызывали у детей наибольшие затруднения; градации между соседними оттенками удвоены). Таким путем мы стремились избежать в выполнении задания ошибок, связанных не с овладением действием идентификации, а с недостаточно низким порогом различения цветовых тонов и оттенков. Кроме того, в методику было введено ограничение длительности поиска каждого элемента: ребенку разрешалось сделать не более 4 проб, а затем, независимо от результатов, экспериментатор переходил к предъявлению следующего образца. Вместе с тем количество предъявляемых образцов мы увеличили с 4 до 6, так как иначе нельзя было бы получить нужного накопления очков¹.

Был введен также новый тип показателей успешности выполнения задания. Подсчет суммарной ошибки, применявшийся нами в констатирующих и контрольных экспериментах, нельзя было использовать в диагностической методике, рассчитанной на массовое применение, из-за сравнительной сложности протоколирования хода опыта и последующих расчетов. Поэтому мы решили ограничиться таким простейшим показателем, как количество опробованных элементов. При предъявлении каждого образца ребенок получал 4 очка за безошибочное нахождение нужного элемента, 3 очка — за нахождение при второй пробе, 2 очка — при третьей, 1 очко — при четвертой и 0, если при 4 пробах вовсе не находил