Оперантное обусловливание

Если условный рефлекс представляет собой пассивную реакцию организма на внешнее воздействие, то оперантное обусловливание является активным поведением, которому человек или животное обучаются в определенной си­туации. Название происходит от латинского слова operatic, что в переводе обозначает действие. Обусловливание же свидетельствует о том, что обуче­ние действию требует определенного условия. В классическом условном рефлексе ассоциативная связь формируется между двумя стимулами — ус­ловным и безусловным. Условием его формирования является обязательное следование безусловного стимула за условным. В процессе оперантного обусловливания подобная связь возникает между конкретным поведением и стимулом, который называется подкреплением.

Этот тип обучения позволяет организму менять свои действия в зависи­мости от тех последствий, которые оно порождает. Если следствием неко­торого поведения будет что-то, что организм воспринимает как положитель­ный результат, то оно с большей вероятностью будет повторено в будущем. Если же поведение ведет к неприятным для организма последствиям, то ве­роятность его повторения резко снизится. Система позитивных последствий называется подкреплением, а негативных — наказанием. Например, если маленький ребенок, случайно произнеся два раза подряд слог: “Ма”, — вслед за эти услышит восторженные слова матери и увидит счастливую улыбку, то вероятность того, что он тут же произнесет это еще раз, резко возрастет. Если же за этими звуками не последует определенных действий, то, скорее всего, они исчезнут из его набора словесных реакций.

Таким образом, подкрепление — это такое воздействие, при котором по­явление или исчезновение какого-то стимула в результате той или иной по­веденческой реакции повышает вероятность повторения этой реакции (Год-

фруа, 1992).

Выделяют несколько типов оперантного обусловливания. Американский психолог Э. Торндайк (Thorndike, 1890) исследовал метод проб и ошибок. Он предложил эксперименты на животных в особых “проблемных” клетках. В одном из них животное помещалось в “проблемную” клетку. Оно могло выйти и взять пищу, положенную вне клетки, если нажимало на деревян­ную педаль. Двигаясь внутри клетки, животное случайно могло наступить на педаль. Однако после каждого открытия клетки вслед за нажатием педа­ли время следующего нажатия сокращалось, что позволяло животному ос­вобождаться все быстрее и быстрее. Это позволило Э.Торндайку вывести “закон эффекта”. Согласно этому закону, вероятность повторения действия, приведшего к желательному результату, резко возрастает. Если же послед­ствия этого действия вызывают нежелательный результат, то оно будет вос­производиться все реже и реже.

В начале века в Германии была известна лошадь по имени Умный Ганс. Ударами копыт она считала, складывала из букв слова, извлекала квадрат­ные корни. Ее хозяин полагал, что он обучил ее думать. Однако проведен­ное исследование поведения животного показало, что лошадь отвечала на

основе подкрепления, которым был поворот головы хозяина, усиленный широкополой шляпой, когда он считал, что ударов копыт достаточно. В тех случаях, когда предлагались вопросы, на которые никто из присутству­ющих и хозяин в том числе не знали ответа, удары копыт были неопреде­ленными.

Другой тип оперантного обучения был описан Б.Ф. Скиннером (Skinner, 1969). Он показал, что поведение у человека и животных может формиро­ваться не только случайным образом, но и целенаправленным, постепенно за счет подкрепляющих факторов (Рис. 15.9). Такой тип обучения был на­зван формированием поведения путем последовательных приближений. В одном из описанных им экспериментов животные с большей вероятностью нажимали на педаль, находящуюся в клетке, если каждое нажатие сопровож­далось появлением кусочка пищи. Сигналом к подобной реакции животного был вид педали, поскольку когда педаль убиралась, животное не двигало ла­пой, избражая это действие. Подкрепление (кусочек пищи) усиливало связь между нейрональными кругами, включенными в процесс восприятия (вид педали) и нейрональными кругами, ответственными за движение (напри­мер, нажатие на педаль).

С помощью этой модели можно объяснить очень быстрое обучение ре­бенка произнесению первых слов (но не как всего языка в целом) по меха­низму, описанному ранее. Известно, что в первые месяцы жизни дети про­износят более 80 звуков, что может соответствовать звукам всех языков мира. Ребенок, перебирая различные звкосочетания, случайно говорит что-то по­хожее на: “Мо-мо”. Радостная мама тут же подкрепляет эти звуки поцелу­ем, демонстрируя всем, что ее ребенок начал говорить слово “мама”. Одна­ко через некоторое время родительские востроги пойдут на убыль, тогда как более близкое и отчетливое произнесение вновь вызовет бурю восторгов. Так, методом последовательного приближения ребенок будет набирать свои первые слова.

Выделяют положительное и отрицательное подкрепление. Положитель­ным подкреплением является событие, сочетающееся с каким-либо дей­ствием и ведущее к увеличению вероятности повторного его. Подкрепление тем эффективнее, чем более приближено к действию. Чем дальше оно от­стоит от поведения, тем медленнее формируется поведение. Формирование действия определяется также величиной подкрепления.

Желательно, чтобы подкрепление не было слишком большим. Например, в процессе обучения животного это может быть маленький кусочек пищи, а не полная миска; при обучении ребенка или взрослого — небольшой по­дарок. Сытое животное перестанет обучаться, согласно русской пословице: “Сытое брюхо к учению глухо”. Если ребенку предложен большой подарок, то следующий за ним маленький вызовет лишь угашение реакции, а не ее усиление. При выработке поведения играет роль и очень большое подкреп­ление. Его влияние часто наблюдается у азартных игроков, которые, полу­чив значительный выигрыш, не могут прекратить игру даже при постоян­ных дальнейших проигрышах. Именно поэтому, завлекая игроков в игор­ные дома, им сначала позволяют выиграть, а потом отыгрывают у него все,

_что у него есть. На этом эффекте работают широко распространенные на улицах “наперсточники” и другие мошенники этого типа.

Случайное большое подкрепление может вызвать длительную стойкую ре­акцию у человека и животного. По этому механизму формируются суеверия. Кроме уже описанных видов выделяют вариативное. Его действие ограниче­но следующими условиями. Вырабатывается определенное поведение, свя­занное с тем или иным подкреплением. Затем подкрепление убирается и по­ведение ослабевает. Случайное подкрепление этого поведения вызывает рез­кое усиление угасшей реакции. Чем реже такого рода подкрепление, тем доль­ше держится восстановленная реакция. На этом механизме основано стой­кое поддержание аддиктивного (зависимого) поведения, когда одна сигаре­та, одна рюмка, одна ссора усиливают никотиновую, алкогольную зависи­мость или снятие стресса путем провокации скандала (Прайор, 1995).

Эффективность формирования поведения путем последовательных при­ближений зависит не только от характера подкрепления, но и от других ус­ловий. Одним из них является необходимость поэтапного приближения к окончательному поведению. Таким образом, весь этап выработки поведе­ния делится на определенные отрезки, в течение которых добиваются кон­кретного действия. Это действие должно быть таким, чтобы обучаемый че­ловек или животное могли реально выполнить это задание и, следователь­но, получить подкрепление. Например, желая выработать у ребенка умение красиво писать или качественно делать любую другую работу, родитель не может требовать сразу же очень хорошего ее выполнения. Сначала ребенка хвалят за то, что он просто написал палочки, затем — за то, что некоторые из них написаны ровно, затем — что большая часть написана ровно и т.д. ^Требование сразу же выполнить работу качественно может привести к тому, ito у ребенка вовсе отпадет желание ее выполнять. Точно так же, желая по­менять поведение супруга, второй член семьи может постепенно наращи­вать свои требования, а не ставить ультиматум. Невыполнение этого усло­вия часто является причиной неудач воспитания детей и попыток супругов

переделать друг друга.

Другим условием формирования поведения путем последовательных приближений является то, что вырабатывать его можно только по одному, а не нескольким критериям одновременно. Например, при обучении ребен­ка качественно читать, нельзя сразу же требовать понимания прочитанно­го и быстрого чтения; от жены нельзя одномоментно требовать готовить обед и готовить его вкусно. Сначала, например, можно выработать желание готовить обед, а затем вырабатывать навык готовить вкусно.

Прежде чем увеличить или повышать критерий, нужно пользоваться под­креплением текущего уровня, то есть подкреплять любые исполнения дан­ного действия. Вводя новый критерий, лучше временно ослабить предыду­щие. Например, желая научить ребенка читать быстро, на первом этапе можно пожертвовать качеством чтения и при наборе им определенной ско­рости начать вновь следить и за качеством понимания текста.

Еще одним условием является то, что заканчивать ежедневный курс обу­чения следует всегда на фоне поощрения. Если это условие нарушено и pej

бенку сегодня предъявляется требование, за которое он не получает поощ­рения (в виде похвалы или поглаживания), то он будет воспринимать это как наказание. Часто именно из-за этого дети, учащиеся хорошо и не получаю­щие никакой оценки от своих родителей, начинают учиться плохо, посколь­ку только в этом случае взрослые начинают интересоваться успехами ребен­ка (Прайор, 1995).

Отрицательным подкреплением является избегание негативной реакции. Например, подпрыгивая, крыса могла бы избежать удара электрическим то­ком, который подавался на пол клетки и сопровождался легким потрески­ванием. Это потрескивание и служило сигналом животного к прыжку. Бо­лее точным было бы говорить в данном случае не об отрицательном, а об аверсивном подкреплении, поскольку оно позволяет избежать неприятно­го воздействия стимула. Примером отрицательного подкрепления является ситуация, когда ребенок выполняет некоторую работу не для того, чтобы получить что-то приятное, а для того, чтобы избежать неприятных для него нареканий со стороны родителей. Негативное подкрепление отличается от наказания, поскольку наказание ведет к исчезновению реакции, тогда как негативное подкрепление ведет к формированию реакции избегания.

Разрабатывая представления об оперантном обучении, Б.Ф. Скиннер пришел к выводу, что общество в процессе воспитания подрастающего по­коления должно больше заботится не о подавлении социально неадекват­ного поведения (наказание), а о выработке социально одобряемого поведе­ния у будущих граждан.

В настоящее время показано, что существует механизм, контролирующий

процесс подкрепления. Этот механизм подробно будет описан позднее.

I