Подкрепление в обучении и коммуникации

Примеры основ научения

Если только задуматься, примеров оперантного научения (оперантное обусловливание) в повседневной жизни встречаются очень часто: школьники, что делают заданные домой упражнения, взамен на это получат награду от родителей; сотрудники, которые при достижении заданной нормы получат повышение зарплаты или служебное продвижение. Это лишь те примеры, что показывают на перспективу награды в случае выполнения задания, но научения можно использовать и для того, чтобы отучить человека от привычки наказанием либо лишением желаемого.

К примеру, школьников можно отучить разговору на уроках, нужно просто лишить их возможности развлекаться на ожидаемой перемене.

Имеющиеся компоненты оперантного научения

Подпитка либо же подкрепление – это неопределённое действие, что способно повлиять на развитие необходимой модели поведения.

Всего существует 2 вида подпитки:

1. Позитивное оперантное обусловливание – вознаграждение, его используют для того, чтобы поощрить необходимую модель поведения: к примеру, это может быть похвала или желаемая награда;
2. Негативное оперантное обусловливание – действия или результаты не приносящие удовольствия, что прекращаются для поощрения при достигнутом поведении.

И первый и второй вид подкрепления используют для поощрения той модели поведения, которой вы добиваетесь. Наказание используется для тех случаев, когда необходимо прекратить нежелательную модель поведения.

Всего можно выделить 2 вида наказаний:

1. Позитивное наказание – в этом случаи используют нежелательное действие, для того чтобы снизить последующую реакцию;
2. Негативное наказание – прекращение не желаемого действия, чтобы ослабить реакцию за ним. Оба вида используют для снижения нежелательной модели поведения.

Оперантное обусловливание, поведение (поведение которое было вызвано научением) можно определить особыми событиями, что обычно следуют за реакцией. Таким образом, за определённым поведением идёт следствие, и образование того самого следствия заменяет тенденцию организма отражаться данным поведением в дальнейшем.

Кто такой Скиннер?

Выдающийся американский психолог, живший в XX веке. Он внес значительный вклад в развитие бихевиоризма. Наибольшую известность приобрел благодаря своей теории оперантного обусловливания. Кроме достижений в психологии, Беррес Скиннер был прекрасным изобретателем. Одним из изобретений ученого является ящик, названный в его честь — ящик Скиннера. Эта конструкция предназначена для изучения принципов оперантного научения.

Скиннер стал первопроходцем в работе функционального анализа. Именно он предложил его в качестве метода исследования поведения.

Известно, что в 1958 году знаменитому психологу была вручена премия «За выдающийся вклад в развитие науки». И вручила эту премию Американская Психологическая Ассоциация. Отмечалось, что мало кто из психологов Америки смог внести такой значительный вклад в развитие психологии.

В 1972 году эта же Ассоциация признала Берреса Фредерика Скиннера самым выдающимся психологом XX века. Вторую строчку в ту пору занял З. Фрейд.

На счету сотни статей и несколько десятков научных книг.

Теория бихевиоризма Скиннера — это прорыв в науке психологии. И она будет рассмотрена ниже.

Способ формирования

Оперантное обусловливание имеет способность формировать поведение, в случаи, когда подпитываемые действия постепенно меняются, плавно превращаясь к исполнению, что мы хотим видеть в итоге.

Научение имеет в себе целую систему наказаний и особых поощрений, целью которых является усилить либо ограничить выбранный тип поведения.

Суть оперантного научения – это установка ассоциативной связи между основным поведением и следствием того самого поведения. Научение можно отнести к своеобразному методу обучения, только этот способ требует конкретного действия. Нередко оперантное научение называют методом Скиннера — в честь Бихевиориста Фредерика Скиннера. Скиннер был убеждён в том, что объяснить любое поведение мыслями или мотивацией – невозможно

По этой причине он пробовал обращать внимание на причины внешнего характера которые влияют на поведение людей

Такой термин, как «оперантный», Скиннер использовал как описание любого поведения, которое можно отнести к влиянию внешних факторов, выливших в определённые последствия. Проще говоря, Скиннер на примере научения объяснил нам, как люди приобретают привычки и модель поведения которые используются ежедневно.

Другие практические приложения и критическая оценка

Оперантное обусловливание можно использовать для объяснения множества форм поведения, от процесса обучения до зависимости и усвоения языка. Он также имеет практическое применение, например, в образовательных целях, которые мы описали ранее, в тюрьмах, психиатрических больницах и в экономике.

В экономике хорошо известным приложением оперантного кондиционирования является экономика токенов, система, через которую человек получает токены сразу после выполнения желаемого поведения. Жетоны собираются, а затем обмениваются на что-то значимое для человека.

Использование исследований на животных, связанных с оперантным обусловливанием, также поднимает вопрос об экстраполяции результатов.

Некоторые психологи утверждают, что мы не можем обобщать итоговые результаты исследований с животными на поведение человека, поскольку их анатомия и физиология различны, и они не могут размышлять о своем опыте или вызывать разум, терпение и память, как люди.

Радикальный бихевиоризм Скиннера

Чтобы понять, что это такое, нужно знать его отношение к теории З. Фрейда. Скиннер считал, что тот сделал колоссальное открытие относительно того, что человеческое поведение, по большей мере, обусловлено бессознательными причинами. Однако в корне не соглашался с Фрейдом по поводу его изобретения психического аппарата и сопутствующих процессов для объяснения поведения человека.

По мнению Скиннера, процессы поведения не имеют ничего общего с поведением. Психические звенья создают лишь проблему для объяснения поведения.

Скиннер считал, что рефлекс — это понятие соотношения между стимулом и ответом на этот стимул. Таким образом, если организм получает подкрепление за свое поведение, то происходит его усиление. Организм запоминает их, и соответственно, идет заучивание и становление определенного вида поведения. Если же подкрепление отсутствует, то поведенческие акты, ничем не подкрепленные, исчезают из репертуара поведения организма.

Это можно назвать рефлекторным поведением или невольным. Его основное отличие от оперантного в том, что последнее нельзя вызвать. Оно добровольное

А рефлекторное поведение вызывается тем или иным стимулом, неважно, условным или безусловным. Эта теория совпадала с мнением русского ученого И

Павлова.

Как устроено обучение с точки зрения Бандуры

На то, как эффективно мы осваиваем наблюдаемое поведение, влияют несколько факторов:

Внимание.
Запоминание.
Повторение.
Мотивация.

Внимание

Люди мало чему учатся при наблюдении, если они недостаточно внимательны, объяснял Бандура в «Теории социального научения». Из множества составляющих поведения модели люди избирательно наблюдают лишь за некоторыми. Внутренние установки влияют на то, поведение каких моделей кажется привлекательным, а какие модели мы игнорируем или отвергаем

Кроме того, внимание может зависеть от отношения модели к наблюдателю. Если, например, учитель или родитель не замечает ни успехов, ни неудач ребёнка, тогда он будет демонстрировать посредственную имитацию их поведения, писал Бандура

Важно также отметить, что при наличии нескольких моделей наблюдатели редко копируют поведение лишь одной из них. «Не усваивают они и все подряд атрибуты даже самых предпочитаемых моделей», — замечал психолог

Вместо этого наблюдатели создают комбинацию из разных характеристик моделей. Так происходит, например, когда в одной и той же семье дети моделируют совершенно разное поведение.

Запоминание

«Наблюдение за моделями не в состоянии оказать на людей сколько-нибудь заметного влияния, если они не будут запоминать наблюдаемое поведение», — писал Бандура. Наблюдаемое поведение сохраняется в долговременной памяти в форме символов и абстракций. Благодаря этому человек способен в том числе и к отсроченной имитации, то есть может продемонстрировать поведение модели не сразу после наблюдения, а спустя какое-то время.

Фото: Frame Stock Footage / Shutterstock

Дети, по наблюдениям Бандуры, в основном склонны к непосредственной имитации, но с возрастом способность к отсроченному подражанию улучшается — с развитием навыков символического мышления.

Моделирование становится более абстрактным. Человек уже не просто копирует чужое поведение, а выделяет в нём общие принципы и правила.

Кроме того, с развитием языковых навыков, поведенческое моделирование постепенно вытесняется вербальным. С его помощью можно выразить «практически бесконечное множество типов поведения, которые было бы неудобно или нереально моделировать, прибегая лишь к наглядным примерам», заключал Бандура.

Повторение

Идеи, однако, редко сразу и без ошибок преобразуются в правильные действия, предупреждал психолог. На помощь приходят многократные повторения.

«Когда люди про себя репетируют или даже на самом деле воспроизводят моделируемые типы реакций, вероятность того, что они забудут пройденное, намного меньше, чем если бы они не думали об этом и не пытались практиковаться», — писал Бандура и сделал вывод: «Невозможно усовершенствовать навыки в ходе одного лишь наблюдения, равно как и невозможно развить их исключительно методом проб и ошибок».

Поэтому лучше всего научение через наблюдение работает, когда поведение сначала моделируется и репетируется мысленно, а затем демонстрируется открыто и меняется благодаря корректирующим усилиям человека и обратной связи наблюдающих за ним.

Мотивация

«Теория социального научения проводит различие между научением и исполнением, так как люди не следуют всему тому, чему они научились, поскольку люди на деле не реализуют на практике всё подряд, чему они научились», — писал Бандура. На совершение действия человека должны мотивировать его вероятные последствия.

«Человек с большей вероятностью воспримет поведение модели, если оно приводит к полезным результатам, нежели если оно оказывается неэффективным или даже вредным, — объяснял он. — Мы стараемся действовать так, чтобы получать самоудовлетворение, и отбрасываем то, что лично не одобряем».

Кто же это такой, и какие его заслуги перед научным миром?

Беррес Фредерик Скиннер

Беррес Фридерик Скиннер родился в 1904 году в Пенсильвании. C детства отличался склонностью к изобретениям. Прошел обучение в колледже Гамильтона. Сначала писал рассказы, пробовал себя в литературе, но вскоре понял, что интересы и способности его лежат в другой сфере. Несмотря на это, в 1948 году издал роман-утопию «Уолден 2». Затем учился на кафедре психологии в Гарвардском университете, и под влиянием ученого У.Дж.Крозье пришел к бихевиоризму. В последующие годы Скиннер читал лекции в Миннесотском, Индианском и Гарвардском университетах. В последнем он стал профессором и работал до конца своей жизни. За свой огромный вклад в изучение психологии поведения был награжден многими наградами. Самыми важными можно считать «Президентскую медаль за науку» и золотую медаль Американской психологической ассоциации.

Личная жизнь ученого сложилась достаточно удачно. В 1936 Скиннер женился на Ивонн Блю, которая родила ему двоих дочерей – Джулию Варгас, которая впоследствии стала выдающимся педагогом и психологом, и Дебору Бузан, муж которой, Барри Бузан, является известным ученым-политологом.

Умер Беррес Скиннер в 1990 году от лейкемии.

Для начала стоит отметить, что Скиннер всю свою научную деятельность посвятил изучению влияния внешних факторов на поведение человека и животных. В результате своих исследований Скиннер написал несколько книг. Самый главный его труд – «Поведение организмов» (1938). Другие его книги: «Наука и поведение», «О бихевиоризме», «Вербальное поведение».

Суть учения Скиннера можно описать следующими словами: все, что делает человек или животное, обусловлено последующим результатом. То есть, зная, какая реакция последует после определенных действий, человек (животное) будет или не будет делать задуманное. Не стоит путать бихевиоризм с учением о рефлексах. Оперантная реакция, которую изучал Скиннер, имеет определенную цель.

В ходе научной работы, американский психолог сформулировал режимы подкрепления, которые влияют на поведение:

• С постоянным соотношением. Чем больше выполнено работы или правильных действий, тем больше уровень положительного подкрепления. Наглядным примером этого вида подкрепления может быть сдельно-премиальная оплата труда. Чем больше качественной работы сделано, тем выше заработная плата.
• С постоянным интервалом. Новое подкрепление возникает строго по времени. Например, работающий человек всегда знает, что раз в месяц определенного числа он получит зарплату.
  • С вариативным соотношением. Когда наступит новое подкрепление неизвестно. Это подкрепление возникает, например, в случае покупки лотерейного билета. Человек точно не знает, что он выиграет.
• С вариативным интервалом. Новое подкрепление поступает через неопределенный отрезок времени. Например, неожиданная прибавка к заработной плате.
  Скиннер предполагал, что положительные подкрепления удовлетворительно сказываются на поведении человека.

Согласно Скиннеру, оперантное обусловливание может применяться не только для контроля поведения других людей, но и для контроля собственного поведения. Самоконтроля можно добиться, создав условия для того, чтобы желательное поведение получало подкрепление.

Несмотря на критику скиннеровского подхода к изучению поведения человека (ученый полностью нивелировал влияние сознания, силы воли и свободного выбора), его подход в бихевиоризме активно используется. И именно теория оперантного обусловливания работает в таких, казалось бы, сложных случаях как аддиктивное поведение (зависимости разного рода), девиантное поведение (отклоняющееся от нормы), обсессивно-компульсивные расстройства и т.д.

Автор Марина Воробьева

Как проводить занятия?

Приготовьте 20-30 маленьких кусочков вкусного лакомства (ломтики курицы, нарезанные сосиски, твердый сыр). Щелкните кликером и одновременно поднесите лакомство к морде питомца, чтобы он мог его взять. Упражнение повторяется несколько раз, чтобы ваш ученик твердо усвоил значение щелчка.

Теперь щелкните и киньте лакомство на пол, где его сможет увидеть собака. Повторите упражнение несколько раз, бросая лакомство в разные места. Таким образом вы объясняете питомцу, что щелчок означает скорое появление лакомства.

Теперь рассмотрим механизм дрессировки на примере обучения команде «Сидеть». Поднимите руку с лакомством немного выше лба стоящего пса. Если питомец сядет, щелкните кликером и позвольте ей съесть лакомство.

А если собака не может взять в толк, чего от нее хотят? Тогда передвиньте руку слегка назад, в сторону хвоста собаки, и попытайтесь с помощью лакомства побудить питомца подогнуть задние ноги и сесть. Щелкните, когда пес начнет садиться, и сразу вручите ему лакомство.

Если собака просто скачет вокруг вас, игнорируйте это поведение. Подождите, пока она успокоится, и возобновите движение руки.

После нескольких повторений упражнения в следующий раз не щелкайте немедленно. Немного отсрочьте щелчок, чтобы увеличить продолжительность действия.

Со временем откажитесь от приманки – пускай собака знает, что в руке у вас лакомство, но вести ее уже не нужно. Зато когда собака правильно выполнит то, что вы от нее ждете, в награду дайте ей целую пригоршню лакомства.

Теория оперантного научения б Скиннера. Оперантное обусловливание Б. Ф. Скиннера

Другим психологом, на этот раз — американцем, который оказал несомненное влияние на поведенческую психотерапию, был Б. Ф. Скиннер (1904—1990). Вероятно, именно психотерапевтическое и педагогическое применение теории оперантного обусловливания ответственно за то, что Скиннер много лет оставался ведущим психологом в Америке.

В основании теории оперантного обусловливания лежит тот простой факт, что не всегда действия живого существа являются реакцией на ту или иную комбинацию внешних воздействий — стимулов. Довольно часто (по мнению Скиннера — в большинстве случаев) поведение выглядит так, как будто бы ему не предшествуют никакие видимые стимулы. В знаменитых опытах Скиннера лабораторная крыса помещалась в пустой ящик с педалью внутри и получала полную свободу действий. В ходе хаотичного исследования ящика крыса неизбежно задевала педаль и получала порцию пищи. После нескольких случайных нажатий на педаль у крысы формировалась новая форма поведения, которая также не была связана ни с какими предшествующими стимулами. Теперь, проголодавшись, крыса целенаправленно следовала к педали и, нажав на нее, получала желаемое.

Таким образом, ключевое отличие оперантного обусловливания от классического состоит в том, что в случае оперантного обусловливания живой организм своим поведением активно воздействует на окружающую среду и сталкивается с теми или иными последствиями. В случае формирования условного рефлекса такого воздействия не наблюдается. Животные в опытах Павлова были специально, в целях соблюдения чистоты эксперимента, лишены какой-либо возможности влиять на окружение. В этом смысле оперантное поведение — активно и направлено на исследование окружающего мира, респондентное — реактивно и лишь следует тем или иным воздействиям, в процессе классического обусловливания приобретшим для организма определенное сигнальное воздействие.

Но сама по себе исследовательская активность ничего не дает — она лишь увеличивает шансы встретить те или иные последствия. То, каким образом видоизменяется поведение, зависит в первую очередь от характера последствий — от того, будут эти последствия приятными или неприятными. Приятные последствия Скиннер называл позитивным подкреплением. Экспериментируя с разными типами подкрепления, Скиннер вывел одну бесспорную и всегда воспроизводимую закономерность: образцы поведения (операнты), вслед за которыми следуют приятные последствия, в будущем встречаются чаще. Крыса чаще нажимает на педаль, если непосредственно вслед за этим действием она получает кусочек пищи. Голубь, помещенный в клетку, на полу которой имеется красное пятно, лишь случайным образом может клюнуть в него. Но если сразу вслед за этим он получит пищу — зернышко, то этот оперант (действие в расчете на успех) будет чаще встречаться в будущем. Человек, которого вкусно накормят в одном из ресторанов города, будет чаще ходить в этот ресторан, даже если он довольно далеко расположен от дома.

Исследования Б. Скиннера в рамках бихевиоризма

Беррес Скиннер — американский психолог, писатель, продолжатель идей Дж. Уотсона, который разработал теорию оперантного научения.

Он считал, что человеческий организм — это «черный ящик». Все, что наполняет этот ящик (эмоции, мотивы, влечения),  нельзя объективно измерить, поэтому их следует исключить из сферы эмпирического наблюдения. А вот поведение можно объективно измерить, собственно, этим Скиннер и занимался.

Он не принял идею о личности, которая направляет или стимулирует поведение. Скиннер считал, что поведение порождается не силами, которые находятся внутри человека (например, чертами, потребностями, мыслями, чувствами), а силами, которые лежат вне человека. Это значит, что поведение человека регулируется не изнутри, а снаружи (окружающей средой). Изучение личности по Скиннеру — это нахождение своеобразного характера взаимоотношений между поведением организма и результатами этого поведения, которые и подкрепляют его в последствии. Этот подход фокусируется на прогнозировании и контроле наблюдаемого поведения.

Б. Скиннер, также как и Дж. Уотсон, интересовался таким явлением как научение. Он даже разработал концепцию оперантного научения, которая базировалась на законе эффекта, который был открыт Э. Торндайком.

Оперантное научение — это метод обучения, который включает в себя систему поощрений и наказаний с целью усилить или прекратить определенный тип поведения. При этом организм ассоциирует свое поведение с последующим результатом. Такое научение направлено ​​на подкрепление контролируемого индивидом поведения.

Например, человек пытается научить собаку выполнять команду. Когда собака успешно справляется (т.е. выполняет команду), она получает поощрение (похвалу, лакомство). Когда собака не справляется с заданием, она не получает поощрение. В итоге, у собаки устанавливается связь между определенным поведением и возможностью получить награду.Подобным образом, можно и отучить собаку, например, делать «свои дела» на ковер. Только использовать придется систему наказаний (например, отругать пса). Получается своеобразный метод «кнута и пряника».По этому поводу советую прочитать интереснейшую книгу Карен Прайор, которая называется «Не рычите на собаку! Книга о дрессировке людей, животных и самого себя «.

Скиннер проводил эксперименты над голодными животными (крысы, голуби), которых помещал в ящик, который получил название «ящик Скиннера». Ящик был пуст, внутри находился лишь выступающий рычаг, под которым стояла тарелка для еды. Оставленная одна в ящике, крыса передвигается и исследует его. В какой-то момент, крыса обнаруживает рычаг и нажимает на него.После установления фонового уровня (частота, с которой крыса вначале нажимает на рычаг) экспериментатор запускает в действие кассету с пищей, расположенную снаружи ящика. Когда крыса нажимает на рычаг, небольшой шарик пищи выпадает в тарелку. Крыса съедает его и вскоре снова нажимает на рычаг.Пища подкрепляет нажатие на рычаг, и частота нажатий растет. Если кассету с пищей отсоединить, так что при нажатии на рычаг пища больше не подается, частота нажатий будет уменьшаться. 

Таким образом, Скиннер заметил, что оперантно обусловленная реакция при неподкреплении угасает точно так же, как и классически обусловленная реакция. Исследователь может установить критерий дифференцировки, подавая пищу только тогда, когда крыса нажимает на рычаг при горящей лампочке, и тем самым вырабатывая условную реакцию у крысы путем избирательного подкрепления. Свет тут служит стимулом, который контролирует реакцию.

Скиннер также добавляет положения о двух видах поведения: респондентное и оперантное поведение.Респондентное поведение — это  характерная реакция, вызываемая известным стимулом; стимул, при этом, всегда предшествует реакции. В качестве примера можно привести сужение или расширение зрачка в ответ на световую стимуляцию, подергивание колена при ударе молоточком по коленному сухожилию и дрожь при холоде.Оперантное поведение — это произвольные приобретенные реакции, для которых не существует стимула, поддающегося распознаванию. Вызванное оперантным научением такое поведение определяется событиями, которые следуют за реакцией. Т.е. за поведением идет следствие, и природа этого следствия изменяет тенденцию организма повторять данное поведение в будущем.Например, катание на роликах, игра на гитаре, написание собственного имени – это образцы оперантной реакции (или операнты), контролируемые результатами, следующими за соответствующим поведением.

Такие разные методы…

В кинологии существует большое количество методов дрессировки. Довольно грубо я бы их разделила на две группы:

• собака является пассивным участником процесса обучения (например, классический, давно известный механический метод: когда для того, чтобы обучить собаку команде «Сидеть», мы нажимаем собаке на круп, доставляя тем самым некоторый дискомфорт и провоцируя собаку сесть)
• собака является активным участником обучения (например, той же команде «Сидеть» мы собаку можем обучить, показав собаке кусочек лакомства и затем заведя ладонь в область темечка собаки, провоцируя её задрать голову и, таким образом, опустить заднюю часть тела на землю).

 
Механический метод даёт довольно быстрый результат. Другое дело, что упрямые собаки (например, терьеры или аборигенные породы) упираются тем больше, чем сильнее на них давят: вы надавливаете на круп, а собака изгибается, чтобы не сесть.

Еще один нюанс: собаки с более подвижной нервной системой при таком подходе очень быстро демонстрируют то, что называется «состоянием выученной беспомощности». Собака понимает, что «шаг вправо, шаг влево — расстрел», и если она ошибется, ее сразу же начнут поправлять, причем зачастую достаточно неприятно. В результате собаки боятся принимать собственное решение, в новой ситуации теряются, не готовы проявлять инициативу, и это естественно: они привыкли, что за них все решает хозяин.
 
 
Я не буду давать оценок, хорошо это или плохо. Этот метод существует давно и применяется до сих пор. Раньше, за отсутствием альтернатив, работа строилась преимущественно данным методом, и мы получали хороших собак, которые работали и в вооруженных силах, то есть, на которых можно было рассчитывать в реальных сложных ситуациях. Но кинология не стоит на месте и, на мой взгляд, грех не использовать результаты новых исследований, учиться и использовать на практике новые знания.

На самом деле, уже довольно давно в кинологии используется оперантный метод, который начала применять Карен Прайор. Сперва она применяла его с морскими млекопитающими, но метод работает со всеми: с его помощью можно обучить шмеля загонять мячи в ворота, а золотую рыбку — прыгать через кольцо. Если даже это зверье обучается оперантным методом, то что уж говорить о собаках, лошадях, кошках и т.д.

Отличие оперантного метода от классического состоит в том, что собака является активным участником процесса дрессировки.

При обучении оперантным методом собаки активно принимают участие в процессе дрессировки и предлагают новые трюки.

Как зародился бихевиоризм?

Русский врач Павлов был первым, кто изучал теории бихевиоризма в 1890-х годах. Классическая павловская обусловленность была открыта случайно, когда он обнаружил в эксперименте по пищеварению своих собак, что у его собак выделялась слюна, когда он входил в комнату. , даже не взяв с собой еды.

Подводя итог, классическая обусловленность включает обучение, которое связывает безусловный стимул, который по умолчанию вызывает реакцию тела (например, рефлекс), с новым стимулом, так что последний также несет ту же реакцию.

Эта теория была позже развита Уотсоном (1913), американским психологом, который основал бихевиористскую школу психологии, опубликовав статью под названием «Психология глазами бихевиориста». Позже он научил мальчика бояться белой крысы.

Торндайк, американский психолог и педагог, формализовал термин «Закон эффекта» в 1905 году. В 1936 году Скиннер, американский психолог, которому посвящена настоящая статья, опубликовал «Поведение организмов» и представил концепции оперантного кондиционирования и моделирования.