Оперантне обумовлення (яке також називається інструментальним обумовленням) — це процес навчання, у якому сила поведінки змінюється через підкріплення або покарання. Це також процедура для здійснення такого навчання.
Хоча і оперантне, і класичне обумовлення включають поведінку, контрольовану стимулами оточення, вони відрізняються за своєю природою. У оперантному обумовлення стимули, що присутні тоді, коли поведінка винагороджується або карається, починають контролювати цю поведінку. Наприклад, дитина може навчитися відкривати коробку, щоб отримати цукерку всередині, або навчитися уникати торкання гарячої печі; в оперантних термінах, ящик і піч є «дискримінаційними стимулами». Оперантну поведінку вважають «добровільною»: наприклад, дитина може вибрати: відкрити ящик чи погладити цуценя.
Навпаки, класичне обумовлення передбачає мимовільну поведінка, засновану на пов'язанні стимулів з біологічно значущими подіями. Наприклад, вигляд цукерок може викликати у дитини слину, або звук удару дверима може сигналізувати про гнів батька, змушуючи дитину тремтіти. Слина і тремтіння — це не операнти; вони не підкріплені їхніми наслідками, і вони не обрані «добровільно».
У дослідженнях з вивчення тварин у 20-му столітті домінував аналіз цих двох видів навчанняJenkins, H. M. «Animal Learning and Behavior Theory» Ch. 5 in Hearst, E. «The First Century of Experimental Psychology» Hillsdale N. J., Earlbaum, 1979 і вони все ще знаходяться в основі аналізу поведінки.
Історична довідка
Закон ефекту Торндайка Оперантне обумовлення, яке іноді називають інструментальним, вперше широко вивчалося Едвардом Л. Торндайком (1874—1949), який спостерігав за поведінкою кішок, що намагалися втекти зі скриньок-головоломок. Кішка могла втекти з коробки, просто потягнувши шнур або штовхаючи важіль, але спочатку кішки витрачали багато часу, щоб вийти. При повторних випробуваннях неефективні відповіді відбувалися рідше, і успішні відповіді траплялися частіше, тому кішки все швидше втікали. Торндайк узагальнив цей висновок у своєму законі ефекту, який стверджує, що поведінка, за якою слідують задовільні наслідки, як правило, повторюється, а та, що викликає неприємні наслідки, повторюється рідше. Коротше кажучи, деякі наслідки посилюють поведінку, а деякі — послаблюють її. Побудувавши діаграми, де час втечі був показаний в залежності від числа спроб, Торндайк виготовив перші криві навчання тваринами.Miltenberger, R. G. «Behavioral Modification: Principles and Procedures». , 2008. p. 9.
Люди, здається, вивчають багато простих моделей поведінки через процес, що вивчав Торндайк, який тепер називається оперантним обумовлення. Тобто, відповіді зберігаються, коли вони призводять до успішного результату і відкидаються, коли вони цього не роблять, або коли вони призводять до негативних наслідків. Це зазвичай відбувається без планування будь-яким «вчителем», але оперантність використовувалася батьками в навчанні своїх дітей тисячі років.Miltenberger, R. G., & Crosland, K. A. (2014). Parenting. The wiley blackwell handbook of operant and classical conditioning. (pp. 509—531) Wiley-Blackwell.
Б. Ф. Скіннер Б. Ф. Скіннер (1904—1990) називається батьком оперантного обумовлення, і його роботи часто цитується у зв'язку з цією темою. Його книга 1938 року «Поведінка організмів: експериментальний аналіз»,Skinner, B. F. «The Behavior of Organisms: An Experimental Analysis», 1938 New York: Appleton-Century-Crofts ініціювала його довічне вивчення оперантного обумовлення та його застосування до поведінки людини і тварин. Слідуючи ідеям Ернста Маха, Скіннер відкинув посилання Торндайка на неспостережувані психічні стани, такі як задоволення, будуючи свій аналіз на спостережуваній поведінці та її однаково спостережуваних наслідках.
Скіннер вважав, що класичне обумовлення було занадто спрощеним, а тому не підходило для опису чогось такого складного, як поведінка людини. Оператне обумовлення, на його думку, краще описує поведінку людини, оскільки розглядає причини і наслідки умисної поведінки.
Для реалізації свого емпіричного підходу Скіннер винайшов камеру оперантного обумовлення, або «Камеру Скіннера», в якій голуби і щури могли піддаватися ретельно контрольованим стимулам. На відміну від головоломки Торндайка, ця композиція дозволяла суб'єкту робити одну або дві прості, повторювані відповіді, і швидкість таких відповідей стала основним виміром поведінки у Скіннера.Schacter, Daniel L., Daniel T. Gilbert, and Daniel M. Wegner. «B. F. Skinner: The role of reinforcement and Punishment», subsection in: Psychology; Second Edition. New York: Worth, Incorporated, 2011, 278—288. Інший його винахід, накопичувальний реєстратор, вів графічний запис, з якого можна оцінити ці показники відповідей. Ці записи були первинними даними, що Скіннер і його колеги використовували для вивчення впливу різних розкладів підкріплення на швидкість відповіді.Ferster, C. B. & Skinner, B. F. «Schedules of Reinforcement», 1957 New York: Appleton-Century-Crofts Розклад підкріплення може бути визначений як «будь-яка процедура, що забезпечує підкріплення організму відповідно до деякого чітко визначеного правила». Вплив розкладів став, у свою чергу, основними відкриттями, з яких Скіннер розробив свій випадок оперантного обумовлення. Він також спирався на багато менш офіційних спостережень за поведінкою людини і тварин.Mecca Chiesa (2004) Radical Behaviorism: The philosophy and the science
Багато творів Скіннера присвячені застосуванню оперантного обумовлення поведінки людини.Skinner, B. F. «Science and Human Behavior», 1953. New York: MacMillan У 1948 році він опублікував Уолден-2, вигадану історію мирного, щасливого, продуктивної громади, організованої навколо його принципів обумовлення.Skinner, B.F. (1948). Walden Two. Indianapolis: Hackett У 1957 році Скіннер опублікував «Вербальну поведінку»Skinner, B. F. «Verbal Behavior», 1957. New York: Appleton-Century-Crofts, яка розширила принципи оперантного обумовлення до мови, — форми людської поведінки, яку раніше зовсім інакше аналізували лінгвісти та інші. Скіннер визначив нові функціональні відносини, такі як «мандати» і «такти», щоб схопити деякі основи мови, але він не ввів нових принципів, розглядаючи вербальну поведінку, як будь-яку іншу поведінку, як контрольовану її наслідками, що включають реакції аудиторії, яка слухає оратора.
Поняття та процедури
Витоки оперантної поведінки: оперантна мінливість Оперантна поведінка, як кажуть, «випускається»; тобто спочатку вона не викликається якимось конкретним стимулом. Може виникнути питання, чому це відбувається в першу чергу. Відповідь на це питання схожа на відповідь Дарвіна на питання про походження «нової» структури тіла, а саме, — зміни та відбір. Аналогічно, поведінка індивіду змінюється від моменту до моменту у таких аспектах, як конкретні дії, кількість застосованої сили або час відповіді. Зміни, які призводять до підкріплення, підкріплюються, і якщо підкріплення є послідовним, поведінка має тенденцію залишатися стабільною. Однак, поведінкова мінливість сама може бути змінена шляхом маніпулювання певними змінними.
Модифікація оперантної поведінки: підкріплення та покарання Підкріплення та покарання є основними інструментами, за допомогою яких змінюється оперантна поведінка. Ці терміни визначаються їх впливом на поведінку. Кожен може бути як позитивним, так і негативним.
Позитивне підкріплення та негативне підкріплення збільшують ймовірність поведінки, за якою вони слідують, тоді як позитивне покарання та негативне покарання зменшують ймовірність поведінки, за якою вони слідують.
Іще одна процедура називається «відмирання».
Згасання відбувається, коли попередньо підкріплена поведінка більше не підкріплюється ні позитивним, ні негативним підкріпленням. Під час згасання поведінка стає менш імовірною.
Є в цілому п'ять наслідків.
Позитивне підкріплення відбувається, коли поведінка (відповідь) є винагородою, або ж за поведінкою слідує інший стимул, який є винагородою, збільшуючи частоту цієї поведінки. Наприклад, якщо щур у камері Скіннера отримує їжу після натискання на важіль, швидкість натискання зросте. Ця процедура зазвичай називається просто підкріпленням. Негативне підкріплення (так звана «втеча») відбувається, коли після поведінки (реакції) слідує видалення неприємного (аверсивного) стимулу, що збільшує частоту початкової поведінки. У експерименті з камерою Скіннера аверсивний стимул може бути голосним шумом безперервно всередині коробки; негативне підкріплення відбудеться, коли щур натискає важіль, щоб вимкнути шум. Позитивне покарання (також називається «покарання шляхом умовної стимуляції») відбувається, коли за поведінкою (реакцією) слідує неприємний чи больовий (аверсний) стимул. Приклад: біль від шльопання по сідниці часто призводить до зменшення цієї поведінки. Позитивне покарання є заплутаним терміном, тому процедуру зазвичай називають «покаранням». Негативне покарання (кара) (що також називається «покарання шляхом вилучення контингенту») відбувається тоді, коли за поведінкою іде видалення стимулу. Приклад: забрати іграшку дитини після небажаної поведінки, що призведе до зниження такої поведінки. Згасання відбувається тоді, коли раніше підкріплена поведінка (відповідь) більше не є ефективною. Приклад: щурові спочатку дають їжу багато разів для натискання важеля, поки експериментатор не перестає видавати їжу як нагороду. Щур, як правило, рідше натискає на важіль, а потім зупиняється. Натискання важеля можна назвати «згаслим».
Важливо відзначити, що про акторів (наприклад, щурів) не говорять як про підкріплених, покараних чи згаслих; це дії підкріплюються, караються або гасяться. Підкріплення, покарання та згасання — це не тільки лабораторні терміни. Природні наслідки можуть також підкріпити, покарати або загасити поведінку, і не завжди плануються або відбуваються навмисно.
Графіки підкріплення Розклади, чи графіки підкріплення є правилами, які контролюють доставку підкріплень. Правила вказують або час, протягом якого підкріплення має бути доступним, або кількість дій, які необхідно зробити, або обидва параметри. Можливо багато правил, але наступні є основними і використовуються найчастішеSchacter et al.2011 Psychology 2nd ed. pg.280–284 Reference for entire section Principles version 130317
Графік фіксованих інтервалів: підкріплення відбувається після першої дії (відповіді), коли з моменту попереднього підкріплення пройшов фіксований час. Цей графік дає «пробіжний» шаблон відповіді; тобто, після навчання за цим графіком, організм зазвичай призупиняється після підкріплення, а потім починає реагувати швидко, оскільки вже настає час для наступного підкріплення. Графік змінних інтервалів: підкріплення відбувається після першої відповіді, коли з моменту попереднього підкріплення пройшов змінний час. Цей графік зазвичай дає відносно стійку швидкість відповіді, яка змінюється з середнім часом між підкріпленнями. Графік фіксованого співвідношення: підкріплення відбувається після фіксованого числа відповідей, які відбулися після попереднього підкріплення. Організм, підготовлений за цим графіком, зазвичай призупиняється на деякий час після підкріплення, а потім реагує з високою швидкістю. Якщо вимоги відповіді низькі, паузи може не відбутися; якщо потреба у відповіді є високою, організм може взагалі перестати відповідати. Графік змінних співвідношень: підкріплення відбувається після того, як з моменту попереднього підкріплення відбулася змінна кількість відповідей. Цей графік зазвичай дає дуже високу, стійку швидкість відповіді. Безперервне підкріплення: підкріплення відбувається після кожного відгуку. Організми, як правило, реагують так швидко, як можуть, враховуючи час, необхідний для отримання та споживання підкріплення, поки вони не будуть насичені.
Фактори, що змінюють ефективність підкріплення і покарання Ефективність підкріплення і покарання може бути змінена.