Алгоритм актор-критик входить до сімейства алгоритмів навчання з підкріпленням (НП), що поєднує алгоритми НП засновані на оптимізації стратегії06 Policy-based RL 1.pdf такі як та алгоритми засновані на знаходженні функції цінностей такі як ітерація по функції цінностей, Q-навчання, SARSA та метод часових різниць.

Цей алгоритм складається з двох компонентів: актора, який визначає які дії взяти згідно з функцією стратегії та критика, який оцінює дії актора згідно з функції цінності. Деякі такі алгоритми можуть як використовувати стратегію, якій навчаються (on-policy), так й обходитися без неї (off-policy). Також деякі з них можуть мати неперервний або дискретний простір дій, а деякі навіть працють водночас в обох випадках.

Огляд Методи актор-критик можуть сприйматися як покращення саме методів градієнтних методів, таких як REINFORCE методу з базовою лінією

Актор Він використовує функцію стратегії , у той час як критик розраховує або ж функцію цінності (eng. value function) , функцію цінності дії (eng. action-value function) , функцію переваги , або ж будь-яка інша комбінація цих функцій.

Актор - параметризована функція , де це параметри актора. Актор приймає стан середовища як аргумент та розраховує розподіл імовірностей .

Якщо простір дій - дискретний, тоді . Якшо ж простір дій - непреривний, тоді .

Головна мета оптимізації політики (стратегії) є прокращення актора. Тобто, знаходження деякого , який доводить до максимуму очікувану нагороду за епізод :де - рейтинг дисконтування (eng. discount rate), - нагорода за крок , та - часовий горизонт (який до того ж може бути нескінченним).

Головна мета методу градієнтної політики є оптимізація за допомоги градієнтного спуску використовуючи градієтну політику .

Якщо вказано на сторінці , в наявності є багато градієнтної політики:де - лінійна сума:

. : REINFORCE алгоритму. : REINFORCE алгоритму з базовою лінією. Тут - довільна функція. : TD(1) навчання. . : Advantage Actor-Critic (A2C). : TD(2) навчання. : TD(n) навчання. : TD(λ) навчання, також відоме як GAE (generalized advantage estimate). Формула отримується за допомогою експоненційного розпаду суми TD(n) навчальних термів learning terms (eng. TD(n) learning terms).

Критик У незміщених оцінювачів, які були наведені вище, з'являються деякі функції типу . Вони апроксимуються (наближуються) за допомогою критика. Оскільки ці функції повністю залежать від актора, критик повинен вчитися спільно з актором. Критик навчається завдяки алгоритмам підкріпленого навчання, які засновані на знаходженні оптимального значення функції (eng. value-based).

Наприклад, якщо критик оцінює функцію стан-значення (eng. the state-value function) , тоді вона може бути навчена абсолютно будь-яким апроксимуючим методом з функцією цінності (eng. value function approximation method). Припустимо критик є апроксиматором функції з параметрами .

Найпростішим прикладом є TD(1) навчання, яке тренує критика мінімізувати TD(1) помилку:де - темп навчання. Зауважте!, що градієнт взятий відповідно до параметру в функції , оскільки в функції - рухома ціль, а градієнт не береться відповідно до цього. Така помилка є доволі поширеною, та несе за собою помилки в реалізація у яких використовується автоматичне диференціювання та є за потрібним "зупинка градінту" в певній точці.

Аналогічно, якщо критик оцінює функцію дія-значення (eng. the action-value function) , тоді вона може бути навчена завдяки Q-навчання або SARSA алгоритму. В SARSA, критик зберігає оцінку Q-функції, параметризовану завдяки , позначену як . Помилка часових різниць (TD error) таким чином розраховується , а оновлюється наступним чином Критик з перевагою (eng. advantage critic) може бути натренований за допомогою тренування як Q-функції так й функції стан-значеня , тоді . Хоча більш звичніше тренувати тільки функцію стан-значення , а тоді оцінити превагу за наступноб формулоюде - позитивне ціле число. Чим вищче є значення , тим меньше є показник зміщення у оцінці переваги, але ціною більшої дисперсії.

Generalized Advantage Estimation (GAE) має гіперпараметр який плавно інтерполює між тим що повертає Монте Карло (, велика дисперсія, нема зміщення) та 1-кроковий TD-навчання (, low variance, high bias). Цей гіперпараметр може бути налаштований на вибір оптимального компромісу між зміщенням (зсувом) та дисперсією при оцінці переваги. Він використовує середнє експоненційного розпаду (eng. exponentially decaying average) за n-кроків з , яка вказує на силу розпаду.

Види

Asynchronous Advantage Actor-Critic (A3C): Паралельні та асинхронні версія A2C. Soft Actor-Critic (SAC): Містить максимізацію ентропію для покращенного дослідження Deep Deterministic Policy Gradient (DDPG): Спеціалізується на неперервних просторах дій.

Пов'язані статті Навчання з підкріпленням

Примітки

Посилання