Функція цінності оптимізаційної задачі дає значення, отримане виконанням цільової функції, але тільки в залежності від параметрів задачі. У керованій динамічній системі функція цінності представляє оптимальний винагороду системи на інтервалі [t, t1] при старті в момент часу t стану x(t)=x. Якщо цільова функція представляє деяку вартість, яку потрібно мінімізувати, функцію цінності можна інтерпретувати як собівартість завершення оптимальної програми, і тому її називають «функцією собівартості». В економічному контексті, де цільова функція зазвичай представляє корисність, функція цінності концептуально еквівалентна функції непрямої корисності.
У задачі оптимального керування функція цінності визначається як супремум цільової функції, взятий на множині допустимих дій. При , типова задача оптимального керування полягає в
за умови, що
з початковим станом . Цільова функція має бути максимізовано за всіма допустимими діями , де є функцією вимірною за мірою Лебега, яка відображає інтервал у визначену підмножину . Тоді функція цінності має виглядз , де — це «втрати». Якщо — це оптимальна пара векторів дій та станів, то . Функція , яка повертає оптимальний вектор дій для стану називається функцією стратегії.
Принцип оптимальності Беллмана стверджує, що будь-яка оптимальна стратегія в часі , приймаючи поточний стан за «новий» початковий стан буде оптимальною і для решти задачі. Якщо функція цінності є безперервно диференційованоюBenveniste and Scheinkman established sufficient conditions for the differentiability of the value function, which in turn allows an application of the envelope theorem, see Also see , то вона зводиться до диференціального рівняння в частинних похідних, відомого як рівняння Гамільтона–Якобі–Беллмана,
де максимум у правій частині також можна переписати як ,
, як
з відіграють роль . Враховуючи це, маємо , і після диференціювання обох сторін рівняння Гамільтона–Якобі–Беллмана відносно рівняння має вигляд
яке після заміни відповідних членів відновлює
де це нотація Ньютона для похідної за часом.
Функція цінності є унікальним рівняння Гамільтона–Якобі–Беллмана.Theorem 10.1 in У замкненій онлайн системі з наближено-оптимальним управлінням функція цінності також є функцією Ляпунова, яка встановлює глобальну асимптотичну стійкість замкнутої системи.
Примітки
Подальше читання