Рефераты. Окремі випадки задач оптимального стохастичного керування

Окремі випадки задач оптимального стохастичного керування











ОКРЕМІ ВИПАДКИ ЗАДАЧ ОПТИМАЛЬНОГО СТОХАСТИЧНОГО КЕРУВАННЯ




1. Зовнішній інтеграл


Функції  і  можуть бути довільними, а математичні сподівання можна обчислювати, якщо  як функція від  є вимірною.

Якщо ж оптимальна стратегія, отримана в результаті оптимізації, виявиться невимірною, то і функція  може виявитися невимірною. У цьому випадку математичне сподівання невизначено.

Для розв’язання цієї проблеми застосовують два підходи. Перший полягає в накладенні на функції  і  таких обмежень, які забезпечували б вимірність підінтегральної функції на кожному кроці оптимізації : функції  і , , повинні бути неперервними по своїх аргументах і повинна існувати щільність імовірності розподілу випадкової величини , а множини  значень припустимих стратегій повинні бути компактними.

На жаль, на практиці ці вимоги не завжди виконуються. Тому другий підхід пов’язаний з використанням зовнішнього інтеграла.

Позначимо через  простір елементарних подій, що є довільною множиною, а  – деяка система підмножин множини .

Математичним сподіванням випадкової величини , заданої на імовірнісному просторі , називається число , якщо інтеграл з правої частини існує.

Нехай  і  – борелівські простори, ,  є -алгеброю в . Функція  називається -вимірною, якщо  для будь-якої множини . Тут  – борелівська -алгебра простору .

Для функції , () зовнішній інтеграл за мірою  визначається як нижня грань інтегралів від всіх вимірних функцій  (), що мажорують , тобто


, .


Тут  – функція розподілу випадкової величини , що відповідає ймовірнісній мірі .

Для довільної функції  має місце співвідношення:


,


де , , і вважають, що .

Оскільки зовнішній інтеграл визначений для будь-якої функції, як для вимірної, так і для невимірної, то ніяких додаткових обмежень на функції  і  накладати не треба.

Для вимірних функцій обидва види математичних сподівань співпадають. Отже, у постановках задач можна замінити звичайне математичне сподівання на зовнішнє, і навіть якщо знайдена при цьому функція  виявиться вимірною, то отримана стратегія керування не перестане бути оптимальною.

Зовнішня міра множини  визначається співвідношенням .

Для будь-якої множини


,


де  – це індикатор множини , що визначається як

а) якщо , то ;

б) якщо  і , то ;

в) якщо  або , то ;

г) якщо  задовольняє рівності , то для будь-якої функції  має місце рівність ;

д) якщо , то  для будь-якої функції ;

е) якщо  і , то . Якщо при цьому хоча б одна з функцій  або  -вимірна, то останнє співвідношення вірно зі знаком рівності.

Позначимо через  дійсну пряму, а через  – розширену дійсну пряму і надалі у всіх висновках замість дійсної прямої використовуватимемо поняття розширеної дійсної прямої.

Вважатимемо, що для розширеної дійсної прямої мають місце всі співвідношення порядку додавання і множення, які було введено для , і припустимо, що  і .

Позначимо через  множину всіх дійсних у розширеному розумінні функцій , де  – простір станів.

 – банахів простір всіх обмежених дійсних функцій  з нормою, що визначається за формулою


, .



Позначатимемо , якщо , ,  і , якщо , , .

Для будь-якої функції  і будь-якого числа  позначимо через  функцію, що приймає значення  в кожній точці , так, що


, .


Припущення монотонності. Для будь-яких станів , керування  і функцій  мають місце нерівності

 якщо  і ;

, якщо  і ;

, якщо ,  і .

Для будь-якого  стратегія  називається -оптимальною при горизонті , якщо



і -оптимальною, якщо



Багато задач послідовної оптимізації, що становлять практичний інтерес, можуть розглядатися як окремі випадки задач загального виду. Розглянемо деякі з них:

·        задачі детермінованого оптимального керування;

·        задачі стохастичного керування зі зліченним простором збурень;

·        задачі стохастичного керування із зовнішнім інтегралом;

·        задачі стохастичного керування з мультиплікативним функціоналом витрат;

·        задачі мінімаксного стохастичного керування.

 

2. Детерміноване оптимальне керування


Розглянемо відображення , що задане формулою


, , ,                  (1)


за таких припущень:

функції  і  відображають множину  відповідно в множини  і , тобто , ; скаляр  додатний.

За цих умов відображення  задовольняє припущенню монотонності. Якщо функція  дорівнює нулю, тобто , , то відповідна -крокова задача оптимізації (1) набуває вигляду:


,              (2)


. (3)


Ця задача є задачею детермінованого оптимального керування зі скінченним горизонтом. Задача з нескінченним горизонтом має наступний вигляд:


,                   (4)


.           (5)


Границя в (4) існує, якщо має місце хоча б одна з наступних умов:

·  , , ;

·  , , ;

·  , , ,  і деякого .

У задачі (4) – (5) може бути уведене додаткове обмеження на стан системи , . У такому разі, якщо , позначатимемо .

 

3. Оптимальне стохастичне керування: зліченний простір збурень


Розглянемо відображення , що задане формулою


,                      (6)


за таких припущень:

параметр  приймає значення зі зліченної множини  з заданим розподілом ймовірностей , що залежать від  і ; функції  і  відображають множину  відповідно в множини  і , тобто , ; скаляр  додатний.

Якщо , , – елементи множини ,  – довільний розподіл ймовірностей на , а  – деяка функція, то математичне сподівання визначається за формулою


,


де ,

,

.

Оскільки , то математичне сподівання  визначене для будь-якої функції  і будь-якого розподілу ймовірностей  на множині .

Зокрема, якщо , ,… – розподіл ймовірностей  на множині , то формулу (6) можна переписати так:



При використанні цього співвідношення треба пам’ятати, що для двох функцій ,  рівність  має місце, якщо виконується хоча б одна з трьох умов:

 та ;

 та ;

 та .

Відображення  задовольняє припущенню монотонності. Якщо функція  – тотожний нуль, тобто , , то за умови , , функцію витрат за  кроків можна подати у вигляді:


            (7)


де , .

Ця умова означає, що математичне сподівання обчислюється послідовно по всіх випадкових величинах .

При цьому зміна порядку операцій додавання і узяття математичного сподівання припустима, тому що , , і для довільних простору з мірою , вимірної функції  і числа  має місце рівність .

Якщо виконується одна з двох нерівностей


 або


,


то функцію витрат за  кроків  можна записати у вигляді:


,



де математичне сподівання обчислюється на добутку мір на , а стани , , виражаються через  за допомогою рівняння .

Якщо функція  допускає подання у такому вигляді для будь-якого початкового стану  та будь-якої стратегії , то -крокова задача може бути сформульована так:


,             (8)


. (9)


Відповідна задача з нескінченним горизонтом формулюється так:


,    (10)


. (11)


Границя в (10) існує при виконанні будь-якої з трьох наступних умов:

·  , , , ;

·  , , , ;

·  , , , ,  і деякого .

Математичне сподівання визначається і як звичайний інтеграл, і як зовнішній інтеграл з -алгеброю в множині , що складається із всіх підмножин , в залежності від вимірності або невимірності функцій.

Для багатьох практичних задач виконується припущення про зліченність множини .

Якщо ж множина  незліченна, то справа ускладнюється необхідністю обчислення математичного сподівання



для будь-якої функції . Подолання цих труднощів і пов’язане з використанням зовнішнього інтеграла.




2012 © Все права защищены
При использовании материалов активная ссылка на источник обязательна.