Module also offered within study programmes:
General information:
Annual:
2017/2018
Code:
AMA-2-018-MZ-s
Name:
Stochastic Control in Continuous Time
Faculty of:
Applied Mathematics
Study level:
Second-cycle studies
Specialty:
Matematyka w zarządzaniu
Field of study:
Mathematics
Semester:
0
Profile of education:
Academic (A)
Lecture language:
Polish
Form and type of study:
Full-time studies
Course homepage:
 
Responsible teacher:
prof. dr hab. Peszat Szymon (napeszat@cyf-kr.edu.pl)
Academic teachers:
prof. dr hab. Peszat Szymon (napeszat@cyf-kr.edu.pl)
Module summary

Pojęcia i twierdzenia teorii sterowania stochastycznego: Zasada programowania dynamicznego, równania HJB, zasada maksimum Pontriagina, różne typy zagadnień sterowania. Modelowanie.

Description of learning outcomes for module
MLO code Student after module completion has the knowledge/ knows how to/is able to Connections with FLO Method of learning outcomes verification (form of completion)
Social competence
M_K001 umie ocenić stopień zrozumienia przez siebie problemu i brakujące elementy rozumowania MA2A_K01 Examination,
Test
Skills
M_U001 potrafi ze zrozumieniem przedstawić w mowie i piśmie poznane na wykładzie dowody twierdzeń MA2A_U04, MA2A_U01, MA2A_U02 Activity during classes,
Test,
Oral answer
M_U002 potrafi samodzielnie przeprowadzić proste dowody wykorzystując poznaną wiedzę z teorii sterowania stochastycznego MA2A_U04, MA2A_U01, MA2A_U02 Test,
Oral answer
M_U003 potrafi wykorzystać wiedzę z innych działów matematyki (analiza, rachunek prawdopodobieństwa, teoria procesów stochastycznych) w teorii sterowania MA2A_U04 Test,
Oral answer
Knowledge
M_W001 Zna podstawowe pojęcia i twierdzenia teorii sterowania stochastycznego (zasada programowania dynamicznego, równania HJB , zasada maksimum Pontriagina, różne typy zagadnień sterowania) MA2A_W05, MA2A_W04 Test
M_W002 Zna przykłady modelowania matematycznego wykorzystującego teorię sterowania stochastycznego MA2A_W07, MA2A_W08 Test
M_W003 Zna najważniejsze metody rozwiązywania problemów w warunkach niepełnej informacji MA2A_W05 Test
FLO matrix in relation to forms of classes
MLO code Student after module completion has the knowledge/ knows how to/is able to Form of classes
Lecture
Audit. classes
Lab. classes
Project classes
Conv. seminar
Seminar classes
Pract. classes
Zaj. terenowe
Zaj. warsztatowe
Others
E-learning
Social competence
M_K001 umie ocenić stopień zrozumienia przez siebie problemu i brakujące elementy rozumowania + - - - - - - - - - -
Skills
M_U001 potrafi ze zrozumieniem przedstawić w mowie i piśmie poznane na wykładzie dowody twierdzeń + - - - - - - - - - -
M_U002 potrafi samodzielnie przeprowadzić proste dowody wykorzystując poznaną wiedzę z teorii sterowania stochastycznego + - - - - - - - - - -
M_U003 potrafi wykorzystać wiedzę z innych działów matematyki (analiza, rachunek prawdopodobieństwa, teoria procesów stochastycznych) w teorii sterowania + - - - - - - - - - -
Knowledge
M_W001 Zna podstawowe pojęcia i twierdzenia teorii sterowania stochastycznego (zasada programowania dynamicznego, równania HJB , zasada maksimum Pontriagina, różne typy zagadnień sterowania) + - - - - - - - - - -
M_W002 Zna przykłady modelowania matematycznego wykorzystującego teorię sterowania stochastycznego + - - - - - - - - - -
M_W003 Zna najważniejsze metody rozwiązywania problemów w warunkach niepełnej informacji + - - - - - - - - - -
Module content
Lectures:

1. Pojęcia wstępne: procesy Markowa w czasie ciągłym, procesy Levy’ego, generatory procesów zadanych przez stochastyczne równania różniczkowe.
2. Twierdzenie Bellmana dla deterministycznych problemów sterowania na skończonym i nieskończonym odcinku czasowym. Rozwiązanie problemu liniowo-kwadratowego (liniowa dynamika stanów i kwadratowy funkcjonał kosztu).
3. .Zasada maksimum Pontriagina dla deterministycznych problemów sterowania. Sterowanie impulsowe.
4. Twierdzenie weryfikacyjne dla stochastycznego problemu optymalnego sterowania.
5. Zastosowanie twierdzenia weryfikacyjnego do problemów inwestora.
6. Stochastyczna zasada maksimum.
7. Twierdzenie weryfikacyjne dla problemu optymalnego stopowania.
8. Przykłady zastosowań.
9. Sterowanie impulsowe.
10. Sterowanie impulsowe c.d.
11. Sterowanie osobliwe (singularne).
12. Rozwiązania lepkościowe dla równanie HJM optymalnego sterowania.
13. Zastosowania w superreplikacji.
14. Rozwiązania lepkościowe nierówności wariacyjnych i quasi-wariacyjnych.
15. Zastosowania w teorii optymalnego stopowania i sterowania singularnego.

Student workload (ECTS credits balance)
Student activity form Student workload
Summary student workload 107 h
Module ECTS credits 4 ECTS
Participation in lectures 30 h
Realization of independently performed tasks 40 h
Examination or Final test 2 h
Contact hours 7 h
Preparation for classes 28 h
Additional information
Method of calculating the final grade:
  1. Ocenę końcową OK wyznacza się na podstawie średniej SW obliczonej według wzoru
    SW = 1/2 OPw + 1/2 OKZ,
    gdzie OPw jest oceną uzyskaną z zaliczenia pracy własnej, a OKZ jest oceną uzyskaną z kolokwium zaliczeniowego.
  2. Ocena końcowa OK jest obliczana według algorytmu:
    Jeżeli SW ≥ 4.75, to OK = 5.0 (bdb),
    jeżeli 4.75 > SW ≥ 4.25, to OK = 4.5 (db),
    jeżeli 4.25 > SW ≥ 3.75, to OK = 4.0 (db),
    jeżeli 3.75 > SW ≥ 3.25, to OK = 3.5 (dst),
    jeżeli 3.25 > SW ≥ 3.00, to OK = 3.0 (dst).
  3. Niewielkie odstępstwa są możliwe w zależności od kompetencji egzaminowanego wykazanej w czasie egzaminu.
Prerequisites and additional requirements:

Prerequisites and additional requirements not specified

Recommended literature and teaching resources:
  1. W. Fleming, M. Soner, Controlled Markov processes and viscosity solutions, Springer 1993.
  2. B. Oksendal., Stochastic differential equations (an introduction with applications), Springer 1995.
  3. B. Oksendal, A. Sulem, Applied stochastic control of jump diffusions, Springer 2004.
  4. H. Pham, Continuous-time stochastic control and optimization with financial applications, Springer 2009.
  5. J. Zabczyk, Zarys matematycznej teorii sterowania, PWN 1991.
  6. S. Peszat, Sterowanie stochastyczne w czasie ciągłym (notatki do wykładu w formie pliku pdf).
Scientific publications of module course instructors related to the topic of the module:

1. Peszat, S.; Zabczyk, J.; Time regularity of solutions to linear equations with Lévy noise in infinite dimensions; Stochastic Processes Appl. 123, No. 3, 719-751 (2013).

2. Peszat, S.; Lévy-Ornstein-Uhlenbeck transition semigroup as second quantized operator; J. Funct. Anal. 260, No. 12, 3457-3473 (2011).

Additional information:

None