Module also offered within study programmes:
General information:
Annual:
2017/2018
Code:
AMA-2-035-MZ-s
Name:
Stochastic Control in Discrete Time
Faculty of:
Applied Mathematics
Study level:
Second-cycle studies
Specialty:
Matematyka w zarządzaniu
Field of study:
Mathematics
Semester:
0
Profile of education:
Academic (A)
Lecture language:
Polish
Form and type of study:
Full-time studies
Course homepage:
 
Responsible teacher:
prof. dr hab. Peszat Szymon (napeszat@cyf-kr.edu.pl)
Academic teachers:
prof. dr hab. Peszat Szymon (napeszat@cyf-kr.edu.pl)
Module summary

Przykłady modelowania matematycznego wykorzystującego teorię sterowania stochastycznego w czasie dyskretnym.

Description of learning outcomes for module
MLO code Student after module completion has the knowledge/ knows how to/is able to Connections with FLO Method of learning outcomes verification (form of completion)
Social competence
M_K001 umie ocenić stopień zrozumienia przez siebie problemu i brakujące elementy rozumowania MA2A_K01 Examination
Skills
M_U001 potrafi ze zrozumieniem przedstawić w mowie i piśmie poznane na wykładzie dowody twierdzeń MA2A_U04, MA2A_U01, MA2A_U02 Examination
M_U002 potrafi samodzielnie przeprowadzić proste dowody wykorzystując poznaną wiedzę z teorii sterowania stochastycznego w czasie dyskretnym MA2A_U04, MA2A_U01, MA2A_U02 Examination
M_U003 potrafi wykorzystać wiedzę z innych działów matematyki (analiza, rrachunek prawdopodobieństwa, teoria procesów Markowa) MA2A_U04 Examination
Knowledge
M_W001 zna podstawowe pojęcia i twierdzenia teorii sterowania stochastycznego (zasada programowania dynamicznego, problem optymalnego stopowania, problemy liniowo kwadratowe) MA2A_W05, MA2A_W04 Examination
M_W002 zna przykłady modelowania matematycznego wykorzystującego teorię sterowania stochastycznego w czasie dyskretnym MA2A_W07, MA2A_W08 Examination
M_W003 zna najważniejsze metody rozwiażywania zagadnien optymalizacyjnych w czasie dyskretnym MA2A_W05 Examination
FLO matrix in relation to forms of classes
MLO code Student after module completion has the knowledge/ knows how to/is able to Form of classes
Lecture
Audit. classes
Lab. classes
Project classes
Conv. seminar
Seminar classes
Pract. classes
Zaj. terenowe
Zaj. warsztatowe
Others
E-learning
Social competence
M_K001 umie ocenić stopień zrozumienia przez siebie problemu i brakujące elementy rozumowania + - - - - - - - - - -
Skills
M_U001 potrafi ze zrozumieniem przedstawić w mowie i piśmie poznane na wykładzie dowody twierdzeń + - - - - - - - - - -
M_U002 potrafi samodzielnie przeprowadzić proste dowody wykorzystując poznaną wiedzę z teorii sterowania stochastycznego w czasie dyskretnym + - - - - - - - - - -
M_U003 potrafi wykorzystać wiedzę z innych działów matematyki (analiza, rrachunek prawdopodobieństwa, teoria procesów Markowa) + - - - - - - - - - -
Knowledge
M_W001 zna podstawowe pojęcia i twierdzenia teorii sterowania stochastycznego (zasada programowania dynamicznego, problem optymalnego stopowania, problemy liniowo kwadratowe) + - - - - - - - - - -
M_W002 zna przykłady modelowania matematycznego wykorzystującego teorię sterowania stochastycznego w czasie dyskretnym + - - - - - - - - - -
M_W003 zna najważniejsze metody rozwiażywania zagadnien optymalizacyjnych w czasie dyskretnym + - - - - - - - - - -
Module content
Lectures:

1. Pojęcia wstępne. Przykłady wprowadzające (problem inwestora, sekretarki, problem wymiany samochodu). Markowskie modele decyzyjne. Problem optymalnego sterowania na skończonym odcinku czasowym.
2. Programowanie dynamiczne. Twierdzenie Bellmana dla problemu sterowania na skończonym przedziale czasowym.
3. Przypadek szczególny funkcjonału zysku lub kosztu.
4. Rozwiązanie problemu Samuelsona optymalnej konsumpcji i inwestycji.
5. Sterowanie na nieskończonym przedziale czasowym.
6. Problem Samuelsona na nieskończonym przedziale czasowym.
8. Rozwiązanie problemu liniowo-kwadratowego (liniowa dynamika stanów i kwadratowy funkcjonał kosztu).
9. Optymalne stopowanie. Twierdzenie Bellmana dla problemu optymalnego stopowania na skończonym przedziale czasowym
10. Optymalne stopowanie na nieskończonym przedziale czasowym.
11. Zastosowania do problemu wyboru (sekretarki, wynajmu apartamentu).
12. Problem liniowo-kwadratowy.
13 . Sterowanie z ergodycznym funkcjonałem kosztów. Równania Bellmana-Howarda.
14. Algorytm Howarda.
15. Zastosowanie do problemu Howarda (minimalizacji kosztów utrzymania na jednostkę czasu).

Student workload (ECTS credits balance)
Student activity form Student workload
Summary student workload 60 h
Module ECTS credits 2 ECTS
Participation in lectures 30 h
Realization of independently performed tasks 28 h
Examination or Final test 2 h
Additional information
Method of calculating the final grade:
  1. Ocenę końcową OK wyznacza się na podstawie średniej ważonej SW obliczonej według wzoru
    SW = 1/2 OPk + 1/2 OKZ,
    gdzie OPk jest oceną uzyskaną z pracy końcowej, a OKZ jest oceną uzyskaną z kolokwium zaliczeniowego.
  2. Ocena końcowa OK jest obliczana według algorytmu:
    Jeżeli SW ≥ 4.75, to OK = 5.0 (bdb),
    jeżeli 4.75 > SW ≥ 4.25, to OK = 4.5 (db),
    jeżeli 4.25 > SW ≥ 3.75, to OK = 4.0 (db),
    jeżeli 3.75 > SW ≥ 3.25, to OK = 3.5 (dst),
    jeżeli 3.25 > SW ≥ 3.00, to OK = 3.0 (dst).
  3. Niewielkie odstępstwa są możliwe w zależności od kompetencji egzaminowanego wykazanej w czasie egzaminu.
Prerequisites and additional requirements:

Prerequisites and additional requirements not specified

Recommended literature and teaching resources:
  1. D.P. Bertsekas, S.E. Shreve, Stochastic optimal control: the discrete time case, Academic Press, New York 1978.
  2. H. Kushner, Introduction to stochastic control, New York 1971.
  3. J.R. Norris, Markov Chains, Cambridge Univ. Press 1997.
  4. S. Peszat, J. Zabczyk, Wstęp teorii sterowania stochastycznego w czasie dyskretnym (notatki do wykładu w formie pliku pdf).
  5. J. Zabczyk, Chance and decision, stochastic control in discrete time. Quaderni SNS, Pisa 1996.
Scientific publications of module course instructors related to the topic of the module:

1. Peszat, S.; Zabczyk, J.; Time regularity of solutions to linear equations with Lévy noise in infinite dimensions; Stochastic Processes Appl. 123, No. 3, 719-751 (2013).

2. Peszat, S.; Lévy-Ornstein-Uhlenbeck transition semigroup as second quantized operator; J. Funct. Anal. 260, No. 12, 3457-3473 (2011).

3. Szymon PESZAT, Samy Tindel; Stochastic heat and wave equations on a Lie group,
Stochastic Analysis & Applications 2010 vol. 28 iss. 4, s. 662–695.

Additional information:

None