Module also offered within study programmes:
General information:
Name:
Stochastic Control in Discrete Time
Course of study:
2019/2020
Code:
AMAT-2-402-MZ-s
Faculty of:
Applied Mathematics
Study level:
Second-cycle studies
Specialty:
Mathematics in Management
Field of study:
Mathematics
Semester:
4
Profile of education:
Academic (A)
Lecture language:
Polish
Form and type of study:
Full-time studies
Course homepage:
 
Responsible teacher:
prof. dr hab. Peszat Szymon (napeszat@cyf-kr.edu.pl)
Module summary

Przykłady modelowania matematycznego wykorzystującego teorię sterowania stochastycznego w czasie dyskretnym.

Description of learning outcomes for module
MLO code Student after module completion has the knowledge/ knows how to/is able to Connections with FLO Method of learning outcomes verification (form of completion)
Social competence: is able to
M_K001 umie ocenić stopień zrozumienia przez siebie problemu i brakujące elementy rozumowania MAT2A_K01 Activity during classes
Skills: he can
M_U001 potrafi samodzielnie przeprowadzić proste dowody wykorzystując poznaną wiedzę z teorii sterowania stochastycznego w czasie dyskretnym MAT2A_U04, MAT2A_U02, MAT2A_U01, MAT2A_U18, MAT2A_U15, MAT2A_U11 Examination,
Activity during classes,
Essay
M_U002 potrafi ze zrozumieniem przedstawić w mowie i piśmie poznane na wykładzie dowody twierdzeń MAT2A_U04, MAT2A_U02, MAT2A_U01, MAT2A_U15 Examination,
Activity during classes,
Essay
M_U003 potrafi wykorzystać wiedzę z innych działów matematyki (analiza, rachunek prawdopodobieństwa, teoria procesów Markowa) MAT2A_U04, MAT2A_U11 Examination,
Activity during classes,
Essay
Knowledge: he knows and understands
M_W001 zna przykłady modelowania matematycznego wykorzystującego teorię sterowania stochastycznego w czasie dyskretnym MAT2A_W09, MAT2A_W07, MAT2A_W08 Examination,
Activity during classes,
Essay
M_W002 zna podstawowe pojęcia i twierdzenia teorii sterowania stochastycznego (zasada programowania dynamicznego, problem optymalnego stopowania, problemy liniowo kwadratowe) MAT2A_W05, MAT2A_W09, MAT2A_W04 Examination,
Activity during classes,
Essay
M_W003 zna najważniejsze metody rozwiażywania zagadnien optymalizacyjnych w czasie dyskretnym MAT2A_W05 Examination,
Activity during classes,
Test,
Essay
Number of hours for each form of classes:
Sum (hours)
Lecture
Audit. classes
Lab. classes
Project classes
Conv. seminar
Seminar classes
Pract. classes
Zaj. terenowe
Zaj. warsztatowe
Prace kontr. przejść.
Lektorat
30 30 0 0 0 0 0 0 0 0 0 0
FLO matrix in relation to forms of classes
MLO code Student after module completion has the knowledge/ knows how to/is able to Form of classes
Lecture
Audit. classes
Lab. classes
Project classes
Conv. seminar
Seminar classes
Pract. classes
Zaj. terenowe
Zaj. warsztatowe
Prace kontr. przejść.
Lektorat
Social competence
M_K001 umie ocenić stopień zrozumienia przez siebie problemu i brakujące elementy rozumowania + - - - - - - - - - -
Skills
M_U001 potrafi samodzielnie przeprowadzić proste dowody wykorzystując poznaną wiedzę z teorii sterowania stochastycznego w czasie dyskretnym + - - - - - - - - - -
M_U002 potrafi ze zrozumieniem przedstawić w mowie i piśmie poznane na wykładzie dowody twierdzeń + - - - - - - - - - -
M_U003 potrafi wykorzystać wiedzę z innych działów matematyki (analiza, rachunek prawdopodobieństwa, teoria procesów Markowa) + - - - - - - - - - -
Knowledge
M_W001 zna przykłady modelowania matematycznego wykorzystującego teorię sterowania stochastycznego w czasie dyskretnym + - - - - - - - - - -
M_W002 zna podstawowe pojęcia i twierdzenia teorii sterowania stochastycznego (zasada programowania dynamicznego, problem optymalnego stopowania, problemy liniowo kwadratowe) + - - - - - - - - - -
M_W003 zna najważniejsze metody rozwiażywania zagadnien optymalizacyjnych w czasie dyskretnym + - - - - - - - - - -
Student workload (ECTS credits balance)
Student activity form Student workload
Summary student workload 102 h
Module ECTS credits 4 ECTS
Udział w zajęciach dydaktycznych/praktyka 30 h
Preparation for classes 20 h
Realization of independently performed tasks 50 h
Examination or Final test 2 h
Module content
Lectures (30h):

1. Pojęcia wstępne. Przykłady wprowadzające (problem inwestora, sekretarki, problem wymiany samochodu). Markowskie modele decyzyjne. Problem optymalnego sterowania na skończonym odcinku czasowym.
2. Programowanie dynamiczne. Twierdzenie Bellmana dla problemu sterowania na skończonym przedziale czasowym.
3. Przypadek szczególny funkcjonału zysku lub kosztu.
4. Rozwiązanie problemu Samuelsona optymalnej konsumpcji i inwestycji.
5. Sterowanie na nieskończonym przedziale czasowym.
6. Problem Samuelsona na nieskończonym przedziale czasowym.
8. Rozwiązanie problemu liniowo-kwadratowego (liniowa dynamika stanów i kwadratowy funkcjonał kosztu).
9. Optymalne stopowanie. Twierdzenie Bellmana dla problemu optymalnego stopowania na skończonym przedziale czasowym
10. Optymalne stopowanie na nieskończonym przedziale czasowym.
11. Zastosowania do problemu wyboru (sekretarki, wynajmu apartamentu).
12. Problem liniowo-kwadratowy.
13 . Sterowanie z ergodycznym funkcjonałem kosztów. Równania Bellmana-Howarda.
14. Algorytm Howarda.
15. Zastosowanie do problemu Howarda (minimalizacji kosztów utrzymania na jednostkę czasu).

Additional information
Teaching methods and techniques:
  • Lectures: Treści prezentowane na wykładzie są przekazywane w formie prezentacji multimedialnej w połączeniu z klasycznym wykładem tablicowym wzbogaconymi o pokazy odnoszące się do prezentowanych zagadnień.
Warunki i sposób zaliczenia poszczególnych form zajęć, w tym zasady zaliczeń poprawkowych, a także warunki dopuszczenia do egzaminu:

Participation rules in classes:
  • Lectures:
    – Attendance is mandatory: Yes
    – Participation rules in classes: Studenci uczestniczą w zajęciach poznając kolejne treści nauczania zgodnie z syllabusem przedmiotu. Studenci winni na bieżąco zadawać pytania i wyjaśniać wątpliwości. Rejestracja audiowizualna wykładu wymaga zgody prowadzącego.
Method of calculating the final grade:
  1. Ocenę końcową OK wyznacza się na podstawie średniej ważonej SW obliczonej według wzoru
    SW = 1/2 OPk + 1/2 OKZ,
    gdzie OPk jest oceną uzyskaną z pracy końcowej, a OKZ jest oceną uzyskaną z kolokwium zaliczeniowego.
  2. Ocena końcowa OK jest obliczana według algorytmu:
    Jeżeli SW ≥ 4.75, to OK = 5.0 (bdb),
    jeżeli 4.75 > SW ≥ 4.25, to OK = 4.5 (db),
    jeżeli 4.25 > SW ≥ 3.75, to OK = 4.0 (db),
    jeżeli 3.75 > SW ≥ 3.25, to OK = 3.5 (dst),
    jeżeli 3.25 > SW ≥ 3.00, to OK = 3.0 (dst).
  3. Niewielkie odstępstwa są możliwe w zależności od kompetencji egzaminowanego wykazanej w czasie egzaminu.
Sposób i tryb wyrównywania zaległości powstałych wskutek nieobecności studenta na zajęciach:

Student powinien zgłosić się do prowadzącego w celu ustalenia indywidualnego sposobu nadrobienia zaległości.

Prerequisites and additional requirements:

Prerequisites and additional requirements not specified

Recommended literature and teaching resources:
  1. D.P. Bertsekas, S.E. Shreve, Stochastic optimal control: the discrete time case, Academic Press, New York 1978.
  2. H. Kushner, Introduction to stochastic control, New York 1971.
  3. J.R. Norris, Markov Chains, Cambridge Univ. Press 1997.
  4. S. Peszat, J. Zabczyk, Wstęp teorii sterowania stochastycznego w czasie dyskretnym (notatki do wykładu w formie pliku pdf).
  5. J. Zabczyk, Chance and decision, stochastic control in discrete time. Quaderni SNS, Pisa 1996.
Scientific publications of module course instructors related to the topic of the module:

1. Peszat, S.; Zabczyk, J.; Time regularity of solutions to linear equations with Lévy noise in infinite dimensions; Stochastic Processes Appl. 123, No. 3, 719-751 (2013).

2. Peszat, S.; Lévy-Ornstein-Uhlenbeck transition semigroup as second quantized operator; J. Funct. Anal. 260, No. 12, 3457-3473 (2011).

3. Szymon PESZAT, Samy Tindel; Stochastic heat and wave equations on a Lie group,
Stochastic Analysis & Applications 2010 vol. 28 iss. 4, s. 662–695.

Additional information:

None