Module also offered within study programmes:
General information:
Name:
Deep neural networks
Course of study:
2019/2020
Code:
ZSDA-3-0153-s
Faculty of:
Szkoła Doktorska AGH
Study level:
Third-cycle studies
Specialty:
-
Field of study:
Szkoła Doktorska AGH
Semester:
0
Profile of education:
Academic (A)
Lecture language:
Polish
Form and type of study:
Full-time studies
Responsible teacher:
dr hab. inż. Jaworek-Korjakowska Joanna (jaworek@agh.edu.pl)
Dyscypliny:
automatyka, elektronika i elektrotechnika, informatyka techniczna i telekomunikacja
Module summary

Celem zajęc jest przybliżenie studentom praktycznej wiedzy z zakresu sztucznej inteligencji w szczególności z głębokich sieci neuronowych. W trakcie wykładu przedstawione zostaną wykorzystywane obecnie techniki, algorytmy oraz narzędzia. Poruszane zagadnienia będą użyte między innymi podczas ćwiczeń laboratoryjnych do rozwiązania problemów z dziedziny rozpoznawania obrazów oraz analizy sygnałów.

Description of learning outcomes for module
MLO code Student after module completion has the knowledge/ knows how to/is able to Connections with FLO Method of learning outcomes verification (form of completion)
Social competence: is able to
M_K001 Potrafi zaproponować ulepszenie oraz optymalizację zaimplementowanego algorytmu głębokich sieci neuronowych. Potrafi przeanalizować wyniki i na ich podstawie sformułować wnioski. SDA3A_K02 Activity during classes
M_K002 Zna i rozumie potrzebę wykorzystania zaawansowanych metod głębokich sieci neuronowych. Potrafi w sposób samodzielny i kreatywny wybrać odpowiednie rozwiązanie dla określonego problemu badawczego. SDA3A_K01 Activity during classes
Skills: he can
M_U001 Potrafi przygotować dokumentację zaimplementowanego rozwiązania ze szczegółowym omówieniem wyników, wyciągnąć wnioski oraz wyczerpująco je uzasadnić. SDA3A_U03, SDA3A_U01 Activity during classes
M_U002 Potrafi pozyskiwać informacje o zaawansowanych i aktualnych metodach głębokiego uczenia oraz wykorzystywać je podczas implementowania rozwiązań algorytmicznych. SDA3A_U01 Activity during classes
Knowledge: he knows and understands
M_W001 Zna podstawowe i zaawansowane metody sztucznej inteligencji w tym głębokie sieci neuronowe, zasady ich działania oraz możliwości zastosowania SDA3A_W01 Activity during classes
M_W002 Zna narzędzia i środowiska do tworzenia i rozbudowy systemów informatycznych wykorzystujących głębokie sieci neuronowe. SDA3A_W03 Execution of laboratory classes,
Execution of exercises
Number of hours for each form of classes:
Sum (hours)
Lecture
Audit. classes
Lab. classes
Project classes
Conv. seminar
Seminar classes
Pract. classes
Zaj. terenowe
Zaj. warsztatowe
Prace kontr. przejść.
Lektorat
28 14 0 14 0 0 0 0 0 0 0 0
FLO matrix in relation to forms of classes
MLO code Student after module completion has the knowledge/ knows how to/is able to Form of classes
Lecture
Audit. classes
Lab. classes
Project classes
Conv. seminar
Seminar classes
Pract. classes
Zaj. terenowe
Zaj. warsztatowe
Prace kontr. przejść.
Lektorat
Social competence
M_K001 Potrafi zaproponować ulepszenie oraz optymalizację zaimplementowanego algorytmu głębokich sieci neuronowych. Potrafi przeanalizować wyniki i na ich podstawie sformułować wnioski. - - + - - - - - - - -
M_K002 Zna i rozumie potrzebę wykorzystania zaawansowanych metod głębokich sieci neuronowych. Potrafi w sposób samodzielny i kreatywny wybrać odpowiednie rozwiązanie dla określonego problemu badawczego. + - + - - - - - - - -
Skills
M_U001 Potrafi przygotować dokumentację zaimplementowanego rozwiązania ze szczegółowym omówieniem wyników, wyciągnąć wnioski oraz wyczerpująco je uzasadnić. - - + - - - - - - - -
M_U002 Potrafi pozyskiwać informacje o zaawansowanych i aktualnych metodach głębokiego uczenia oraz wykorzystywać je podczas implementowania rozwiązań algorytmicznych. + - + - - - - - - - -
Knowledge
M_W001 Zna podstawowe i zaawansowane metody sztucznej inteligencji w tym głębokie sieci neuronowe, zasady ich działania oraz możliwości zastosowania + - + - - - - - - - -
M_W002 Zna narzędzia i środowiska do tworzenia i rozbudowy systemów informatycznych wykorzystujących głębokie sieci neuronowe. + - + - - - - - - - -
Student workload (ECTS credits balance)
Student activity form Student workload
Summary student workload 28 h
Module ECTS credits 3 ECTS
Udział w zajęciach dydaktycznych/praktyka 28 h
Module content
Lectures (14h):

1. Wprowadzenie do sztucznej inteligencji, głębokich sieci neuronowych. Powtórka z podstawowych zagadnień z uczenia maszynowego: czym jest uczenie maszynowe, uczenie nadzorowane i nienadzorowane, regresja, klasyfikacja, funkcja błędu. Regresja liniowa i logistyczna. Ocena jakości modelu, regularyzacja, optymalizacja hiperparametrów.

2. Podstawy sieci neuronowych i głębokiego uczenia: funkcja aktywacji, straty, hiperparametry, definicja głębokiego uczenia, bloki konstrukcyjne sieci głębokich

3. Topologia konwolucyjnych sieci neuronowych.
4. Zastosowanie konwolucyjnych sieci neuronowych w praktyce: rozpoznawanie obrazów.

5. Rekurencyjne sieci neuronowe (RNN) i uczenie sekwencji. Warstwy LSTM i GRU. Zaawansowane zastosowania rekurencyjnych sieci neuronowych do prognozowania wartości.

6. Wprowadzenie do autoenkoderów. Metody regularyzacji, odszumianie oraz ocena wydajności stosów autoenkoderów.

7. Zaawansowane praktyki uczenia głębokiego. Wykorzystanie transferu wiedzy.

Laboratory classes (14h):

1. Wprowadzenie do uczenia głębokiego z wykorzystaniem Pythona. Popularne biblioteki open source – wprowadzenie.
2-3. Wykorzystanie konwolucyjnych sieci neuronowych do rozpoznawania obrazów.
4. Rozpoznawanie mowy przy pomocy rekurencyjnych sieci neuronowych.
5. Generowanie obrazów przy użyciu wariacyjnych autoenkoderów
6. Wykorzystanie wcześniej wytrenowanej konwolucyjnej sieci neuronowej (np. VGG-16, VGG-19, ResNet) do transferu stylu.
7. Podsumowanie zajęć, kolokwium.

Additional information
Teaching methods and techniques:
  • Lectures: Wykład: Treści prezentowane na wykładzie są przekazywane w formie prezentacji multimedialnej w połączeniu z klasycznym wykładem tablicowym wzbogaconymi o pokazy odnoszące się do prezentowanych zagadnień.
  • Laboratory classes: Ćwiczenia laboratoryjne: W trakcie zajęć laboratoryjnych studenci samodzielnie rozwiązują zadany problem praktyczny, dobierając odpowiednie narzędzia. Prowadzący stymuluje grupę do refleksji nad problemem, tak by otrzymane wyniki miały wysoką wartość merytoryczną.
Warunki i sposób zaliczenia poszczególnych form zajęć, w tym zasady zaliczeń poprawkowych, a także warunki dopuszczenia do egzaminu:

Laboratorium:
1. Warunkiem uczestnictwa w zajęciach laboratoryjnych jest dokonanie zapisu na kurs e-learningowy na platformie AGH.
2.Obecność na zajęciach jest obowiązkowa, dopuszczalna jest jedna nieusprawiedliwiona nieobecność. Laboratoria zaległe należy odrobić w ciągu tygodnia od powrotu na uczelnię po nieobecności, w trakcie zajęć pozostałych grup na roku lub podczas konsultacji. Nieodrobienie zajęć (brak sprawozdania) w tym okresie skutkować będzie definitywnym brakiem zaliczenia danego ćwiczenia. Dopuszczalne jest jedno niezaliczone ćwiczenie.

Kolokwium:
W trakcie semestru odbędzie się jedno kolokwium zaliczeniowe (pod koniec semestru). Wymagane jest uzyskanie powyżej 50 % punktów z kolokwium.
Studentom przysługuje możliwość jednokrotnej poprawy danego kolokwium.

Participation rules in classes:
  • Lectures:
    – Attendance is mandatory: Yes
    – Participation rules in classes: Wykład: – Obecność obowiązkowa: Tak – Zasady udziału w zajęciach: Studenci uczestniczą w zajęciach poznając kolejne treści nauczania zgodnie z syllabusem przedmiotu. Studenci winni na bieżąco zadawać pytania i wyjaśniać wątpliwości. Rejestracja audiowizualna wykładu wymaga zgody prowadzącego.
  • Laboratory classes:
    – Attendance is mandatory: Yes
    – Participation rules in classes: Ćwiczenia laboratoryjne: – Obecność obowiązkowa: Tak – Zasady udziału w zajęciach: Studenci wykonują ćwiczenia laboratoryjne zgodnie z materiałami udostępnionymi przez prowadzącego. Student jest zobowiązany do przygotowania się w przedmiocie wykonywanego ćwiczenia, co może zostać zweryfikowane kolokwium w formie ustnej lub pisemnej. Zaliczenie zajęć odbywa się na podstawie zaprezentowania rozwiązania postawionego problemu. Zaliczenie modułu jest możliwe po zaliczeniu wszystkich zajęć laboratoryjnych.
Method of calculating the final grade:

Ocena końcowa (OK) jest wyznaczana na podstawie oceny z kolokwium (K1)

OK=K1

Sposób i tryb wyrównywania zaległości powstałych wskutek nieobecności studenta na zajęciach:

Obecność na zajęciach jest obowiązkowa, dopuszczalna jest jedna nieusprawiedliwiona nieobecność. Laboratoria zaległe należy odrobić w ciągu tygodnia od powrotu na uczelnię po nieobecności, w trakcie zajęć pozostałych grup na roku lub podczas konsultacji. Nieodrobienie zajęć (brak sprawozdania) w tym okresie skutkować będzie definitywnym brakiem zaliczenia danego ćwiczenia. Dopuszczalne jest jedno niezaliczone ćwiczenie.

Prerequisites and additional requirements:

Znajomość programowania w Pythonie.
Znajomość podstaw logiki, rachunku zdań oraz predykatów.
Podstawowe zagadnienia z algebry oraz rachunku macierzowego.

Recommended literature and teaching resources:

Książki – podręczniki dotyczące głębokich sieci neuronowych (deep learning)
oraz w wersji online
http://neuralnetworksanddeeplearning.com/
http://www.deeplearningbook.org/

Scientific publications of module course instructors related to the topic of the module:

1 J. Jaworek-Korjakowska: Computer-aided diagnosis of micro-malignant melanoma lesions applying support vector machines, BioMed Research International, 2016, s. 1–8
2 J. Jaworek-Korjakowska, P. Kłeczek: Automatic classification of specific melanocytic lesions using artificial intelligence, BioMed Research International, 2016, s. 1–17
3 J.Jaworek-Korjakowska: Artificial neural networks in the diagnosis of pigmented skin lesions: a review., Bio-Algorithms and Med-Systems, 2015 vol. 11 iss. 2, s. 36
4 T. Pięciak, J. Jaworek-Korjakowska, M.Gorgoń: Neural Networks for Medical Image Processing, Bio-Algorithms and Med-Systems, Vol. 7, No. 4, 2011, s 101-110

Additional information:

Zajęcia laboratoryjne są wspomagane za pomocą kursu na platformie e-learningowej AGH.
Wszystkie materiały dostępne są na stronie home.agh.edu.pl/mdig