Moduł oferowany także w ramach programów studiów:
Informacje ogólne:
Nazwa:
Obliczeniowa teoria uczenia się
Tok studiów:
2014/2015
Kod:
IIN-1-709-s
Wydział:
Informatyki, Elektroniki i Telekomunikacji
Poziom studiów:
Studia I stopnia
Specjalność:
-
Kierunek:
Informatyka
Semestr:
7
Profil kształcenia:
Ogólnoakademicki (A)
Język wykładowy:
Polski
Forma i tryb studiów:
Stacjonarne
Osoba odpowiedzialna:
dr inż. Orchel Marcin (morchel@agh.edu.pl)
Osoby prowadzące:
dr inż. Orchel Marcin (morchel@agh.edu.pl)
Krótka charakterystyka modułu

Moduł ma na celu wstępne zapoznanie studentów z teoretycznymi modelami uczenia maszynowego oraz metodami, które bazują na tych modelach.

Opis efektów kształcenia dla modułu zajęć
Kod EKM Student, który zaliczył moduł zajęć wie/umie/potrafi Powiązania z EKK Sposób weryfikacji efektów kształcenia (forma zaliczeń)
Wiedza
M_W001 Ma wiedzę i rozumie pojęcia związane z modelami teoretycznymi uczenia maszynowego takimi jak klasyfikator Bayesowski. IN1A_W04 Kolokwium
M_W002 Ma pogłębioną wiedzę oraz rozumie zastosowanie teorii prawdpodobieństwa do budowy modeli uczenia maszynowego. IN1A_W04 Kolokwium
M_W003 Ma uporządkowaną wiedzę w zakresie metod uczenia maszynowego opartych na przedstawionych teoretycznych modelach, takich jak klasyfikatory LDA, QDA, SVM. IN1A_W04 Kolokwium
Umiejętności
M_U001 Potrafi porównać jakość predykcji wybranych metod uczenia maszynowego na syntetycznych i rzeczywistych zbiorach danych. IN1A_U13, IN1A_U09, IN1A_U11, IN1A_U08 Kolokwium
M_U002 Potrafi wykorzystywać oraz zna ograniczenia wybranych bibliotek uczenia maszynowego. IN1A_U13 Kolokwium
Kompetencje społeczne
M_K001 Potrafi pomagać innym w grupie w implementacji rozwiązań, analizie wyników jakości metod uczenia maszynowego, oraz dzieli się swoimi pomysłami na sposób rozwiązania zadań. IN1A_K03 Aktywność na zajęciach
Matryca efektów kształcenia w odniesieniu do form zajęć
Kod EKM Student, który zaliczył moduł zajęć wie/umie/potrafi Forma zajęć
Wykład
Ćwicz. aud
Ćwicz. lab
Ćw. proj.
Konw.
Zaj. sem.
Zaj. prakt
Zaj. terenowe
Zaj. warsztatowe
Inne
E-learning
Wiedza
M_W001 Ma wiedzę i rozumie pojęcia związane z modelami teoretycznymi uczenia maszynowego takimi jak klasyfikator Bayesowski. + - - - - - - - - - -
M_W002 Ma pogłębioną wiedzę oraz rozumie zastosowanie teorii prawdpodobieństwa do budowy modeli uczenia maszynowego. + - - - - - - - - - -
M_W003 Ma uporządkowaną wiedzę w zakresie metod uczenia maszynowego opartych na przedstawionych teoretycznych modelach, takich jak klasyfikatory LDA, QDA, SVM. + - - - - - - - - - -
Umiejętności
M_U001 Potrafi porównać jakość predykcji wybranych metod uczenia maszynowego na syntetycznych i rzeczywistych zbiorach danych. - - + - - - - - - - -
M_U002 Potrafi wykorzystywać oraz zna ograniczenia wybranych bibliotek uczenia maszynowego. - - + - - - - - - - -
Kompetencje społeczne
M_K001 Potrafi pomagać innym w grupie w implementacji rozwiązań, analizie wyników jakości metod uczenia maszynowego, oraz dzieli się swoimi pomysłami na sposób rozwiązania zadań. - - + - - - - - - - -
Treść modułu zajęć (program wykładów i pozostałych zajęć)
Wykład:
  1. Wstęp

    Definicja uczenia maszynowego, wnioskowanie indukcyjne, szkoły uczenia maszynowego, przykłady, przestrzeń hipotez, tendencyjność, wariancja, drzewa decyzyjne.
    ok. 90 minut

  2. Prawdopodobieństwo w uczeniu maszynowym

    Twierdzenie Bernoulliego, centralne twierdzenie graniczne, subiektywna interpretacja prawdopodobieństwa, prawdopodobieństwo jako miara, prawo Borela, zasada nieprawdopodobieństwa, prawo nieuchronności, prawo naprawdę wielkich liczb, efekt look-elsewhere, prawo selekcji, prawo dźwigni prawdopodobieństwa, prawo mniej więcej. Klasyfikator Bayesowski, zgodność klasyfikatora, optymalność. Klasyfikator Bayesowski dla wielu klas. Model klasyfikatora bazujący na teorii miary.
    ok. 90 minut

  3. Prawdopodobieństwo w uczeniu maszynowym 2

    Błąd w uczeniu się pojęć, szacowanie błędów hipotez, estymacja przedziałowa, przedziały ufności dla błędu rzeczywistego. Model PAC.
    ok. 90 minut

  4. Analiza przykładów dla modelu PAC

    Spójny algorytm uczenia się, ograniczenie Hoeffdinga, niespójne algorytmy uczenia się. Wymiar Vapnika-Chervonenkisa, ograniczenie wymiaru, brzytwa Ockhama.
    ok. 90 minut

  5. Teoria VC

    Wymiar VC, estymacja błędu. Zasada SRM. Optymalizacja. Problemy optymalizacyjne. Maszyny wektorów wspierających. Radialne funkcje bazowe.
    ok. 90 minut

  6. Metody jądrowe

    Warunek Mercera. Jądro normalne. Wyprowadzenie funkcji phi dla jądra normalnego.
    ok. 90 minut

  7. Modele wieloparametrowe

    Model neuronu. Powiązanie z SVM. Twierdzenie Kołmogorowa.
    ok. 90 minut

Ćwiczenia laboratoryjne:
  1. Drzewa decyzyjne

    Drzewa klasyfikacyjne. Metoda CART. Optymalna wielkość drzewa klasyfikacyjnego.
    2 godz

  2. Klasyfikatory Gaussowskie

    Klasyfikator Bayesa dla rozkładów normalnych. LDA. QDA.
    2 godz

  3. Klasyfikacja oparta na nieparametrycznej estymacji

    Estymatory jądrowe. KDE.
    2 godz

  4. Liniowe maszyny wektorów wspierających

    Walidacja krzyżowa.
    2 godz

  5. Nieliniowe maszyny wektorów wspierających

    Funkcja jądrowa wielomianowa i RBF. Problem regresji.
    2 godz

  6. Kolokwium na komputerach

    2 godz

  7. Sieci neuronowe

    Tuning hiperparametrów.
    2 godz

Nakład pracy studenta (bilans punktów ECTS)
Forma aktywności studenta Obciążenie studenta
Sumaryczne obciążenie pracą studenta 75 godz
Punkty ECTS za moduł 3 ECTS
Udział w wykładach 14 godz
Samodzielne studiowanie tematyki zajęć 32 godz
Udział w ćwiczeniach laboratoryjnych 14 godz
Przygotowanie do zajęć 15 godz
Pozostałe informacje
Sposób obliczania oceny końcowej:

1. Sposób i tryb wyrównania zaległości powstałych wskutek nieobecności studenta na moich zajęciach to napisanie zaległych kolokwiów. Maksymalna liczba nieusprawiedliwionych nieobecności na zajęciach wynosi 20% wszystkich planowych zajęć zaokrąglone do góry. W przypadku niespełnienia tego wymogu wpisywana jest ocena nb w rubryce pierwszy termin w WD.
2. Oceny cząstkowe mogą być wystawiane z kolokwiów.
3. Warunkiem koniecznym zaliczenia zajęć jest zdobycie wszystkich ocen cząstkowych co najmniej na 50 pkt.
4. Aktywność na zajęciach premiowana jest plusami. Plusy to dodatkowe punkty. Można zdobyć maksymalnie jednego plusa do jednych zajęć.
5. Zaliczenie w trybie poprawkowym polega na poprawie niedostatecznych ocen cząstkowych oraz na napisaniu zaległych kolokwiów. Student ma prawo do jednego zaliczenia poprawkowego zajęć.
6. Opcjonalnie może zostać zorganizowane dodatkowo zaliczenie w trybie poprawkowym uproszczonym, z uproszczoną formą poprawy niedostatecznych ocen cząstkowych dla osób z niewielką brakującą liczbą punktów do oceny cząstkowej pozytywnej (możliwa brakująca liczba punktów definiowana jest po terminie podstawowym). Zaliczenie w trybie poprawkowym uproszczonym umożliwia poprawę ocen cząstkowych maksymalnie na ocenę 3.0.
7. Nie ma możliwości poprawy pozytywnych ocen.
8. Ocena z zajęć jest średnią ważoną ocen cząstkowych (punktowych) z dodatkowymi punktami za plusy, zmodyfikowaną o maksymalnie jeden stopień w górę lub dół w uzasadnionych przypadkach. W szczególnych przypadkach możliwa jest kalibracja ocen cząstkowych dla wszystkich studentów za pomocą dodania określonej liczby punktów.
9. Wszelkie informacje istotne dla zaliczenia powinny być w formie pisemnej, wpisane na platformie upel, nawet gdy zostały przekazane ustnie. Wszystkie pytania odnośnie zaliczenia powinny być w formie pisemnej.
10. Dotyczy kolokwiów.
– Kolokwium składa się z zadań. Punkty przyznawane są wyszczególnionym podzadaniom. Podzadania sprawdzane są pod kątem występowania dużego/średniego/małego błędu (małego/średniego/dużego postępu).
11. Przepisanie oceny możliwe jest tylko przez Dziekana. Z regulaminu studiów: W przypadku przedmiotów powtórnie zaliczanych Dziekan Wydziału w porozumieniu z prowadzącym przedmiot na wniosek studenta może go zwolnić z obowiązku ponownego udziału w niektórych zajęciach z tego przedmiotu, przepisując mu oceny z zaliczonych zajęć, jeżeli w międzyczasie nie nastąpiły zmiany w efektach kształcenia uzyskiwanych w ramach ich realizacji.
12. Wg regulaminu nieprzystąpienie do zaliczenia zajęć (a więc m.in. do kolokwiów) musi zostać zgłoszone co najmniej tydzień wcześniej. „Prowadzący zajęcia może uznać za usprawiedliwione nieprzystąpienie do zaliczenia zajęć na wniosek studenta złożony najpóźniej w terminie 7 dni od ustalonego terminu zaliczenia. W tym przypadku § 16 ust. 13 stosuje się odpowiednio.” Wniosek powinien być złożony w formie pisemnej np. emailem lub w moodle.
13. Ocena z przedmiotu jest średnią oceny z zajęć. Warunkiem koniecznym pozytywnej oceny z przedmiotu jest pozytywna ocena z zajęć. Średnia wszystkich ocen jest zaokrąglana wg następującej reguły od 3,00 dostateczny (3.0), od 3,21 plus dostateczny (3.5), od 3,71 dobry (4.0), od 4,21 plus dobry (4.5), od 4,71 bardzo dobry (5.0).
14. Proponowany harmonogram zaliczeń to jeśli jest jedno kolokwium to na przedostatnich zajęciach. Na ostatnich zajęciach kolokwium poprawkowe.
15. Domyślny termin ogłoszenia wyników zaliczeń to 5 dni.

Pozostałe uwagi
1. Dotyczy ocen
Oceny końcowe w moodle są ustalane w skali 0-100 odpowiadającej skali AGH, czyli
[90,100] bardzo dobry (5.0)
[80-90) plus dobry (4.5)
[70-80) dobry (4.0)
[60-70) plus dostateczny (3.5)
[50-60) dostateczny (3.0)
poniżej 50 niedostateczny (2.0)

2. Dotyczy kolokwiów:
– Gdy podzadanie jest za 25 pkt. to duży błąd (mały postęp) max 7 pkt., średni błąd (średni postęp) max 13 pkt., mały błąd (duży postęp) max 19 pkt. Gdy podzadanie jest za 20 pkt. to duży błąd (mały postęp) max 5 pkt., średni błąd (średni postęp) max 10 pkt., mały błąd (duży postęp) max 15 pkt. Gdy podzadanie jest za 15 pkt. to duży błąd (mały postęp) max 4 pkt., średni błąd (średni postęp) max 8 pkt., mały błąd (duży postęp) max 12 pkt. Gdy podzadanie jest za 10 pkt. to duży błąd (mały postęp) max 3 pkt., średni błąd (średni postęp) max 5 pkt., mały błąd max 8 pkt. Gdy podzadanie jest za 5 pkt. to duży błąd (mały postęp) max 2 pkt., średni błąd (średni postęp) max 3 pkt., mały błąd (duży postęp) max 4 pkt.
– Kolokwia na komputerach pisane są tylko na komputerach uczelnianych.
– Podczas pisania kolokwiów proszę zwrócić uwagę na odpowiadanie na pytania, bez zbędnych, dodatkowych informacji, które i tak nie będą oceniane.
– Podczas pisania kolokwiów proszę zwrócić uwagę na czytelność rozwiązań.
3. Standardowa liczba studentów to 12 osób na ćwiczeniach laboratoryjnych. Maksymalna liczba studentów na ćwiczeniach laboratoryjnych to 15 osób. Ze względu na limity oraz dbanie o jakość kształcenia, przychodzenie na zajęcia innych grup w celu odrabiania zajęć jest możliwe tylko w obrębie powyższych maksymalnych limitów, poinformowaniu prowadzącego przed zajęciami oraz napisaniu na liście obecności grupy, tylko w przypadku wolnych stanowisk komputerowych (lub przyniesienia własnego laptopa gdy jest dostępne miejsce). Można odrabiać zajęcia w innej grupie ale tylko z tego samego tematu, którego dotyczy odrabianie zajęć.

Szczegółowe zasady zaliczenia:

Kolokwium: waga 1.0
Każdy z plusów: 5 pkt.

Wymagania wstępne i dodatkowe:

- znajomość podstaw uczenia maszynowego
- znajomość podstaw teorii prawdopodobieństwa

Zalecana literatura i pomoce naukowe:

Literatura podstawowa
1. Paweł Cichosz, Systemy uczące się, Wydawnictwa Naukowo-Techniczne, 2007
2. Mirosław Krzyśko i in., Systemy uczące się, Wydawnictwa Naukowo-Techniczne, 2008
3. Pedro Domingos, Naczelny algorytm, jak jego odkrycie zmieni świat, Helion, 2016
4. Wybrane źródła internetowe.

Literatura uzupełniająca
1. N. Cristianini and J. Shawe-Taylor. An introduction to support vector machines : and other kernel-based learning methods. Cambridge University Press, 2000.
2. B. Scholkopf, and A. Smola, Learning with Kernels. MIT Press, 2002.
3. Mehryar Mohri, Foundations of Machine Learning, MIT Press, 2012.
4. S. Shalev-Shwartz and S. Ben-David, Understanding Machine Learning: From Theory to Algorithms, Cambridge University Press, 2014
5. M.J. Kearns and U.V. Vazirani. An Introduction to Computational Learning Theory , MIT Press, Cambridge, MA, 1995.
6. M. Anthony and N. Biggs. Computational Learning Theory, Cambridge University Press, 1992.

Publikacje naukowe osób prowadzących zajęcia związane z tematyką modułu:

1. Clustering by support vector manifold learning. IJCNN 2017: 1087-1094
2. Solving classification problems by knowledge sets. Neurocomputing 149: 1109-1124 (2015)
3. Balanced Support Vector Regression. ICAISC 2015: 727-738
4. Support vector regression based on data shifting. Neurocomputing 96: 2-11 (2012)

Informacje dodatkowe:

Brak