Module also offered within study programmes:
General information:
Name:
Multimodal interfaces and HCI research
Course of study:
2019/2020
Code:
HIFS-2-204-s
Faculty of:
Humanities
Study level:
Second-cycle studies
Specialty:
-
Field of study:
Social Informatics
Semester:
2
Profile of education:
Practical (P)
Lecture language:
Polish
Form and type of study:
Full-time studies
Course homepage:
 
Responsible teacher:
dr inż. Igras-Cybulska Magdalena (migras@agh.edu.pl)
Module summary

Celem przedmiotu jest przedstawienie zagadnień związanych z alternatywnymi interfejsami człowiek-komputer oraz informacji, które pozwolą na projektowanie urządzeń i ewaluację skuteczności nowych sposobów interakcji człowieka z maszyną.

Description of learning outcomes for module
MLO code Student after module completion has the knowledge/ knows how to/is able to Connections with FLO Method of learning outcomes verification (form of completion)
Social competence: is able to
M_K001 Zna rolę interfejsów człowiek-maszyna we współczesnej rzeczywistości. IFS2P_W02 Activity during classes
Skills: he can
M_U001 Potrafi wykorzystać praktycznie wiedzę z zakresu metod używanych do analizy sygnałów w urządzeniach wejściowych IFS2P_U01 Execution of exercises,
Execution of a project,
Activity during classes
Knowledge: he knows and understands
M_W001 Zna i rozumie pojęcia związane z interfejsami człowiek-maszyna oraz sposobami interakcji. IFS2P_W01 Execution of exercises,
Execution of a project,
Activity during classes
M_W002 Zna i rozumie wykorzystywane (w urządzeniach wejściowych) technologie oraz praktyczne przykłady ich zastosowań. IFS2P_W02 Execution of exercises,
Execution of a project,
Activity during classes
Number of hours for each form of classes:
Sum (hours)
Lecture
Audit. classes
Lab. classes
Project classes
Conv. seminar
Seminar classes
Pract. classes
Zaj. terenowe
Zaj. warsztatowe
Prace kontr. przejść.
Lektorat
45 0 0 30 0 15 0 0 0 0 0 0
FLO matrix in relation to forms of classes
MLO code Student after module completion has the knowledge/ knows how to/is able to Form of classes
Lecture
Audit. classes
Lab. classes
Project classes
Conv. seminar
Seminar classes
Pract. classes
Zaj. terenowe
Zaj. warsztatowe
Prace kontr. przejść.
Lektorat
Social competence
M_K001 Zna rolę interfejsów człowiek-maszyna we współczesnej rzeczywistości. - - + - + - - - - - -
Skills
M_U001 Potrafi wykorzystać praktycznie wiedzę z zakresu metod używanych do analizy sygnałów w urządzeniach wejściowych - - + - + - - - - - -
Knowledge
M_W001 Zna i rozumie pojęcia związane z interfejsami człowiek-maszyna oraz sposobami interakcji. - - + - + - - - - - -
M_W002 Zna i rozumie wykorzystywane (w urządzeniach wejściowych) technologie oraz praktyczne przykłady ich zastosowań. - - + - + - - - - - -
Student workload (ECTS credits balance)
Student activity form Student workload
Summary student workload 79 h
Module ECTS credits 3 ECTS
Udział w zajęciach dydaktycznych/praktyka 45 h
Preparation for classes 10 h
przygotowanie projektu, prezentacji, pracy pisemnej, sprawozdania 20 h
Examination or Final test 1 h
Contact hours 3 h
Module content
Laboratory classes (30h):

Akwizycja sygnałów dla potrzeb systemów multimodalnych.
Detekcja ruchu na sekwencji video i jej wykorzystanie do sterowania
Ewaluacja interfejsów wejściowych wykorzystywanych w komunikacji człowiek-komputer.
Praktyczne zadania związane z interfejsami człowiek-maszyna (praca w grupach). Przykładowe tematy: sterowanie gestami rąk, wykorzystanie kontrolerów do sterowania, interfejs mutlitouch, interfejsy głosowe, haptyczne, eyetracking, EEG.

Conversation seminar (15h):

Konwersatorium stanowi omówienie w perspektywie teoretycznej i pokazanie przykładów zastosowań tematów, które będą rozwijane w ramach warsztatów.
Tematyka obejmie:
Akwizycja sygnałów dla potrzeb systemów multimodalnych.
Detekcja ruchu na sekwencji video i jej wykorzystanie do sterowania
Ewaluacja interfejsów wejściowych wykorzystywanych w komunikacji człowiek-komputer.
Praktyczne zadania związane z interfejsami człowiek-maszyna (praca w grupach). Przykładowe tematy: sterowanie gestami rąk, wykorzystanie kontrolerów do sterowania, interfejs mutlitouch, interfejsy głosowe, haptyczne, eyetracking, EEG.

Additional information
Teaching methods and techniques:
  • Laboratory classes: W trakcie zajęć laboratoryjnych studenci samodzielnie rozwiązują zadany problem praktyczny, dobierając odpowiednie narzędzia. Prowadzący stymuluje grupę do refleksji nad problemem, tak by otrzymane wyniki miały wysoką wartość merytoryczną.
  • Conversation seminar: Nie określono
Warunki i sposób zaliczenia poszczególnych form zajęć, w tym zasady zaliczeń poprawkowych, a także warunki dopuszczenia do egzaminu:

Zaliczenie odbywa się poprzez kolokwium i projekt. Sposób zaliczania nie zmienia się w kolejnych terminach.

Participation rules in classes:
  • Laboratory classes:
    – Attendance is mandatory: Yes
    – Participation rules in classes: Studenci wykonują ćwiczenia laboratoryjne zgodnie z materiałami udostępnionymi przez prowadzącego. Student jest zobowiązany do przygotowania się w przedmiocie wykonywanego ćwiczenia, co może zostać zweryfikowane kolokwium w formie ustnej lub pisemnej. Zaliczenie zajęć odbywa się na podstawie zaprezentowania rozwiązania postawionego problemu. Zaliczenie modułu jest możliwe po zaliczeniu wszystkich zajęć laboratoryjnych.
  • Conversation seminar:
    – Attendance is mandatory: Yes
    – Participation rules in classes: Nie określono
Method of calculating the final grade:

Ocena za kolokwium 50% i projekt 50%. Projekt będzie obejmował tematykę związaną z alternatywnymi interfejsami człowiek-komputer oraz informacji, które pozwolą na projektowanie urządzeń i ewaluację skuteczności nowych sposobów interakcji człowieka z maszyną.
Zasady i forma zaliczenia w drugim (w sesji) i trzecim (w sesji poprawkowej) terminie pozostaje bez zmian.

Sposób i tryb wyrównywania zaległości powstałych wskutek nieobecności studenta na zajęciach:

Zaległości student może nadrobić w oparciu o literaturę zaleconą przez wykładowcę. Powstałe zaległości student zalicza w terminie ustalonym z wykładowcą.

Prerequisites and additional requirements:

brak

Recommended literature and teaching resources:

Literatura oraz oprogramowanie z zakresu naturalnych interfejsów użytkownika, interfejsów głosowych, interfejsów oparte na gestach, eye-tracking’u, interfejsów mózg-komputer zostaną studentom dostarczone na zajęciach.

Scientific publications of module course instructors related to the topic of the module:

Doświadczenie osoby odpowiedzialnej za moduł pochodzi z prac w projektach naukowych, projektach B+R, pracy oraz konsultacji przy wdrożeniach projektów komercyjnych.

Przykładowe publikacje:
Postawy wobec robotów w immersyjnych środowiskach wirtualnej rzeczywistości__, M. Igras-Cybulska, A. Cybulski, P. Kolecki (2019) – w druku

Caller identification by voice / Marcin WITKOWSKI, Magdalena IGRAS, Joanna GRZYBOWSKA, Paweł Jaciów, Jakub GAŁKA, Mariusz ZIÓŁKO // W: 2014 XXII annual Pacific Voice Conference (PVC) [Dokument elektroniczny] : Kraków, Poland, 11–13 April 2014 : proceedings / ed. by Bartosz Ziółko, Joanna Grzybowska. — Wersja do Windows. — Dane tekstowe. — Piscataway : IEEE, cop. 2014. — ISBN: 978-1-4799-3700-4. — S. [1–7]. — Wymagania systemowe: Adobe Reader. — Bibliogr. s. 7, Abstr.. — tekst: http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=6845420

Combination of Fourier and wavelet transformations for detection of speech emotions / Mariusz ZIÓŁKO, Paweł Jaciów, Magdalena IGRAS // W: 7th International Conference on Human System Interactions (HSI) : 16–18 June 2014, Costa da Caparica. — USA ; Canada : IEEE, 2014. — ISBN: 978-1-4799-4714-0. — S. 49–54. — Bibliogr. s. 53–54, Abstr.. — W bazie Web of Science dod. seria: Conference on Human System Interaction; ISSN 2158-2246. — tekst: http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=6860447

MFCC-GMM approach to automatic tracking of emotions in speech / M. IGRAS-CYBULSKA // W: 9th European IACCP conference : from a cross-cultural perspective: conflict and cooperation in shaping the future of Europe : Warsaw 16-19 July 2017 : program and the book of abstracts / red. Anna M. Chodynicka, Joanna Więckowska, Marta Penczek. — Warsaw : SWPS University of Social Sciences and Humanities, 2017. — ISBN: 978-83-62443-45-1. — S. 114. — Afiliacja autorki: Akademia Górniczo-Hutnicza

Vocal tract normalisation in computer games / Mariusz ZIÓŁKO, Mariusz MĄSIOR, Bartosz ZIÓŁKO, Magdalena IGRAS // W: Proceedings of the 14th IASTED international conference on Computer Graphics and Imaging (CGIM 2013) ; Proceedings of the 10th IASTED international conference on Signal Processing, Pattern Recognition, and Applications (SPPRA 2013) [Dokument elektroniczny] : February 12–14, 2013 Innsbruck, Austria / L. Linsen, M. Kampel ; International Association of Science and Technology for Development. — Wersja do Windows. — Dane tekstowe. — Anaheim ; Calgary ; Zurich : ACTA Press, cop. 2013. — 1 dysk optyczny. — (A Publication of the International Association of Science and Technology for Development ; 797 ; 798). — e-ISBN: 978-0-88986-944-8. — S. 372–376. — Wymagania systemowe: Adobe Reader ; napęd CD-ROM. — Bibliogr. s. 376, Abstr.. — Tytuł przejęto ze s. tyt.

Pozostałe publikacje naukowe: https://www.bpp.agh.edu.pl/autor/igras-cybulska-magdalena-06928

Additional information:

brak