Module also offered within study programmes:
General information:
Name:
Statistical signal processing in audio and speech applications
Course of study:
2019/2020
Code:
ZSDA-3-0263-s
Faculty of:
Szkoła Doktorska AGH
Study level:
Third-cycle studies
Specialty:
-
Field of study:
Szkoła Doktorska AGH
Semester:
0
Profile of education:
Academic (A)
Lecture language:
English
Form and type of study:
Full-time studies
Responsible teacher:
dr hab. inż, prof. AGH Kowalczyk Konrad (konrad.kowalczyk@agh.edu.pl)
Dyscypliny:
automatyka, elektronika i elektrotechnika, informatyka, informatyka techniczna i telekomunikacja, inżynieria biomedyczna, inżynieria mechaniczna
Module summary

Celem modułu jest zapoznanie Studenta z metodami statystycznego przetwarzania sygnałów. Moduł uczy zastosowania tych metod w kontekście aplikacji audio i mowy. (PL)
Termin rozpoczęcia zajęć-od semestru IV (semestr letni 2020/2021 i kolejne)

The aim of this course is to get acquainted with statistical signal processing with the main focus on applications of studied techniques in the context of speech and audio (EN)

Description of learning outcomes for module
MLO code Student after module completion has the knowledge/ knows how to/is able to Connections with FLO Method of learning outcomes verification (form of completion)
Social competence: is able to
M_K001 Student is able to present the effects of his/her work and explain technical details of applied methods. (EN) Student potrafi zaprezentować efekty swojej pracy i wytłumaczyć szczegóły techniczne zastosowanych metod. (PL) SDA3A_K01 Project,
Presentation,
Completion of laboratory classes,
Activity during classes
Skills: he can
M_U001 Student is able to select and perform appropriate evaluation of several algorithms that realize statistical signal processing in audio and speech applications. (EN) Student potrafi wybrać i przeprowadzić właściwą ewaluację metody statystycznego przetwarzania sygnałów w zależności od zastosowania. (PL) SDA3A_U03, SDA3A_U02, SDA3A_U01 Completion of laboratory classes,
Execution of laboratory classes,
Test,
Activity during classes
M_U002 Student is able to apply selected methods of statistical signal processing. (EN) Student umie zastosować wybrane metody statystycznego przetwarzania sygnałów. (PL) SDA3A_U01 Project
M_U003 Student is able to implement algorithms specific to audio and speech applications. (EN) Student potrafi zaimplementować algorytmy w konkretnych aplikacjach audio i mowy. (PL) SDA3A_U02, SDA3A_U01 Project,
Completion of laboratory classes,
Execution of laboratory classes
Knowledge: he knows and understands
M_W001 Student knows and understands the basics of statistical signal processing (EN) Student zna podstawy statystycznego przetwarzania sygnałów (PL) SDA3A_W03, SDA3A_W02, SDA3A_W01 Completion of laboratory classes,
Execution of laboratory classes,
Test,
Activity during classes
M_W002 Student knows statistical processing for reducing noise and reverberation, student knows spatial audio processing techniques, student knows speech and audio coding schemes, student knows deep learning methods applied to speech and audio. (EN) Student zna statystyczne metody usuwania pogłosu i szumu, student zna metody przetwarzania dźwięku przestrzennego, student zna metody kodowania audio i mowy, student zna metody uczenia głębokiego wykorzystywane w typowych zastosowaniach audio i mowy. (PL) SDA3A_W03, SDA3A_W02, SDA3A_W01 Completion of laboratory classes,
Execution of laboratory classes,
Test,
Activity during classes
M_W003 Student knows statistical signal processing methods used in audio and speech applications. (EN) Student zna metody statystycznego przetwarzania sygnałów wykorzystywane w konkretnych zastosowaniach audio i mowy. (PL) SDA3A_W03, SDA3A_W02, SDA3A_W01 Completion of laboratory classes,
Test,
Activity during classes
Number of hours for each form of classes:
Sum (hours)
Lecture
Audit. classes
Lab. classes
Project classes
Conv. seminar
Seminar classes
Pract. classes
Zaj. terenowe
Zaj. warsztatowe
Prace kontr. przejść.
Lektorat
46 18 0 14 0 0 0 14 0 0 0 0
FLO matrix in relation to forms of classes
MLO code Student after module completion has the knowledge/ knows how to/is able to Form of classes
Lecture
Audit. classes
Lab. classes
Project classes
Conv. seminar
Seminar classes
Pract. classes
Zaj. terenowe
Zaj. warsztatowe
Prace kontr. przejść.
Lektorat
Social competence
M_K001 Student is able to present the effects of his/her work and explain technical details of applied methods. (EN) Student potrafi zaprezentować efekty swojej pracy i wytłumaczyć szczegóły techniczne zastosowanych metod. (PL) + - + - - - + - - - -
Skills
M_U001 Student is able to select and perform appropriate evaluation of several algorithms that realize statistical signal processing in audio and speech applications. (EN) Student potrafi wybrać i przeprowadzić właściwą ewaluację metody statystycznego przetwarzania sygnałów w zależności od zastosowania. (PL) + - + - - - + - - - -
M_U002 Student is able to apply selected methods of statistical signal processing. (EN) Student umie zastosować wybrane metody statystycznego przetwarzania sygnałów. (PL) - - + - - - + - - - -
M_U003 Student is able to implement algorithms specific to audio and speech applications. (EN) Student potrafi zaimplementować algorytmy w konkretnych aplikacjach audio i mowy. (PL) - - + - - - + - - - -
Knowledge
M_W001 Student knows and understands the basics of statistical signal processing (EN) Student zna podstawy statystycznego przetwarzania sygnałów (PL) + - - - - - - - - - -
M_W002 Student knows statistical processing for reducing noise and reverberation, student knows spatial audio processing techniques, student knows speech and audio coding schemes, student knows deep learning methods applied to speech and audio. (EN) Student zna statystyczne metody usuwania pogłosu i szumu, student zna metody przetwarzania dźwięku przestrzennego, student zna metody kodowania audio i mowy, student zna metody uczenia głębokiego wykorzystywane w typowych zastosowaniach audio i mowy. (PL) + - - - - - - - - - -
M_W003 Student knows statistical signal processing methods used in audio and speech applications. (EN) Student zna metody statystycznego przetwarzania sygnałów wykorzystywane w konkretnych zastosowaniach audio i mowy. (PL) + - + - - - + - - - -
Student workload (ECTS credits balance)
Student activity form Student workload
Summary student workload 80 h
Module ECTS credits 4 ECTS
Udział w zajęciach dydaktycznych/praktyka 46 h
Preparation for classes 15 h
Realization of independently performed tasks 15 h
Examination or Final test 2 h
Contact hours 2 h
Module content
Lectures (18h):

Lectures: (EN)

1. Introduction to statistical signal processing:
Stochastic signals, stationarity, ergodicity, covariance matrix, higher-order moments, principle component analysis

2, 3 i 4. Speech and audio signal enhancement:
Wiener filter, beamforming, signal and multichannel techniques for noise and reverberation suppression

4. Spatial audio processing:
Ambisonics, spherical harmonics, parametric spatial audio

5. Speech and audio coding

6, 7 i 8. Deep learning in audio and speech applications:
Detection and classification of acoustic events, speaker recognition, speech recognition

Wykłady: (PL)

1. Wprowadzenie do statystycznego przetwarzania sygnałów:
Sygnały stochastyczne, stacjonarność, ergodyczność, macierz kowariancji, momenty, analiza głównych składowych

2, 3 i 4. Poprawa jakości sygnałów audio i mowy:
Filtr Wienera, technika kształtowania wiązki, jedno i wielokanałowe metody usuwania szumu i pogłosu

5. Przetwarzanie dźwięku przestrzennego:
Ambisonia, sferyczne harmoniczne, metody parametryczne

6. Kodowanie dźwięku i mowy

7, 8 i 9. Zastosowanie metod głębokiego uczenia w przetwarzaniu audio i mowy:
Detekcja i klasyfikacja zdarzeń akustycznych, rozpoznawanie mowy, rozpoznawanie mówców

Laboratory classes (14h):
  1. During laboratory classes the student implements and evaluates the performance of the methods described during lectures in Matlab environment or in Phyton programming language. (EN)

    Ćwiczenia laboratoryjne polegają na zaimplementowaniu i ewaluacji skuteczności omawianych w ramach wykładów zagadnień w środowisku Matlab lub języku Python. (PL)

  2. An important element of the module is projet work, which demonstrates the application of techniques learned during the course of this module.The project involves: system design, practical implemetnation, evaluation, and public presentation of project results.

Practical classes (14h):
  1. An important element of the module is projet work, which demonstrates the application of techniques learned during the course of this module.The project involves: system design, practical implemetnation, evaluation, and public presentation of project results. (EN)

    Elementem modułu jest wykonanie praktycznego projektu będącego realizacją poznanych w ramach przedmiotu metod. Elementami projektu są: projektowanie rozwiązania, praktyczna implementacja systemu (lub jego części), oraz publiczna prezentacja wyników wykonanego projektu. (Pl)

  2. An important element of the module is projet work, which demonstrates the application of techniques learned during the course of this module.The project involves: system design, practical implemetnation, evaluation, and public presentation of project results.

Additional information
Teaching methods and techniques:
  • Lectures: Nie określono
  • Laboratory classes: Nie określono
  • Practical classes: Nie określono
Warunki i sposób zaliczenia poszczególnych form zajęć, w tym zasady zaliczeń poprawkowych, a także warunki dopuszczenia do egzaminu:

Positive final grade is given when the laboratory class is passed, for which both laboratory excercises and project work are completed and the final test is passed. (EN)

Pozytywna ocena końcowa uwarunkowana jest uzyskaniem pozytywnej oceny z laboratorium, otrzymanej na podstawie wykonania zadań w trakcie ćwiczeń laboratoryjnych oraz kolokwium końcowego. (PL)

Participation rules in classes:
  • Lectures:
    – Attendance is mandatory: No
    – Participation rules in classes: Nie określono
  • Laboratory classes:
    – Attendance is mandatory: Yes
    – Participation rules in classes: Nie określono
  • Practical classes:
    – Attendance is mandatory: Yes
    – Participation rules in classes: Nie określono
Method of calculating the final grade:

The final grade is a mean value of the grade for completed laboratory excercises, project work, and a final test. (EN)

Ocena końcowa to średnia arytmetyczna z oceny za realizację zadań na ćwiczeniach laboratoryjnych, projektu oraz oceny z kolokwium końcowego. (PL)

Sposób i tryb wyrównywania zaległości powstałych wskutek nieobecności studenta na zajęciach:

Each lab excercise needs to be positively completed. In case of an absense the student is required to complete the excercises himself/herself and present them during the next labs. (EN)

W przypadku nieobecności na zajęciach laboratoryjnych konieczne jest wykonanie i prezentacja wyników w terminie kolejnych zajęć laboratoryjnych. Zostanie wyznaczony jeden termin kolokwium poprawkowego. (PL)

Prerequisites and additional requirements:

- Ability to self-study and information finding
- Knowledge of basics of mathematics, linear algebra and statistics
- Basic knowledge of digital signal processing
- Good command of Matlab and Python programming language. (EN)

- Umiejętność samodzielnego poszukiwania informacji w literaturze
- Znajomość podstaw analizy matematycznej, algebry, statystyki
- Znajomość metod cyfrowego (i/lub analogowego) przetwarzania sygnałów
- Umiejętność posługiwania się Matlabem lub innym językiem programowania np. Python. (PL)

Recommended literature and teaching resources:

Literature and other handouts will be given during the class. (EN)
Literatura oraz pomoce naukowe zostaną podane na zajęciach. (PL)

Przykładowe książki w języku angielskim / example books in English:
1. Alan V. Oppenheim and Ronald W. Schafer, Discrete-Time Signal Processing, Pearson Prentice Hall, 2010.
2. John G. Proakis and Dimitris K. Manolakis, Digital Signal Processing, Pearson, 2006.
3. Athanasios Papoulis and S. Unnikrishna Pillai, Probability, Random Variables, and Stochastic Processes, Mcgraw-Hill, 2002.

Scientific publications of module course instructors related to the topic of the module:

1 K. Kowalczyk, O. Thiergart, M. Taseska, G. Del Galdo, and V. Pulkki, E.A.P. Habets, “Parametric spatial sound processing: a flexible and efficient solution to sound scene acquisition, modification and reproduction,” IEEE Signal Processing Magazine, vol. 32, No. 2, pp. 31-42, Mar. 2015

2. K. Kowalczyk, “Raking early reflection signals for late reverberation and noise reduction,” J. Acoustical Society of America, vol. 145, No. 3, pp. 257–263, Mar. 2019.

3. S. Wozniak and K. Kowalczyk, “Passive joint localization and synchronization of distributed microphone arrays,” IEEE Signal Processing Letters, vol. 26, No. 2, pp. 292-296, Feb. 2019.

4 S. Braun, K. Kowalczyk, and E.A.P. Habets, “ Residual noise control using a parametric multichannel Wiener filter,” Proc. IEEE Int. Conf. on Acoustics, Speech and Signal Process. (ICASSP), pp. 360-364, Brisbane, Australia, Apr. 2015

5 K. Kowalczyk, E.A.P. Habets, W. Kellermann, and P.A. Naylor, “Blind system identification using sparse learning for TDOA estimation of room reflections,” IEEE Signal Processing Letters, vol. 20, No. 7, pp. 653-656, Jul. 2013

6 K. Kowalczyk, O. Thiergart, A. Craciun, E.A.P. Habets, “Sound acquisition in noisy and reverberant environments using virtual microphones,” Proc. IEEE Workshop on Applications of Sign. Process. to Audio and Acoustics (WASPAA), New Paltz, NY, Oct. 2013

Additional information:

Course available for the first time in summer semester of 2020-2021. (EN)

Moduł dostępny po raz pierwszy w semestrze letnim 2020 – 2021 oraz w semestrach kolejnych. (PL)