Module also offered within study programmes:
General information:
Name:
Fonoskopia
Course of study:
2019/2020
Code:
HNKT-1-612-s
Faculty of:
Humanities
Study level:
First-cycle studies
Specialty:
-
Field of study:
Nowoczesne technologie w kryminalistyce
Semester:
6
Profile of education:
Academic (A)
Lecture language:
Polish
Form and type of study:
Full-time studies
Responsible teacher:
dr inż. Gałka Jakub (jgalka@agh.edu.pl)
Module summary

Kurs ma za zadanie zapoznać uczestników z zagadnieniem analizy fonoskopijnej nagrań mowy. Przedstawione zostaną podstawy teoretyczne oraz metody stosowane w fonoskopii.

Description of learning outcomes for module
MLO code Student after module completion has the knowledge/ knows how to/is able to Connections with FLO Method of learning outcomes verification (form of completion)
Social competence: is able to
M_K001 Student rozumie ograniczenia techniczne i ich konsekwencje na opinie wnioski formułowane na podstawie analizy fonoskopijnej. Zna znaczenie, zalety i ograniczenia analizy fonoskopijnej jako źródła wiedzy w postępowaniach prawnych, prokuratorskich, sądowych. Rozumie wpływ rozwoju metod komputerowego przetwarzania mowy na rzeczywistość społeczną, związane z tym zagrożenia i nowe możliwości, w szczególności wynikające z możliwości wysokiej jakości manipulacji mową. Potrafi w prosty i jednoznaczny sposób komunikować czym jest fonoskopia, jakie są jej właściwości. NKT1A_K04, NKT1A_K01, NKT1A_K02 Participation in a discussion,
Activity during classes
Skills: he can
M_U001 Student potrafi korzystać z podstawowych metod cyfrowego przetwrzania sygnałów akustycznych. Potrafi korzystac z oprogramowania do analizy dźwięku i analizy fonoskopijnej. NKT1A_U05, NKT1A_U08, NKT1A_U02, NKT1A_U01 Execution of laboratory classes
M_U002 Student potrafi za pomoca analizy fonoskopijnej i metod statystyki matematycznej weryfikować, identyfikować tożsamość mówcy, oraz weryfikować lub identyfikować treść wypowiedzi za pomocą analizy fonoskopijnej. Potrafi ocenić autentycznośc nagrania dźwiękowego mowy. Potrafi poprawić jakość i czytelność nagrania dźwiękowego mowy. NKT1A_U10, NKT1A_U04, NKT1A_U06, NKT1A_U05, NKT1A_U08, NKT1A_U11 Execution of laboratory classes
Knowledge: he knows and understands
M_W001 Student zna charakterystykę sygnału mowy z uwzględnieniem fizjologii mowy, akustyki mowy, fonetyki, fonologii. Zna podstawowe metody akwizycji i przetwarzania mowy, analizy mowy, statystyki matematycznej. Zna metody specjalistyczne stosowane w analizie fonoskopijnej. Zna podstawowe definicje prawne dotyczące danych biometrycznych i ochrony wizerunku. NKT1A_W08, NKT1A_W02, NKT1A_W09, NKT1A_W01 Test
Number of hours for each form of classes:
Sum (hours)
Lecture
Audit. classes
Lab. classes
Project classes
Conv. seminar
Seminar classes
Pract. classes
Zaj. terenowe
Zaj. warsztatowe
Prace kontr. przejść.
Lektorat
40 20 0 20 0 0 0 0 0 0 0 0
FLO matrix in relation to forms of classes
MLO code Student after module completion has the knowledge/ knows how to/is able to Form of classes
Lecture
Audit. classes
Lab. classes
Project classes
Conv. seminar
Seminar classes
Pract. classes
Zaj. terenowe
Zaj. warsztatowe
Prace kontr. przejść.
Lektorat
Social competence
M_K001 Student rozumie ograniczenia techniczne i ich konsekwencje na opinie wnioski formułowane na podstawie analizy fonoskopijnej. Zna znaczenie, zalety i ograniczenia analizy fonoskopijnej jako źródła wiedzy w postępowaniach prawnych, prokuratorskich, sądowych. Rozumie wpływ rozwoju metod komputerowego przetwarzania mowy na rzeczywistość społeczną, związane z tym zagrożenia i nowe możliwości, w szczególności wynikające z możliwości wysokiej jakości manipulacji mową. Potrafi w prosty i jednoznaczny sposób komunikować czym jest fonoskopia, jakie są jej właściwości. + - + - - - - - - - -
Skills
M_U001 Student potrafi korzystać z podstawowych metod cyfrowego przetwrzania sygnałów akustycznych. Potrafi korzystac z oprogramowania do analizy dźwięku i analizy fonoskopijnej. - - + - - - - - - - -
M_U002 Student potrafi za pomoca analizy fonoskopijnej i metod statystyki matematycznej weryfikować, identyfikować tożsamość mówcy, oraz weryfikować lub identyfikować treść wypowiedzi za pomocą analizy fonoskopijnej. Potrafi ocenić autentycznośc nagrania dźwiękowego mowy. Potrafi poprawić jakość i czytelność nagrania dźwiękowego mowy. - - + - - - - - - - -
Knowledge
M_W001 Student zna charakterystykę sygnału mowy z uwzględnieniem fizjologii mowy, akustyki mowy, fonetyki, fonologii. Zna podstawowe metody akwizycji i przetwarzania mowy, analizy mowy, statystyki matematycznej. Zna metody specjalistyczne stosowane w analizie fonoskopijnej. Zna podstawowe definicje prawne dotyczące danych biometrycznych i ochrony wizerunku. + - - - - - - - - - -
Student workload (ECTS credits balance)
Student activity form Student workload
Summary student workload 60 h
Module ECTS credits 2 ECTS
Udział w zajęciach dydaktycznych/praktyka 40 h
Preparation for classes 10 h
Realization of independently performed tasks 3 h
Examination or Final test 2 h
Contact hours 5 h
Module content
Lectures (20h):

1) Podstawy fonoskopii
Definicja podstawowych pojęć. Krótka historia rozwoju fonoskopii. Omówienie kontekstów i celów stosowania fonoskopii. Źródła danych w analizie fonoskopijnej.

2) Fizjologia mowy
Przedstawienie podstaw fizjologii mowy. Omówienie aparatu mowy i zjawiska produkcji mowy. Model sygnałowy mowy. Ton krtaniowy i formanty. Podstawowe zagadnienia związane z akustyką mowy. Cyfrowy zapis mowy.

3) Elementy fonetyki
Przedstawienie podstawowych definicji: fonem, głoska, cechy dystynktywne, koartykulacja. Artykulacja dźwięków mowy. Prozodia mowy. Dialekty językowe i regionalizmy.

4) Podstawy statystyki
Podstawowe definicje statystyki matematycznej. Reguła Bayesa. Weryfikacja hipotez statystycznych. Istotność statystyczna i oszacowanie wiarygodności hipotezy badawczej. Statystyka w fonoskopii.

5) Narzędzia analizy mowy
Podstawowe metody przetwarzania sygnału mowy. Analiza częstotliwościowa, autokorelacja, cepstrum, LPC, MFCC. Spektrogram – właściwości widma i jego interpretacja.

6) Biometria głosu
Definicje podstawowych pojęć z zakresu biometrii głosu. Modelowanie biometryczne głosu: GMM/UBM, kohorta, i-vector, x-vector, ataki biometryczne/spoofing.

7) Poprawa jakości sygnału
Omówienie zagadnień dot. jakości sygnału mowy. Cyfrowy zapis mowy. Kompresja mowy. Zakłócenia i zniekształcenia sygnału. Metody poprawy jakości sygnału mowy. Filtracja, redukcja szumu, modelowanie generatywne, systemy adaptacyjne i wielomikrofonowe.

8) Rozpoznawanie mówcy
Omówienie biometrycznych cech sygnału mowy. Przedstawienie problemu weryfikacji oraz identyfikacji tożsamości głosu. Techniki analizy fonoskopijnej w odniesieniu do rozpoznawania mówcy, metoda językowo-pomiarowa. Dobór, analiza i interpretacja danych. Szacowanie wiarygodności hipotezy.

9) Analiza treści wypowiedzi
Omówienie fonetycznych cech sygnału mowy. Przedstawienie problemu weryfikacji i identyfikacji treści wypowiedzi. Metody analizy fonoskopijnej. Typowe scenariusze. Szacowanie wiarygodności hipotezy.

10) Analiza autentyczności sygnału audio
Omówienie scenariuszy falsyfikacji sygnału dźwięku i mowy. Fałszowanie sygnału za pomocą obróbki, syntezy lub konwersji mowy. Automatyczne i manualne metody określenia autentyczności i integralności sygnału.

Laboratory classes (20h):

1) Przetwarzanie cyfrowego sygnału dźwięku: rejestracja, filtracja, wizualizacja czasowa i częstotliwościowa sygnału.
2) Analiza fonoskopijna cech sygnału mowy. Analiza jakości zapisu, parametrów akustycznych, cech sygnału (F0, F1-F4), przodia, i in.
3) Weryfikacja tożsamości głosu za pomocą analizy fonoskopijnej. Szacowanie wiarygodności hipotezy badawczej.
4) Identyfikacja tożsamości za pomocą analizy fonoskopijnej.
5) Weryfikacja tożsamości metodą językowo-pomiarową.
6) Rozpoznawanie treści metodą fonoskopijną.
7) Analiza sygnału pod kątem autentyczności zapisu oraz autentyczności zarejestrowanego głosu.

Additional information
Teaching methods and techniques:
  • Lectures: Treści prezentowane na wykładzie są przekazywane w formie prezentacji multimedialnej w połączeniu z klasycznym wykładem tablicowym wzbogaconymi o pokazy odnoszące się do prezentowanych zagadnień.
  • Laboratory classes: W trakcie zajęć laboratoryjnych studenci samodzielnie rozwiązują zadany problem praktyczny, dobierając odpowiednie narzędzia. Prowadzący stymuluje grupę do refleksji nad problemem, tak by otrzymane wyniki miały wysoką wartość merytoryczną.
Warunki i sposób zaliczenia poszczególnych form zajęć, w tym zasady zaliczeń poprawkowych, a także warunki dopuszczenia do egzaminu:

Zaliczenie zajęć laboratoryjnych na podstawie liczby osiągniętych punktów, gdzie:
- 50% punktów dotyczy aktywności na zajęciach – zrealizowanie i zaliczenie ćwiczeń laboratoryjnych (na
podstawie prezentacji zrealizowanego rozwiązania),
- 50% kolokwium teoretyczne.

Ocena wystawiana jest na podstawie ilości uzyskanych punktów procentowych zgodnie z zasadami
określonymi w regulaminie studiów:
1) od 90% bardzo dobry (5.0),
2) od 80% plus dobry (4.5),
3) od 70% dobry (4.0),
4) od 60% plus dostateczny (3.5),
5) od 50% dostateczny (3.0),
6) poniżej 50% niedostateczny (2.0).

Student może uzyskać zaliczenie w terminie poprawkowym pod warunkiem zaliczenia ćwiczeń
laboratoryjnych.

Participation rules in classes:
  • Lectures:
    – Attendance is mandatory: Yes
    – Participation rules in classes: Studenci uczestniczą w zajęciach poznając kolejne treści nauczania zgodnie z syllabusem przedmiotu. Studenci winni na bieżąco zadawać pytania i wyjaśniać wątpliwości. Rejestracja audiowizualna wykładu wymaga zgody prowadzącego.
  • Laboratory classes:
    – Attendance is mandatory: Yes
    – Participation rules in classes: Studenci wykonują ćwiczenia laboratoryjne zgodnie z materiałami udostępnionymi przez prowadzącego. Student jest zobowiązany do przygotowania się w przedmiocie wykonywanego ćwiczenia, co może zostać zweryfikowane kolokwium w formie ustnej lub pisemnej. Zaliczenie zajęć odbywa się na podstawie zaprezentowania rozwiązania postawionego problemu.
Method of calculating the final grade:

Uzyskanie pozytywnej oceny końcowej wymaga uzyskania pozytywnej oceny z ćwiczeń
laboratoryjnych (uwzględniającej aktywność na zajęciach oraz kolokwium).

Ocena końcowa równa się ocenie z ćwiczeń laboratoryjnych.

Sposób i tryb wyrównywania zaległości powstałych wskutek nieobecności studenta na zajęciach:

Student może odrobić zajęcia na innej grupie laboratoryjnej. Jeżeli będzie to niemożliwe laboratorium
może być zaliczone na koniec semestru za indywidualną zgoda prowadzącego zajęcia w ustalonym
terminie.

Prerequisites and additional requirements:

Podstawowa znajomość wybranego skryptowego języka programowania: Matlab lub Python

Recommended literature and teaching resources:

W. Maciejko, J. Rzeszotarski, T. Tomaszewski: 50 lat polskiej fonoskopii, „Problemy Kryminalistyki” 2010, nr 269

A. Malanowicz, L. Koźmiński: Fonoskopia, Piła 2009.

B. Ziółko, M. Ziółko, “Przetwarzanie Mowy”, Wyd. AGH

R. Tadeusiewicz, “Sygnał Mowy” (pozycja dostępna online).

Scientific publications of module course instructors related to the topic of the module:

Voice authentication embedded solution for secured access control / Jakub GAŁKA, Mariusz MĄSIOR,
Michał Salasa // IEEE Transactions on Consumer Electronics ; ISSN 0098-3063. — 2014 vol. 60 iss. 4, s.
653–661

A system and a method for detecting recorded biometric information / Akademia Górniczo-Hutnicza im.
Stanisława Staszica w Krakowie ; wynalazca: GAŁKA Jakub, Grzywacz Marcin, SAMBORSKI Rafał. —
Int.Cl.: H04L 9/00\textsuperscript{(2006.01)}. — European Patent Office. — Opis zgłoszeniowy
wynalazku ; EP 3016314 A1

Playback attack detection for text-dependent speaker verification over telephone channels / Jakub
GAŁKA, Marcin Grzywacz, Rafał SAMBORSKI // Speech Communication ; ISSN 0167-6393. — 2015 vol.
67, s. 143–153.

System supporting speaker identification in emergency call center / Jakub GAŁKA, Joanna
GRZYBOWSKA, Magdalena IGRAS, Paweł Jaciów, Kamil Wajda, Marcin WITKOWSKI, Mariusz ZIÓŁKO // W:
INTERSPEECH 2015 : speech beyond speech : towards a better understanding of the most important
biosignal : September 6–10, 2015, Dresden, Germany

Online caller profiling solution for a call centre : [abstract] / Marcin WITKOWSKI, Jakub GAŁKA, Joanna
GRZYBOWSKA, Magdalena IGRAS, Paweł Jaciów, Mariusz ZIÓŁKO // W: Odyssey 2016 : the speaker and
language recognition workshop : June 21–24, 2016, Bilbao, Spain

Audio replay attack detection using high-frequency features / Marcin WITKOWSKI, Stanisław KACPRZAK, Piotr ŻELASKO, Konrad KOWALCZYK, Jakub GAŁKA // W: INTERSPEECH 2017 : situated interaction : 20-24
August 2017, Stockholm, Sweden

System for multimodal data acquisition for human action recognition / Filip MALAWSKI, Jakub GAŁKA //
Multimedia Tools and Applications ; ISSN 1380-7501. — 2018 vol. 77 iss. 18, s. 23825–23850

Additional information:

None