Moduł oferowany także w ramach programów studiów:
Informacje ogólne:
Nazwa:
Fonoskopia
Tok studiów:
2019/2020
Kod:
HNKT-1-612-s
Wydział:
Humanistyczny
Poziom studiów:
Studia I stopnia
Specjalność:
-
Kierunek:
Nowoczesne technologie w kryminalistyce
Semestr:
6
Profil:
Ogólnoakademicki (A)
Język wykładowy:
Polski
Forma studiów:
Stacjonarne
Prowadzący moduł:
dr inż. Gałka Jakub (jgalka@agh.edu.pl)
Treści programowe zapewniające uzyskanie efektów uczenia się dla modułu zajęć

Kurs ma za zadanie zapoznać uczestników z zagadnieniem analizy fonoskopijnej nagrań mowy. Przedstawione zostaną podstawy teoretyczne oraz metody stosowane w fonoskopii.

Opis efektów uczenia się dla modułu zajęć
Kod MEU Student, który zaliczył moduł zajęć zna i rozumie/potrafi/jest gotów do Powiązania z KEU Sposób weryfikacji i oceny efektów uczenia się osiągniętych przez studenta w ramach poszczególnych form zajęć i dla całego modułu zajęć
Wiedza: zna i rozumie
M_W001 Student zna charakterystykę sygnału mowy z uwzględnieniem fizjologii mowy, akustyki mowy, fonetyki, fonologii. Zna podstawowe metody akwizycji i przetwarzania mowy, analizy mowy, statystyki matematycznej. Zna metody specjalistyczne stosowane w analizie fonoskopijnej. Zna podstawowe definicje prawne dotyczące danych biometrycznych i ochrony wizerunku. NKT1A_W08, NKT1A_W02, NKT1A_W09, NKT1A_W01 Kolokwium
Umiejętności: potrafi
M_U001 Student potrafi korzystać z podstawowych metod cyfrowego przetwrzania sygnałów akustycznych. Potrafi korzystac z oprogramowania do analizy dźwięku i analizy fonoskopijnej. NKT1A_U05, NKT1A_U08, NKT1A_U02, NKT1A_U01 Wykonanie ćwiczeń laboratoryjnych
M_U002 Student potrafi za pomoca analizy fonoskopijnej i metod statystyki matematycznej weryfikować, identyfikować tożsamość mówcy, oraz weryfikować lub identyfikować treść wypowiedzi za pomocą analizy fonoskopijnej. Potrafi ocenić autentycznośc nagrania dźwiękowego mowy. Potrafi poprawić jakość i czytelność nagrania dźwiękowego mowy. NKT1A_U10, NKT1A_U04, NKT1A_U06, NKT1A_U05, NKT1A_U08, NKT1A_U11 Wykonanie ćwiczeń laboratoryjnych
Kompetencje społeczne: jest gotów do
M_K001 Student rozumie ograniczenia techniczne i ich konsekwencje na opinie wnioski formułowane na podstawie analizy fonoskopijnej. Zna znaczenie, zalety i ograniczenia analizy fonoskopijnej jako źródła wiedzy w postępowaniach prawnych, prokuratorskich, sądowych. Rozumie wpływ rozwoju metod komputerowego przetwarzania mowy na rzeczywistość społeczną, związane z tym zagrożenia i nowe możliwości, w szczególności wynikające z możliwości wysokiej jakości manipulacji mową. Potrafi w prosty i jednoznaczny sposób komunikować czym jest fonoskopia, jakie są jej właściwości. NKT1A_K04, NKT1A_K01, NKT1A_K02 Udział w dyskusji,
Aktywność na zajęciach
Liczba godzin zajęć w ramach poszczególnych form zajęć:
SUMA (godz.)
Wykład
Ćwicz. aud
Ćwicz. lab
Ćw. proj.
Konw.
Zaj. sem.
Zaj. prakt
Zaj. terenowe
Zaj. warsztatowe
Prace kontr. przejść.
Lektorat
40 20 0 20 0 0 0 0 0 0 0 0
Matryca kierunkowych efektów uczenia się w odniesieniu do form zajęć i sposobu zaliczenia, które pozwalają na ich uzyskanie
Kod MEU Student, który zaliczył moduł zajęć zna i rozumie/potrafi/jest gotów do Forma zajęć dydaktycznych
Wykład
Ćwicz. aud
Ćwicz. lab
Ćw. proj.
Konw.
Zaj. sem.
Zaj. prakt
Zaj. terenowe
Zaj. warsztatowe
Prace kontr. przejść.
Lektorat
Wiedza
M_W001 Student zna charakterystykę sygnału mowy z uwzględnieniem fizjologii mowy, akustyki mowy, fonetyki, fonologii. Zna podstawowe metody akwizycji i przetwarzania mowy, analizy mowy, statystyki matematycznej. Zna metody specjalistyczne stosowane w analizie fonoskopijnej. Zna podstawowe definicje prawne dotyczące danych biometrycznych i ochrony wizerunku. + - - - - - - - - - -
Umiejętności
M_U001 Student potrafi korzystać z podstawowych metod cyfrowego przetwrzania sygnałów akustycznych. Potrafi korzystac z oprogramowania do analizy dźwięku i analizy fonoskopijnej. - - + - - - - - - - -
M_U002 Student potrafi za pomoca analizy fonoskopijnej i metod statystyki matematycznej weryfikować, identyfikować tożsamość mówcy, oraz weryfikować lub identyfikować treść wypowiedzi za pomocą analizy fonoskopijnej. Potrafi ocenić autentycznośc nagrania dźwiękowego mowy. Potrafi poprawić jakość i czytelność nagrania dźwiękowego mowy. - - + - - - - - - - -
Kompetencje społeczne
M_K001 Student rozumie ograniczenia techniczne i ich konsekwencje na opinie wnioski formułowane na podstawie analizy fonoskopijnej. Zna znaczenie, zalety i ograniczenia analizy fonoskopijnej jako źródła wiedzy w postępowaniach prawnych, prokuratorskich, sądowych. Rozumie wpływ rozwoju metod komputerowego przetwarzania mowy na rzeczywistość społeczną, związane z tym zagrożenia i nowe możliwości, w szczególności wynikające z możliwości wysokiej jakości manipulacji mową. Potrafi w prosty i jednoznaczny sposób komunikować czym jest fonoskopia, jakie są jej właściwości. + - + - - - - - - - -
Nakład pracy studenta (bilans punktów ECTS)
Forma aktywności studenta Obciążenie studenta
Sumaryczne obciążenie pracą studenta 60 godz
Punkty ECTS za moduł 2 ECTS
Udział w zajęciach dydaktycznych/praktyka 40 godz
Przygotowanie do zajęć 10 godz
Samodzielne studiowanie tematyki zajęć 3 godz
Egzamin lub kolokwium zaliczeniowe 2 godz
Dodatkowe godziny kontaktowe 5 godz
Szczegółowe treści kształcenia w ramach poszczególnych form zajęć (szczegółowy program wykładów i pozostałych zajęć)
Wykład (20h):

1) Podstawy fonoskopii
Definicja podstawowych pojęć. Krótka historia rozwoju fonoskopii. Omówienie kontekstów i celów stosowania fonoskopii. Źródła danych w analizie fonoskopijnej.

2) Fizjologia mowy
Przedstawienie podstaw fizjologii mowy. Omówienie aparatu mowy i zjawiska produkcji mowy. Model sygnałowy mowy. Ton krtaniowy i formanty. Podstawowe zagadnienia związane z akustyką mowy. Cyfrowy zapis mowy.

3) Elementy fonetyki
Przedstawienie podstawowych definicji: fonem, głoska, cechy dystynktywne, koartykulacja. Artykulacja dźwięków mowy. Prozodia mowy. Dialekty językowe i regionalizmy.

4) Podstawy statystyki
Podstawowe definicje statystyki matematycznej. Reguła Bayesa. Weryfikacja hipotez statystycznych. Istotność statystyczna i oszacowanie wiarygodności hipotezy badawczej. Statystyka w fonoskopii.

5) Narzędzia analizy mowy
Podstawowe metody przetwarzania sygnału mowy. Analiza częstotliwościowa, autokorelacja, cepstrum, LPC, MFCC. Spektrogram – właściwości widma i jego interpretacja.

6) Biometria głosu
Definicje podstawowych pojęć z zakresu biometrii głosu. Modelowanie biometryczne głosu: GMM/UBM, kohorta, i-vector, x-vector, ataki biometryczne/spoofing.

7) Poprawa jakości sygnału
Omówienie zagadnień dot. jakości sygnału mowy. Cyfrowy zapis mowy. Kompresja mowy. Zakłócenia i zniekształcenia sygnału. Metody poprawy jakości sygnału mowy. Filtracja, redukcja szumu, modelowanie generatywne, systemy adaptacyjne i wielomikrofonowe.

8) Rozpoznawanie mówcy
Omówienie biometrycznych cech sygnału mowy. Przedstawienie problemu weryfikacji oraz identyfikacji tożsamości głosu. Techniki analizy fonoskopijnej w odniesieniu do rozpoznawania mówcy, metoda językowo-pomiarowa. Dobór, analiza i interpretacja danych. Szacowanie wiarygodności hipotezy.

9) Analiza treści wypowiedzi
Omówienie fonetycznych cech sygnału mowy. Przedstawienie problemu weryfikacji i identyfikacji treści wypowiedzi. Metody analizy fonoskopijnej. Typowe scenariusze. Szacowanie wiarygodności hipotezy.

10) Analiza autentyczności sygnału audio
Omówienie scenariuszy falsyfikacji sygnału dźwięku i mowy. Fałszowanie sygnału za pomocą obróbki, syntezy lub konwersji mowy. Automatyczne i manualne metody określenia autentyczności i integralności sygnału.

Ćwiczenia laboratoryjne (20h):

1) Przetwarzanie cyfrowego sygnału dźwięku: rejestracja, filtracja, wizualizacja czasowa i częstotliwościowa sygnału.
2) Analiza fonoskopijna cech sygnału mowy. Analiza jakości zapisu, parametrów akustycznych, cech sygnału (F0, F1-F4), przodia, i in.
3) Weryfikacja tożsamości głosu za pomocą analizy fonoskopijnej. Szacowanie wiarygodności hipotezy badawczej.
4) Identyfikacja tożsamości za pomocą analizy fonoskopijnej.
5) Weryfikacja tożsamości metodą językowo-pomiarową.
6) Rozpoznawanie treści metodą fonoskopijną.
7) Analiza sygnału pod kątem autentyczności zapisu oraz autentyczności zarejestrowanego głosu.

Pozostałe informacje
Metody i techniki kształcenia:
  • Wykład: Treści prezentowane będą w formie prezentacji multimedialnej oraz na tablicy. Znaczna część informacji przekazywana będzie ustnie. Prezentowane materiały pozostają głównie ilustracją treści wykładu. Wybrane wykłady mogą być prowadzone w formie tzw. “klasy odwróconej” (ang. flipped classroom).
  • Ćwiczenia laboratoryjne: W trakcie zajęć laboratoryjnych studenci samodzielnie rozwiązują zadany problem praktyczny. Prowadzący pełni rolę doradczą i moderuje dyskusję nad poruszanymi zagadnieniami.
Warunki i sposób zaliczenia poszczególnych form zajęć, w tym zasady zaliczeń poprawkowych, a także warunki dopuszczenia do egzaminu:

Zaliczenie zajęć laboratoryjnych na podstawie liczby osiągniętych punktów, gdzie:
- 50% punktów dotyczy aktywności na zajęciach – zrealizowanie i zaliczenie ćwiczeń laboratoryjnych (na
podstawie prezentacji zrealizowanego rozwiązania),
- 50% kolokwium teoretyczne.

Ocena wystawiana jest na podstawie ilości uzyskanych punktów procentowych zgodnie z zasadami
określonymi w regulaminie studiów:
1) od 90% bardzo dobry (5.0),
2) od 80% plus dobry (4.5),
3) od 70% dobry (4.0),
4) od 60% plus dostateczny (3.5),
5) od 50% dostateczny (3.0),
6) poniżej 50% niedostateczny (2.0).

Student może uzyskać zaliczenie w terminie poprawkowym pod warunkiem zaliczenia ćwiczeń
laboratoryjnych.

Zasady udziału w zajęciach:
  • Wykład:
    – Obecność obowiązkowa: Tak
    – Zasady udziału w zajęciach: Studenci uczestniczą w zajęciach i przyswajają treści zgodnie z planem określonym w syllabusie. W trakcie wykładu studenci zachęcani są do zadawania pytań i dyskusji. Rejestracja elektroniczna wykładu wymaga zgody prowadzącego.
  • Ćwiczenia laboratoryjne:
    – Obecność obowiązkowa: Tak
    – Zasady udziału w zajęciach: Studenci realizują ćwiczenia zgodnie z instrukcjami prowadzącego. Student ma obowiązek być przygotowany merytorycznie do zajęć laboratoryjnych (znajomość wykładu, lektury dodatkowej). Prowadzący ma prawo weryfikować przygotowanie studentów z apomocą krótkiego kolokwium lub pytań.
Sposób obliczania oceny końcowej:

Uzyskanie pozytywnej oceny końcowej wymaga uzyskania pozytywnej oceny z ćwiczeń
laboratoryjnych (uwzględniającej aktywność na zajęciach oraz kolokwium).

Ocena końcowa równa się ocenie z ćwiczeń laboratoryjnych.

Sposób i tryb wyrównywania zaległości powstałych wskutek nieobecności studenta na zajęciach:

Student może odrobić zajęcia na innej grupie laboratoryjnej. Jeżeli będzie to niemożliwe laboratorium
może być zaliczone na koniec semestru za indywidualną zgoda prowadzącego zajęcia w ustalonym
terminie.

Wymagania wstępne i dodatkowe, z uwzględnieniem sekwencyjności modułów :

Podstawowa znajomość wybranego skryptowego języka programowania: Matlab lub Python

Zalecana literatura i pomoce naukowe:

W. Maciejko, J. Rzeszotarski, T. Tomaszewski: 50 lat polskiej fonoskopii, „Problemy Kryminalistyki” 2010, nr 269

A. Malanowicz, L. Koźmiński: Fonoskopia, Piła 2009.

B. Ziółko, M. Ziółko, “Przetwarzanie Mowy”, Wyd. AGH

R. Tadeusiewicz, “Sygnał Mowy” (pozycja dostępna online).

Publikacje naukowe osób prowadzących zajęcia związane z tematyką modułu:

Voice authentication embedded solution for secured access control / Jakub GAŁKA, Mariusz MĄSIOR,
Michał Salasa // IEEE Transactions on Consumer Electronics ; ISSN 0098-3063. — 2014 vol. 60 iss. 4, s.
653–661

A system and a method for detecting recorded biometric information / Akademia Górniczo-Hutnicza im.
Stanisława Staszica w Krakowie ; wynalazca: GAŁKA Jakub, Grzywacz Marcin, SAMBORSKI Rafał. —
Int.Cl.: H04L 9/00\textsuperscript{(2006.01)}. — European Patent Office. — Opis zgłoszeniowy
wynalazku ; EP 3016314 A1

Playback attack detection for text-dependent speaker verification over telephone channels / Jakub
GAŁKA, Marcin Grzywacz, Rafał SAMBORSKI // Speech Communication ; ISSN 0167-6393. — 2015 vol.
67, s. 143–153.

System supporting speaker identification in emergency call center / Jakub GAŁKA, Joanna
GRZYBOWSKA, Magdalena IGRAS, Paweł Jaciów, Kamil Wajda, Marcin WITKOWSKI, Mariusz ZIÓŁKO // W:
INTERSPEECH 2015 : speech beyond speech : towards a better understanding of the most important
biosignal : September 6–10, 2015, Dresden, Germany

Online caller profiling solution for a call centre : [abstract] / Marcin WITKOWSKI, Jakub GAŁKA, Joanna
GRZYBOWSKA, Magdalena IGRAS, Paweł Jaciów, Mariusz ZIÓŁKO // W: Odyssey 2016 : the speaker and
language recognition workshop : June 21–24, 2016, Bilbao, Spain

Audio replay attack detection using high-frequency features / Marcin WITKOWSKI, Stanisław KACPRZAK, Piotr ŻELASKO, Konrad KOWALCZYK, Jakub GAŁKA // W: INTERSPEECH 2017 : situated interaction : 20-24
August 2017, Stockholm, Sweden

System for multimodal data acquisition for human action recognition / Filip MALAWSKI, Jakub GAŁKA //
Multimedia Tools and Applications ; ISSN 1380-7501. — 2018 vol. 77 iss. 18, s. 23825–23850

Informacje dodatkowe:

Brak