Moduł oferowany także w ramach programów studiów:
Informacje ogólne:
Nazwa:
Przetwarzanie i przesyłanie informacji multimedialnych
Tok studiów:
2014/2015
Kod:
ITE-1-606-s
Wydział:
Informatyki, Elektroniki i Telekomunikacji
Poziom studiów:
Studia I stopnia
Specjalność:
-
Kierunek:
Teleinformatyka
Semestr:
6
Profil kształcenia:
Ogólnoakademicki (A)
Język wykładowy:
Polski
Forma i tryb studiów:
Stacjonarne
Osoba odpowiedzialna:
dr hab. inż. Leszczuk Mikołaj (leszczuk@agh.edu.pl)
Osoby prowadzące:
dr inż. Hulicki Zbigniew (hulicki@kt.agh.edu.pl)
dr hab. inż. Leszczuk Mikołaj (leszczuk@agh.edu.pl)
Krótka charakterystyka modułu

The classes will be realised in a computer laboratory. The course consists of computer exercises on multimedia (mainly video) data processing and transmission.

Opis efektów kształcenia dla modułu zajęć
Kod EKM Student, który zaliczył moduł zajęć wie/umie/potrafi Powiązania z EKK Sposób weryfikacji efektów kształcenia (forma zaliczeń)
Wiedza
M_W001 zna organizację i sposób funkcjonowania usług multimedialnych; stosowania elementów strumieniowania multimedialnego oraz technik przetwarzania oraz kodowania dźwięków, obrazów i tekstu w multimediach; TE1A_W06 Wynik testu zaliczeniowego,
Aktywność na zajęciach,
Kolokwium
M_W002 ma wiedzę z zakresu analizy i modelowania technik kodowania, modulacji i szyfrowania informacji TE1A_W01 Wynik testu zaliczeniowego,
Kolokwium,
Aktywność na zajęciach
M_W003 ma uporządkowaną wiedzę z zakresu teorii digitalizacji sygnałów (metod ich przetwarzania) TE1A_W03 Wynik testu zaliczeniowego,
Kolokwium,
Aktywność na zajęciach
M_W004 zna i rozumie zasady przedstawiania sygnałów telekomunikacyjnych w dziedzinie czasu i częstotliwości; zna cechy strumieniowania cyfrowych multimediów, właściwości kanału telekomunikacyjnego i techniki kodowania; TE1A_W04 Wynik testu zaliczeniowego,
Kolokwium,
Aktywność na zajęciach
Umiejętności
M_U001 potrafi projektować usługi strumieniowania multimediów, z uwzględnieniem zadanych kryteriów, używając właściwych technologii strumieniowych; TE1A_U10 Wykonanie projektu,
Projekt,
Koordynacja, realizacja projektu badawczego, przygotowanie referatu/publikacji, organizacja, organizacja konferencji, obozów i wycieczek naukowych,
Aktywność na zajęciach
M_U002 potrafi zarządzać i organizować repozytoria treści multimedialnych, konfigurować mechanizmy strumieniowania informacji multimedialnych; TE1A_U12 Wynik testu zaliczeniowego,
Wykonanie projektu,
Projekt,
Koordynacja, realizacja projektu badawczego, przygotowanie referatu/publikacji, organizacja, organizacja konferencji, obozów i wycieczek naukowych,
Kolokwium,
Aktywność na zajęciach
M_U003 potrafi projektować komponenty systemów kompresji oraz strumieniowania danych multimedialnych; TE1A_U09 Wykonanie projektu,
Projekt,
Koordynacja, realizacja projektu badawczego, przygotowanie referatu/publikacji, organizacja, organizacja konferencji, obozów i wycieczek naukowych,
Aktywność na zajęciach
Kompetencje społeczne
M_K001 ma gotowość podporządkowania się założeniom funkcjonowania w grupie projektowej i ponoszenia odpowiedzialności za zespołowo wykonywany projekt; TE1A_K03 Wykonanie projektu,
Projekt,
Koordynacja, realizacja projektu badawczego, przygotowanie referatu/publikacji, organizacja, organizacja konferencji, obozów i wycieczek naukowych,
Aktywność na zajęciach
Matryca efektów kształcenia w odniesieniu do form zajęć
Kod EKM Student, który zaliczył moduł zajęć wie/umie/potrafi Forma zajęć
Wykład
Ćwicz. aud
Ćwicz. lab
Ćw. proj.
Konw.
Zaj. sem.
Zaj. prakt
Zaj. terenowe
Zaj. warsztatowe
Inne
E-learning
Wiedza
M_W001 zna organizację i sposób funkcjonowania usług multimedialnych; stosowania elementów strumieniowania multimedialnego oraz technik przetwarzania oraz kodowania dźwięków, obrazów i tekstu w multimediach; - - + - - - - - - - -
M_W002 ma wiedzę z zakresu analizy i modelowania technik kodowania, modulacji i szyfrowania informacji - - + - - - - - - - -
M_W003 ma uporządkowaną wiedzę z zakresu teorii digitalizacji sygnałów (metod ich przetwarzania) - - + - - - - - - - -
M_W004 zna i rozumie zasady przedstawiania sygnałów telekomunikacyjnych w dziedzinie czasu i częstotliwości; zna cechy strumieniowania cyfrowych multimediów, właściwości kanału telekomunikacyjnego i techniki kodowania; - - + - - - - - - - -
Umiejętności
M_U001 potrafi projektować usługi strumieniowania multimediów, z uwzględnieniem zadanych kryteriów, używając właściwych technologii strumieniowych; - - + - - - - - - - -
M_U002 potrafi zarządzać i organizować repozytoria treści multimedialnych, konfigurować mechanizmy strumieniowania informacji multimedialnych; - - + - - - - - - - -
M_U003 potrafi projektować komponenty systemów kompresji oraz strumieniowania danych multimedialnych; - - + - - - - - - - -
Kompetencje społeczne
M_K001 ma gotowość podporządkowania się założeniom funkcjonowania w grupie projektowej i ponoszenia odpowiedzialności za zespołowo wykonywany projekt; - - + - - - - - - - -
Treść modułu zajęć (program wykładów i pozostałych zajęć)
Ćwiczenia laboratoryjne:
  1. Digitalizacja / Digitalization

    - Podstawy konwersji analogowych sygnałów multimedialnych do formy (reprezentacji) cyfrowej. Cyfrowa reprezentacja plików multimedialnych (piksele, kanały, sygnały, etc.). Obraz, jako macierz pikseli.
    - Basics of conversion of analog multimedia signals to digital form (representation). Digital represenatation of multimedia files (pixels, channels, signals etc.). Image as a matrix of pixels.

  2. Zaawansowane tematy w fotografii cyfrowej / Advanced Topics in Digital Photography

    - High Dynamic Range Imaging (HDRI).

  3. Operacje logiczne i arytmetyczne na obrazach / Logical and Arithmetical Operations on Images

    - Operacje logiczne na obrazach (AND, OR, XOR, NEGATIVE, Threshold). Operacje arytmetyczne/numeryczne na obrazach (Weighted Sum, podstawy modelowania tła).
    - Logical operations with images (AND, OR, XOR, NEGATIVE, Threshold). Arithmetical/numerical operations on images (Weighted Sum, basics of background modeling).

  4. Histogramy / Histograms

    - Equalization, Matching, Image Statistics. Histogramy: generowanie, porównywanie i wyrównywanie.
    - Equalization, Matching, Image Statistics. Histograms: generation, comparing and equalization.

  5. Matematyczne operacje morfologiczne na obrazach / Mathematical Morphological (MM) Operations on Images

    - Operacje morfologiczne (erode, dilate, hit-or-miss, thickening, distance metrics, contours finding, etc.).
    - Morphological operations (erode, dilate, hit-or-miss, thickening, distance metrics, contours finding, etc.).

  6. Kompresja sygnałów dźwiękowych / Audio Signal Compression

    - Podstawy kompresji sygnałów dźwiękowych. Ogólna koncepcja kodeków Moving Picture Experts Group (MPEG) Audio Layer II (MP2) i MPEG Audio Layer III (MP3). Kodeki Advanced Audio Coding (AAC) i High-Efficiency-AAC (HE-AAC) v.2. Cyfrowe radio Digital Audio Broadcasting (DAB) i DAB+. Bezstratna kompresja dźwięku.
    - Basics of audio signal compression. General concept of Moving Picture Experts Group (MPEG) Audio Layer II (MP2) and MPEG Audio Layer III (MP3) codecs. Advanced Audio Coding (AAC) and High-Efficiency-AAC (HE-AAC) v.2 codecs. Digital Audio Broadcasting (DAB) and DAB+ digital radio. Lossless audio compression.

  7. Kompresja sygnałów obrazu nieruchomego / Image Signal Compression

    - Bezstratna kompresja obrazu. Zastosowanie Discrete Cosine Transform (DCT) w Joint Photographic Experts Group (JPEG).
    - Lossless visual compression. Application of Discrete Cosine Transform (DCT) in Joint Photographic Experts Group (JPEG).

  8. Kompresja sygnałów obrazu ruchomego / Video Signal Compression

    - Bezstratna kompresja obrazu. Zastosowanie Discrete Cosine Transform (DCT) w MPEG. Wektory ruchu. Biblioteki treści multimedialnej, popularnie używane do rozwoju aplikacji: CDVL, zasoby AGH, etc.
    - Lossless visual compression. Application of Discrete Cosine Transform (DCT) in MPEG. Motion vectors. Multimedia content libraries, commonly used for application development: CDVL, AGH resources, etc.

  9. Test 1

    Test 1

Nakład pracy studenta (bilans punktów ECTS)
Forma aktywności studenta Obciążenie studenta
Sumaryczne obciążenie pracą studenta 50 godz
Punkty ECTS za moduł 2 ECTS
Dodatkowe godziny kontaktowe z nauczycielem 32 godz
Udział w ćwiczeniach audytoryjnych 18 godz
Pozostałe informacje
Sposób obliczania oceny końcowej:

Aby otrzymać zaliczenie końcowe, należy uzyskać pozytywną ocenę, zgodnie z Regulaminem Studiów AGH. Ocenę liczy się na podstawie sumy punktów z kolokwium/kolokwiów, ewentualnie w nieznaczny sposób korygowanych przez wyniki frekwencji i innych aktywności.
Student ma prawo do zaliczenia poprawkowego na zasadzie (ustnego) kolokwium poprawkowego.

Wymagania wstępne i dodatkowe:

Zalecana literatura i pomoce naukowe:
  1. Smith J. R.: “Digital Video Libraries and the Internet”, IEEE Communications Magazine, 1999, vol. 37, no. 1, s. 92-97.
  2. Helix DNA manuals.
  3. Darwin Streaming Server manuals.
  4. VideoLAN manuals.
  5. MPEG4IP manuals.
  6. Dimitrova N., Zhang H. J., Shahraray B., Sezan I., Huang T., Zakhor A.: “Applications of Video-Content Analysis and Retrieval”, IEEE Multimedia, 2002, vol. 9, no. 3, s. 42-55.
  7. ISO/IEC Standard TR 15938: Information technology – Multimedia content description interface, 06/2005.
  8. Manjunath B. S., Salembier P., Sikora T.: Introduction to MPEG-7 Multimedia Content Description Interface. John Wiley & Sons, Chichester 2002.
  9. Po L. M., Wong K. M.: “A New Palette Histogram Similarity Measure for MPEG-7 Dominant Color Descriptor”, Proc. IEEE International Conference on Image Processing 2004 ICIP’2004, Singapore, 2004, vol. 3, s. 1533-1536.
  10. Smith J. R., Chang S. F.: “Interoperable Content-based Access of Multimedia in Digital Libraries”, Proc. DELOS Workshop: Information Seeking, Searching and Querying in Digital Libraries, Zurich, Switzerland, 2001.
  11. Sonera MediaLab: “MPEG-7 White Paper”, 2003.
  12. Westermann G. U.: A Persistent Typed Document Object Model for the Management of MPEG-7 Media Descriptions. PhD Thesis, Vienna, Austria, 2004.
  13. Wong K. M., Po L. M.: “MPEG-7 Dominant Color Descriptor based relevance feedback using Merged Palette Histogram”, Proc. IEEE International Conference on Acoustics, Speech and Signal Processing 2004 ICASSP’2004, Montreal, Canada, 2004, vol. 3, s. 433-436.
Publikacje naukowe osób prowadzących zajęcia związane z tematyką modułu:
  1. Mikołaj Leszczuk, Lucjan Janowski, Piotr Romaniak, Zdzisław Papir, September 2013, „Assessing quality of experience for high definition video streaming under diverse packet loss patterns”, Elsevier Signal Processing: Image Communication (SPIC) – IF=1.153, Volume 28, Issue 8, Pages 903-916.
  2. Mikołaj Leszczuk, Lucjan Janowski, 8 February 2015, „Advanced mechanisms for delivering high-quality digital content”, Proceedings of IS&T/SPIE Electronic Imaging (EI) – WoS, Volume 9396, 6 Pages.
  3. Mikołaj Leszczuk, Mateusz Hanusiak, Mylène C. Q. Farias, Emmanuel Wyckens, George Heston, 6 September 2014, „Recent Developments in Visual Quality Monitoring by Key Performance Indicators”, Springer Multimedia Tools and Applications (MTAP) – IF=1.346, Pages 1-23.
  4. Mikołaj Leszczuk, Krzysztof Kowalczyk, Lucjan Janowski, Zdzisław Papir, November 2015, „Lightweight Implementation of No-Reference (NR) Perceptual Quality Assessment of H.264/AVC Compression”, Elsevier Signal Processing: Image Communication (SPIC) – IF=1.462, Volume 39, Part B, Pages 457-465.
  5. Mariusz Duplaga, Mikołaj Leszczuk, Zdzisław Papir, Artur Przelaskowski, 11-12 September 2008, „Evaluation of Quality Retaining Diagnostic Credibility for Surgery Video Recordings”, Proceedings of Microsoft Visual Information Systems (VISUAL) – WoS, Volume 5188, Pages 227-230.
  6. Mariusz Duplaga, Mikołaj Leszczuk, Zdzisław Papir, Artur Przelaskowski, December 2008, „Compression evaluation of surgery video recordings retaining diagnostic credibility (compression evaluation of surgery video)”, Springer Optoelectronics Review (OER) – IF=1.135, Volume 16, Issue 4, Pages 428-438.
  7. Mikołaj Leszczuk, Mariusz Duplaga, 20 December 2011, „Algorithm for Video Summarization of Bronchoscopy Procedures”, Bio-Medical Engineering On-Line (BEO) – IF=1.405, Volume 10.
  8. Mikołaj Leszczuk, Łukasz Skoczylas, Andrzej Dziech, 26-28 September 2013, „Simple Solution for Public Transport Route Number Recognition Based on Visual Information”, Proceedings of Signal Processing: Algorithms, Architectures, Arrangements, and Applications (SPA) – WoS, Pages 32-38.
  9. Mikołaj Leszczuk, Łukasz Dudek, Marcin Witkowski, June 2015, „Classification of video sequences into chosen generalized use classes of target size and lighting level”, Springer Multimedia Tools and Applications (MTAP) – IF=1.346, Volume 74, Issue 12, Pages 4381-4395.
  10. Mikołaj Leszczuk, Lucjan Janowski, Piotr Romaniak, Andrzej Głowacz, Ryszard Mirek, 2-3 June 2011, „Quality Assessment for a Licence Plate Recognition Task Based on a Video Streamed in Limited Networking Conditions”, Proceedings of Multimedia Communications Services and Security (MCSS) – WoS, Volume 149, Pages 10-18.
  11. Mikołaj Leszczuk, Lucjan Janowski, 26-28 September 2013, „Database for Video Quality Assessment in License Plate Recognition”, Proceedings of Signal Processing: Algorithms, Architectures, Arrangements, and Applications (SPA) – WoS, Pages 51-55.
  12. Mikołaj Leszczuk, 2-3 June 2011, „Assessing Task-Based Video Quality – A Journey from Subjective Psycho-Physical Experiments to Objective Quality Models”, Proceedings of Multimedia Communications Services and Security (MCSS) – WoS, Volume 149, Pages 91-99.
  13. Mikołaj Leszczuk, January 2014, „Optimising Task-Based Video Quality”, Multimedia Tools and Applications (MTAP) – IF=1.346, Volume 68, Issue 1, Pages: 41-58.
  14. Mikołaj Leszczuk, Joel Dumke, 6-7 June 2013, „Survey of Recent Developments in Quality Assessment for Target Recognition Video”, Proceedings of Multimedia Communications, Services and Security (MCSS) – WoS, Volume 368, Pages 59-70.
  15. Mikołaj Leszczuk, Artur Koń, Joel Dumke, Lucjan Janowski, 31 May-1 June 2012, „Redefining ITU-T P.912 Recommendation Requirements for Subjects of Quality Assessments in Recognition Tasks”, Proceedings of Multimedia Communications Services and Security (MCSS) – WoS, Volume 287, Pages 188-199.
  16. Mikołaj Leszczuk, January 2015, „Revising and improving the ITU-T Recommendation P.912”, Journal of Telecommunications and Information Technology, 2015 nr 1, Pages 10–14.
  17. Carolyn Ford, Lucjan Janowski, Mikołaj Leszczuk, March 2016, „Subjective video quality assessment methods for recognition tasks”, ITU-T Recommendation P.912.
Informacje dodatkowe:

Celem tego kursu jest zapoznanie studentów z praktycznymi implementacjami systemów przetwarzania i przesyłanie informacji multimedialnych, w tym, systemów dostępu do multimediów, składowania multimediów i indeksowania multimediów. Systemy takie, w literaturze fachowej, nazywane są nierzadko Cyfrowymi Bibliotekami Wideo (ang. Digital Video Libraries, DVL) i wskazywane, jako jedne z głównych aplikacji Internetu przyszłości, przy czym warunkiem koniecznym do popularyzacji DVL jest dostępność zaawansowanej infrastruktury telekomunikacyjnej.
Dzięki uczestnictwie w kursie, studenci poznają najnowsze techniki przetwarzania i przesyłania informacji multimedialnych w DVL, a także dowiedzą się o planowanych kierunkach rozwoju technik sieci telekomunikacyjnych i ich wpływie na rozwój popularności DVL w Internecie. Dzięki udziałowi w kursie, można będzie także poznać techniki budowy DVL, opartych na systemach strumieniowania, takich jak Helix DNA, Darwin Streaming Server, VideoLAN czy MPEG4IP.