VVZ API is not affiliated with ETH Zurich. Data might be outdated or incorrect. Please view the official ETHZ Vorlesungsverzeichnis for binding information.

227-0434-10L 9 Credits DR , MSC , WBZ D-ITET , D-INFK , D-MATH , D-PHYS

You're viewing possible stale or outdated data. Please check the latest semester for more up-to-date information.

Mathematics of Information

Lecturers & Examiners: Prof. Dr. Helmut Bölcskei, Dr. Thomas Allard

VVZ CR 4.0

Last Updated: 2026-06-01 11:33:06

Abstract

The class focuses on mathematical aspects of1. Information science: Sampling theorems, frame theory, compressed sensing, sparsity, super-resolution, spectrum-blind sampling, subspace algorithms, dimensionality reduction2. Learning theory: Approximation theory, greedy algorithms, uniform laws of large numbers, Rademacher complexity, Vapnik-Chervonenkis dimension

Objective

The aim of the class is to familiarize the students with the most commonly used mathematical theories in data science, high-dimensional data analysis, and learning theory. The class consists of the lecture and exercise sessions with homework problems.

Content

Mathematics of Information 1. Signal representations: Frame theory, wavelets, Gabor expansions, sampling theorems, density theorems 2. Sparsity and compressed sensing: Sparse linear models, uncertainty relations in sparse signal recovery, super-resolution, spectrum-blind sampling, subspace algorithms (ESPRIT), estimation in the high-dimensional noisy case, Lasso 3. Dimensionality reduction: Random projections, the Johnson-Lindenstrauss Lemma Mathematics of Learning 4. Approximation theory: Nonlinear approximation theory, best M-term approximation, greedy algorithms, fundamental limits on compressibility of signal classes, Kolmogorov-Tikhomirov epsilon-entropy of signal classes, optimal compression of signal classes 5. Uniform laws of large numbers: Rademacher complexity, Vapnik-Chervonenkis dimension, classes with polynomial discrimination

Resources

Lecture Notes

Detailed lecture notes will be provided at the beginning of the semester.

Learning Materials (Links)

Main link
Course Website

General Information

Language: English
Levels: DR , MSC , WBZ
Frequency: Yearly recurring

Examination

Type: session examination
Mode: written 180 minutes
Aids: 10 handwritten or printed A4 pages summary (or 5 A4 pages on both sides). Electronic devices (laptops, calculators, cellphones, etc...) are not allowed.

Course Components

Type	Title	Time & Place	Hours
lecture	Mathematics of Information	Thu 09:15-12:00 (ML F 36)	3 h weekly
exercise	Mathematics of Information	Mon 14:15-16:00 (ML E 12) 21.05 Date 08:15-12:00 (GLC E 24)	2 h weekly
independent project	Mathematics of Information	No time listed	2 h weekly

Offered In

Rechnergestützte Wissenschaften Master
- Wahlfächer (Von den angebotenen Wahlfächern müssen mindestens zwei Lerneinheiten erfolgreich abgeschlossen werden.)
Informatik Master
- Vertiefungen
  - Vertiefung in Machine Intelligence
    - Wahlfächer
Mathematik Master
- Wahlfächer (Für das Master-Diplom in Angewandter Mathematik ist die folgende Zusatzbedingung (nicht in myStudies ersichtlich) zu beachten: Mindestens 14 KP der erforderlichen 26 KP aus Kern- und Wahlfächern müssen aus Bereichen der angewandten Mathematik und weiteren anwendungsorientierten Gebieten stammen.)
  - Wahlfächer aus Bereichen der angewandten Mathematik ... (vollständiger Titel: Wahlfächer aus Bereichen der angewandten Mathematik und weiteren anwendungsorientierten Gebieten)
    - Auswahl: Weitere Gebiete sowie einige Kurse der UZH
Elektrotechnik und Informationstechnologie Master
- Master-Studium (Studienreglement 2018)
  - Vertiefung: Communication (The core courses and specialization courses below are a selection for students who wish to specialize in the area of "Communication", see . The individual study plan is subject to the tutor's approval.)
    - Vertiefungsfächer (These specialization courses are particularly recommended for the area of "Communication", but you are free to choose courses from any other field in agreement with your tutor. Semester / Research Projects are not allowed in this category. A minimum of 40 credits must be obtained from specialization courses during the Master's Programme.)
  - Vertiefung: Signal Processing and Machine Learning (The core courses and specialization courses below are a selection for students who wish to specialize in the area of "Signal Processing and Machine Learning ", see . The individual study plan is subject to the tutor's approval.)
    - Kernfächer (These core courses are particularly recommended for the field of "Signal Processing and Machine Learning". You may choose core courses form other fields in agreement with your tutor. A minimum of 24 credits must be obtained from core courses during the MSc EEIT.)
      - Advanced Core Courses
- Master-Studium (Studienreglement 2008)
  - Fächer der Vertiefung (A total of 42 CP must be achieved form courses during the Master Program. The individual study plan is subject to the tutor's approval. Semester / Research Projects are not allowed in this category.)
    - Communication
      - Empfohlene Fächer (Diese Fächer sind eine Empfehlung. Sie können Fächer aus allen Vertiefungsrichtungen wählen. Sprechen Sie mit Ihrem Tutor.)
    - Signal Processing and Machine Learning
      - Kernfächer
Statistik Master (Die hier aufgelisteten Lehrveranstaltungen gehören zum Curriculum des Master-Studiengangs Statistik. Die entsprechenden KP gelten nicht als Mobilitäts-KP, auch wenn gewisse Lerneinheiten nicht an der ETH Zürich belegt werden können.)
- Fachbezogene Wahlfächer
Physik Master
- Wahlfächer
  - Allgemeine Wahlfächer (Den Studierenden steht das gesamte Lehrangebot der ETH Zürich zur individuellen Auswahl offen - mit folgenden Einschränkungen: Lehrveranstaltungen aus den ersten beiden Studienjahren eines Bachelor-Curriculums der ETH Zürich sowie Lehrveranstaltungen aus GESS "Wissenschaft im Kontext" sind nicht als allgemeines Wahlfach anrechenbar. Die Dozierenden folgender Lehrveranstaltungen empfehlen sie ausdrücklich den Studierenden der Physik. (Für die Lehrveranstaltungen in dieser Liste können Sie die Kategorie "Allgemeine Wahlfächer" direkt in myStudies zuordnen. Für die Kategoriezuordnung anderer zugelassener Lehrveranstaltungen lassen Sie bei der Prüfungsanmeldung "keine Kategorie" ausgewählt und wenden Sie sich nach dem Verfügen des Prüfungsresultates an das Studiensekretariat ( ).))
CAS in Informatik
- Vertiefungsfächer und Wahlfächer
Doktorat Informationstechnologie und Elektrotechnik (A minimum of 12 ECTS credit points must be obtained during doctoral studies (also see sub-categories for details) More Information at )
- Vertiefung Fachwissen (The courses on offer below are but a small selection out of a much larger available number of courses. Please discuss your course selection with your PhD supervisor.)
Data Science Master
- Master-Studium (Studienreglement 2017)
  - Kernfächer
    - Datenanalyse
      - Information and Learning
- Master-Studium (Studienreglement 2023)
  - Kernfächer
    - Datenanalyse
Cyber Security Master
- Ergänzung
  - Machine Intelligence
    - Wahlfächer
Quantum Engineering Master
- Wahlfächer (This is a selection of courses particularly suitable for the MSc QE. In agreement with the tutor, students may choose other courses from the ETH course catalogue.)