Grammatikformalismen

Sommersemester 2024
Prof. Dr. Alexander Koller
Tutoren: Hanna Helbig; Florian Kandra
Di 12-14; Fr 10-12

Beginn: Freitag, 26. April

Der traditionelle Inhalt dieser Vorlesung ist ein Überblick über die wichtigsten Grammatikformalismen, die wir in der Computerlinguistik verwenden (siehe dazu auch diesen XKCD-Comic). Diese Formalismen unterscheiden sich in ihren linguistischen Grundannahmen, ihrem Ansatz an die mathematische Modellierung sprachlicher Zusammenhänge, ihrer Expressivität und Parsingkomplexität sowie den verfügbaren Wahrscheinlichkeitsmodellen. Wir werden alle diese Aspekte diskutieren und verschiedene Formalismen zueinander in Bezug setzen.

Die Vorlesung im SS 2024 baut auf diesem traditionellen Inhalt auf, wird aber darüberhinaus einen ersten Einblick in neuronale und neurosymbolische Modelle für syntaktisches Parsing geben. Wir werden auch diskutieren, inwiefern solche Modelle noch als “Grammatikformalismen” im klassischen Sinn gelten können, und so unser Bewusstsein für die Stärken und Grenzen von grammatikbasierten und neuronalen Modellen von Sprache schärfen.

Moodle. Bitte melden Sie sich vor Beginn der Vorlesung im Moodle-Kurs an. Ich stelle Übungen und andere Materialien in Moodle zur Verfügung, und Sie können und sollten sich im Moodle-Forum miteinander und mit uns austauschen.

Voraussetzungen. WICHTIG!! Die Vorlesung “Grammatikformalismen” ist eine fortgeschrittene Vorlesung im Computerlinguistik-Studium, die eine ganze Reihe von Inhalten der Einführungsvorlesungen zusammenführt. Ich setze voraus, dass Sie mit den Inhalten der folgenden Vorlesungen vertraut sind: “Mathematische Grundlagen: Formale Sprachen und Automaten”; “Mathematische Grundlagen: Analysis und Lineare Algebra”; “Statistics Lab”; “Einführung in die Syntax und Morphologie”; “Computerlinguistische Algorithmen”. Vertrautheit mit neuronalen Netzen (z.B. aus der NNIA-Vorlesung) ist nützlich, aber nicht zwingend notwendig. Die Lehrveranstaltung umfasst sowohl Übungen zur Grammatikentwicklung als auch Programmierübungen mit Pytorch; ohne die genannten Vorkenntnisse wird sie schwierig.

Übungen. Zu jedem der fünf thematischen Blöcke der Vorlesung wird es eine Übung geben (also etwa eine Übung alle 2-3 Wochen). Ziel der Übung ist es, die einzelnen Formalismen selbst auszuprobieren – vor allem, indem Sie eigene Grammatiken zu ausgewählten linguistischen Phänomenen schreiben – und neuronale Parsingalgorithmen mit Pytorch und Huggingface selbst zu implementieren.

Um zur Prüfung zugelassen zu werden, müssen Sie mindestens vier Übungsblätter abgeben und aus den besten vier Übungsblättern mindestens 200 (von 400) Punkten bekommen.

Die Übungen liegen mir sehr am Herzen; meiner Meinung nach lernt man nichts richtig, wenn man es nicht selbst ausprobiert hat. Daher gibt es zur Vorlesung ein regelmäßiges Tutorium, in dem Sie Fragen klären sowie sich Hilfe bei technischen Problemen holen können. Auch zwischendurch können Sie über Moodle mit uns und miteinander über die Übungen sowie über die Inhalte der Vorlesung diskutieren.

Prüfung. Die Abschlussklausur (90 min) findet in der ersten Woche der Semesterferien (Di 30.07.2024) um 9:00 Uhr statt.