Mathematische Grundlagen der Computerlinguistik III: Statistische Methoden

Vorlesung, erster Studienabschnitt

Leitung

Matt Crocker, Enrico Lieblang

Zeit und Ort

Mo 16-18 (Vorlesung), Di 16-18 (Vorlesung), Do 14-16 (Übung), Seminarraum

Skripte und Folien

28.04.2003 Matthew Crocker Lecture 1: Statistics and Language
02.06.2003 Matthew Crocker Lecture 2: Corpora
03.06.2003 Matthew Crocker Lecture 3: Information Theory
Matthew Crocker Lecture 4: Information Theory, Part II
Matthew Crocker Lecture 5: Word Clustering with Information Theory
Matthew Crocker Lecture 6: Selectional Restrictions with Information Theory
Matthew Crocker Lecture 7: Probabilistic Context-free Grammars: Overview
Matthew Crocker Lecture 8: Probabilistic Context-free Grammars: Inside and Outside Probabilities, and Viterbi parsing

Übungsblätter

06.05.2003 Enrico Lieblang Übung 1
13.05.2003 Enrico Lieblang Übung 2
Enrico Lieblang Übung 4---Musterlösung
05.06.2003 Garance PARIS Unix Tools
The corpora for the tutorial are in:
~gparis/shadow/public/MatheIII/Corpora/example ~gparis/shadow/public/MatheIII/Corpora/german ~gparis/shadow/public/MatheIII/Corpora/english ~gparis/shadow/public/MatheIII/Corpora/brown_pos
17.06.2003 Garance PARIS Information Theory
03.07.2003 Garance PARIS GSEARCH

Inhalt

Statistische Methoden erhalten in der Computerlinguistik eine immer grössere Bedeutung, insbesondere im Bereich der Sprachtechnologie. Ein grosser Teil der Anwendungen wäre heute ohne den Zugriff auf statistische Methoden nicht mehr möglich.

Statistische Verfahren nutzen Häufigkeitsverteilungen in Text- oder Sprachkorpora aus, um Aussagen über neue, vorher ungesehene Daten zu machen und somit deren Analyse zu ermöglichen. Insbesondere erlauben es statistische Verfahren, linguistischen Strukturen (z.B. Parsebäumen) Wahrscheinlichkeiten zuzuordnen, die dann für die Verarbeitung dieser Strukturen eingesetzte werden können (z.B. zur Auflösung von Mehrdeutigkeiten).

Im einzelnen sollen folgende Themen behandelt werden:

  • Mathematische Grundlagen
    • Verteilungen, Zufallsvariable
    • Schätztheorie, Testtheorie
    • Stochastische Prozesse

  • Korpuslinguistische Untersuchungen
    • Frequenzen, Proportionen
    • Kollokationen
    • Informationstheorie

  • Verarbeitungsverfahren
    • Part-of-Speech Tagging
    • Stochastisches Parsing

Vorraussetzungen/Bemerkungen

keine.

Stellung im Studienplan

Der Schein kann alternativ zu einem Schein in "Informatische Grundlagen" (6 SWS; gemäss §11(2)2 der neuen SPO) verwendet werden.

Prüfungsleistungen

Es findet eine Klausur über den gesamten Stoff am Semesterende statt (120 min). Die Teilnehmer müssen 50% der Punkte aus Übungsaufgaben als Voraussetzung zur Klausurteilnahme erbringen.

Prüfungsanmeldung bitte spätestens 14 Tage vor Semesterende per Online-Formular.

Literatur

Bauer, 1968. Wahrscheinlichkeitstheorie und Grundzüge der Masstheorie. Berlin.

Thorsten Brants, 2000. TnT - A Statistical Part-of-Speech Tagger. In Proceedings of the Sixth Conference on Applied Natural Language Processing ANLP-2000, Seattle, WA.

Jürgen Bortz, 1993. Statistik für Sozialwissenschaftler. Springer, Berlin.

Christopher Butler, 1985. Statistics in Linguistics. Blackwell, Oxford.

Eugene Charniak, 1993. Statistical Language Learning. MIT Press, Cambridge, MA.

Kenneth Ward Church, 1994. Unix for Poets. (html and pdf versions also available at various places on the web).

Brigitte Krenn and Christer Samuelsson, 1996. The Linguist's Guide to Statistics. A compendium for a course in Statistical Approaches in Computational Linguistics.

Erwin Kreyszig, 1998. Statistische Methoden und ihre Anwendungen. van den Hoeck & Ruprecht, Göttingen.

Ruth Kusterer. Linux-Tools für Computerlinguisten (Deutsch).

David M. Lane, 2000. HyperStat Online.

Christopher Manning and Hinrich Schütze, 1999. Foundations of Statistical Natural Language Processing. MIT Press, Cambridge, MA.

Tony McEnery, 1996. Corpus Linguistics. Edinburgh University Press.

P. Oakes, 1998. Statistics for corpus linguistics. Edinburgh University Press.

Außerdem sind Skript, Folien und Übungsblätter von letztem Jahr auch auf der Homepage von Karin Müller zu erreichen.