Der Annotationsprozess in SALSA

Die Arbeit in SALSA schreitet folgendermassen voran:

1. Vorbereitung der Daten (``Vanguarding'')
   • Es wird ein neues Prädikat zur Annotation ausgewählt.
   • Es wird mit TIGERSearch ein neues ``Subkorpus'' erzeugt, das alle Sätze des TIGER-Korpus enthält, in denen das Prädikat vorkommt.
   • Anhand der ersten etwa 20 Sätze des Subkorpus werden Frames herausgesucht, die für das Prädikat einschlägig sind.

     Falls dabei Bedeutungen des Prädikats gefunden werden, für die FrameNet noch keinen Frame enthält, werden sogenannte ``Unknown''-Frames erzeugt, die prädikatsspezifisch sind.

2. Annotation: Jedes Subkorpus wird unabhängig von zwei Annotatoren annotiert. Dabei wird jedes Vorkommen des Prädikats wie folgt behandelt:
   • Zunächst wird der passende Frame ausgewählt.
   • Dann werden den Argumenten des Prädikats die passenden Rollen zugewiesen.
   Merke: Wenn man ein Prädikat mit FrameNet annotiert, muss man immer als erstes den Frame festlegen, denn die Wahl des Frames bestimmt das zur Verfügung stehende Rolleninventar.

   Sätze, bei deren Annotation Probleme aufgetreten sind, werden im Wiki gesammelt (siehe nächsten Abschnitt) und einmal wöchentlich in der Annotatorensitzung besprochen.

   Der Hauptteil dieses Dokuments befasst sich mit den Fragen, die während dieses Schritttes auftreten.

3. Nachbearbeitung: Mit automatischen und semi-automatischen Verfahren werden einige formale Annotationsfehler beseitigt und werden Subkorpora der jeweils aktuellen Version der Annotationsrichtlinie angepasst.

4. Adjudikation: Die zwei annotierten Versionen jedes Subkorpus werden automatisch kombiniert. Zwei Adjudikatoren gehen manuell die Stellen durch, an denen sich die zwei Annotatoren nicht einig waren, und treffen jeweils eine Entscheidung.

5. Meta-Adjudikation: Die zwei adjudizierten Versionen jedes Subkorpus werden wiederum automatisch kombiniert, und verbleibende Differenzen von den beiden Adjudikatoren gemeinsam besprochen und aufgelöst.