Linguistic Technology Testing: Wettbewerbe zur automatischen Auflösung von Koreferenzen und Anaphoren

    Also, wie versprochen, erzählen wir: Kürzlich wurden die Ergebnisse des Wettbewerbs für die automatische Auflösung von Anaphoren und Koreferenzen zusammengefasst. Solche Wettbewerbe für die russische Sprache wurden zum ersten Mal durchgeführt und von ihrem Team von der HSE-MSU organisiert.

    Wir sind sicher, dass es unter unseren Lesern viele Linguisten gibt, die auch ohne uns sehr gut wissen, was Anaphore und Koreferenz sind, sagen wir dem Rest. Ein und dasselbe Objekt der realen Welt kann im Text mehrmals auf unterschiedliche Weise erwähnt werden. "Vasya ist Millionär; er will eine Insel kaufen." In diesem Satz beziehen sich das Pronomen „er“ und das Substantiv „Vasya“ auf dieselbe Person (dh sie haben denselben Referenten ). Wenn das Textanalysesystem versteht, dass „er“ „Vasya“ ist, weiß es, wie Anaphora gelöst wird.

    Schwieriger wird es, wenn Vasya mehrmals im Text vorkommt - zum Beispiel als „Ivanov“, „Kunde“, „Chef der Firma“ oder „Fußballspieler“. Dann geht es nicht mehr um das Pronomen Anaphora, sondern um die Kohärenz von Substantiven. Die Aufgabe des Systems besteht in diesem Fall darin, alle Wörter, hinter denen sich diese Person versteckt, in einer Kernkette zu kombinieren. Hier einige Beispiele, die gleichzeitig zeigen, wie unsere Compreno-Technologie dies tut.

    1. Evgeni Plushenko - der einzige Skater der Welt, der Medaillen der vier Olympischen Winterspiele gewinnen konnte. Seine ersten olympischen Erfahrungen machte der Athlet 2002 bei den Spielen im amerikanischen Salt Lake City.

    Aufgrund der Syntax versteht das System, dass Plushenko und der Skater dieselbe Person sind, diese Person wird dann mit der Person kombiniert, die aufgrund ihrer Verbindung in der semantischen Hierarchie auf dem "Athleten" auffällt, und außerdem ersetzen die anaphorischen Regeln das Pronomen "own" im Analysebaum durch dieses der gleiche "Athlet". Das Ergebnis ist eine Kernkette.

    2. Darrell Lance Abbott wurde in Arlington, Texas, einem Vorort von Dallas und Fort Worth, in der Familie des Musikers und Produzenten Jerry Abbott geboren. Sein Vater besaß die Pantego Sound Studios in Pantego, in denen Darrell viele Bluesgitarristen sah und hörte, aber nachdem er Ace Freilly von der Kiss-Band gehört hatte, war er eser wollte anfangen gitarre zu spielen.

    Hier analysiert das System den Namen Darrell Lance Abbott sofort korrekt in Teile und identifiziert ihn dann in Teilen. Deshalb sind wir NICHT in die Kernkette von Abbots Vater Jerry Abbott gefallen - der Nachname ist der gleiche, aber der Name ist anders. Aber im nächsten Satz erkennt das System Darrell anhand seines Vornamens ohne Nachnamen.

    3. Rosneft kann die Kontrolle über alle Flughäfen in Kirgisistan erlangen. Das russische Unternehmen hat ein Memorandum über die Übernahme von mindestens 51% des Manas International Airport OJSC unterzeichnet. Novaport Roman Trotsenko, der zuvor als Partner von Rosneft an dem Projekt beteiligt war, wird voraussichtlich Betreiber der kirgisischen Flughäfen.

    Auch hier versteht Compreno, dass in der semantischen Hierarchie SK „ROSNEFT“ ein Abkömmling von SK „COMPANIES“ ist, dass der zweite Satz sich auch auf Rosneft bezieht. Dieses Beispiel zeigt, wie das Auflösen von Koreferenzen dazu beiträgt, die Teilnehmer an den Veranstaltungen korrekt zu extrahieren. Es ist uns klar, wer das Memorandum unterzeichnet hat, obwohl der Vorschlag einfach „russische Firma“ lautet.

    Aber zurück zur Konkurrenz. Ihr Ziel war es, die Qualität der Methoden zu bewerten, die für die Analyse von Anaphoren und Koreferenzen in russischer Sprache entwickelt wurden. Sieben Entwickler nahmen am Wettbewerb teil: ABBYY, RCO, SemSyn, Open Corpora (St. Petersburg), Mail.ru, Institut für Systemanalyse der Russischen Akademie der Wissenschaften, Sergey Ponomarev. Wir betonen noch einmal: Ziel war es, die Algorithmen zu vergleichen, nicht die Produkte von Unternehmen. Die Ergebnisse des Wettbewerbs wurden auf der Dialogkonferenz zusammengefasst, die größte Konferenz auf dem Gebiet der Computerlinguistik in Russland.

    Auf der ersten Spur war es notwendig, vollständige Koreferenzketten zu finden, auf der zweiten - Anaphora aufzulösen, dh für alle Pronomen zu finden, auf wen sie zeigen. Beide Aufgaben sind komplizierter als syntaktische und morphologische Analysen (zu diesen Themen wurden vor einigen Jahren Wettbewerbe durchgeführt ), während die meisten Systeme Syntax und Morphologie verwenden, um eine Textsammlung zu markieren, bevor Anaphora aufgelöst wird.

    Auf der ersten Strecke nahmen drei Teilnehmer teil, auf der zweiten sieben, aber auf der zweiten Strecke gab es insgesamt siebzehn Läufe. Eine Vielzahl von Systemen nahm teil - von experimentellen (mit dem Ziel, spezifische Algorithmen zur Auflösung von Anaphoren zu testen) bis hin zu komplexen Systemen, bei denen das Modul, das die Referenzverbindungen ermittelt, nur eine der Komponenten ist.

    Wie verlief der Wettbewerb?


    Zunächst hatten die Teilnehmer die Möglichkeit, ihre Systeme anhand einer handbeschrifteten kleinen Textsammlung zu trainieren. Es enthielt 100 Texte, von denen jeder 5 bis 100 Sätze enthielt, der längste - 170 Sätze. Im Korpus wurden 2.000 anaphorische Paare „Pronomen - Antezedens (das Wort, auf das sich das Pronomen bezieht)“ hervorgehoben. Dann mussten die Systeme einen großen Textkorpus analysieren. Für den Wettbewerb wurde eigens ein Korps zusammengestellt, das Auszüge aus Texten verschiedener Genres enthielt: Nachrichtenartikel, wissenschaftliche Artikel, Blogposts und Belletristik. Alle Texte stammen aus offenen Quellen: dem Open Corpus der russischen Sprache (Open Corpora), der Lib.ru-Netzwerkbibliothek, der Lenta.ru-Publikation, Wikipedia und anderen Quellen - insgesamt 1342 Texte.

    Die Ergebnisse wurden durch Vergleich mit dem "Gold Standard" - Teil desselben Falls, der manuell markiert wurde, ausgewertet. Die Bewertung erfolgte halbautomatisch (umstrittene Stellen wurden zweimal von Sachverständigen geprüft).

    Wettbewerbsergebnisse


    In Wettbewerben zeigte sich, dass vorhandene Systeme Anaphoren gut auflösen können (beispielsweise zeigte Compreno, der den ersten Platz gewann, einen F- Wert von 76% mit einer Genauigkeit von über 80%), während eine vollständige Analyse der Koreferenz schlechter ist. Für die russische Sprache sind die Methoden, die in der englischen Sprache verwendet werden, unzureichend - die freie Wortreihenfolge, einige andere Merkmale der Sprache und das akute Fehlen von Fällen mit offenem Etikett (offenbar von den Organisatoren erstellt, wurde die erste Ressource dieser Art). Das neue Gebäude kann von Entwicklern verwendet werden, um ihre Algorithmen unabhängig zu testen, und die von den Organisatoren während ihrer Arbeit formulierten Markup-Regeln werden den Forschern helfen, neue Fälle für die gleichen Zwecke zu erstellen.

    Wichtiges Ergebnis für ABBYY - unser Compreno hat auf beiden Strecken gewonnen. Gemäß den Regeln des Wettbewerbs können wir nicht alle Namen von Gewinnern und Verlierern in unserem Blog öffnen. Der Sinn solcher Regeln ist, dass der Wettbewerb (oder genauer gesagt, das Testen) nicht für die PR bestimmt ist, sondern für die Entwickler, die ihre Algorithmen vergleichen die Entwicklung von Kollegen und erhalten Schätzungen (auf die in wissenschaftlichen Publikationen verwiesen werden kann) und Erfahrungen. Darüber hinaus wird nach den Ergebnissen des Wettbewerbs immer ein Test mit der Bezeichnung Corps, der Gold Standard, erstellt, bei dem jeder (z. B. Studenten) seine eigenen Algorithmen ausführen und mit dem in der Branche erreichten Niveau vergleichen kann.

    Wir können in Blogs und in den Medien keine Gewinner und Verlierer nennen, aber in naher Zukunft wird auf der Dialog-Website ein ausführlicher Artikel mit einer Analyse der Ergebnisse des Wettbewerbs veröffentlicht, der die endgültige Bewertung enthält. Artikel Organisatoren über die Vorbereitung des Wettbewerbs und das Bewertungsverfahren wird beschrieben hier .

    Jetzt auch beliebt: