Dicsourse-new detectors for definite description resolution: a survey and a preliminary proposal

Title：Dicsourse-new detectors for definite description resolution: a survey and a preliminary proposal针对确定性描述的新描述识别：综述和初步建议
Author：Massimo Poesio; Olga Uryupina; Renata Vieira
Author organization:
Massimo Poesio, University of Essex,Computer Science and Cognitive Science(UK)
Olga Uryupina, Universitat des Saarlandes, Computerlinguistik (Germany)
Renata Vieira, Unisinos, Computacao Aplicada (Brazil)

Conference: Proceedings of the Workshop on Reference Resolution and its Applications. ACL2004
Summary:
English:
Vieira and Poesio (2000) proposed an algorithm for definite description (DD) resolution that incorporates a number of heuristics for detecting discoursenew descriptions. The inclusion of such detectors was motivated by the observation that more than 50% of definite descriptions (DDs) in an average corpus are discourse new (Poesio and Vieira, 1998), but whereas the inclusion of detectors for non-anaphoric pronouns in algorithms such as Lappin and Leass’ (1994) leads to clear improvements in precision, the improvements in anaphoric DD resolution (as opposed to classification) brought about by the detectors were rather small. In fact, Ng and Cardie (2002a) challenged the motivation for the inclusion of such detectors, reporting no improvements, or even worse performance. We re-examine the literature on the topic in detail, and propose a revised algorithm, taking advantage of the improved discourse-new detection techniques developed by Uryupina (2003).

中文：
Vieira and Poesio (2000)提出了一种确定描述（definite description, DD）消解算法。算法中采用了一系列的启发式规则来检测上文中未出现过的话语描述。这种研究的动机在于观察一些平衡语料发现超过50％的话语描述都是当前上文中未出现过的话语描述。但是非指代性代词的消解算法如Lappin and Leass(1994)在精确率上有所提高，而在指代性代词的消解算法由于不是分类问题而导致提高非常少。事实上，Ng and Cardie (2002a)在这类消解问题上进行过开创性研究，结果是没有提高甚至性能有所下降。我们重新详细调研了这个研究点，并在Uryupina (2003)提高未登录描述消解技巧的基础上提出了一种修改性的算法。

为什么要做这个题目:

Poesio and Vieira(1998)在语料上进行研究发现众多语料，诸如Penn Treebank等，有52％的确定性描述（definite description, DD）是当前上文中未出现过的。

别人怎么做的:

Vieira and Poesio (2000)提出了一种确定描述（definite description, DD）消解算法。算法中采用了一系列的启发式规则来检测当前上文中未出现过的话语描述。但是包含非指代性代词识别的消解算法如Lappin and Leass(1994)在精确率上有所提高，而在包含指代性代词识别的消解算法由于不是分类问题而导致提高非常少。事实上，Ng and Cardie (2002a)在这类消解问题上进行过开创性研究，结果是没有提高甚至性能有所下降。
众多相关研究（Poesio and Vieira,1998;Bean and Riloff,1999; Ng and Cardie, 2002a; Uryupina,2003）都一致认为在DDs的DN识别中许多因素都起着重要作用。绝大多数算法采用混合算法来识别肯定性的DDs,识别DN的专有名称，识别功能性的DDs,识别被修饰的DDs来确定关系。
这些研究一致认为DN识别不能和指代消解分开实施。

问题在哪里：

这些机器学习方法的一个问题是这些系统在菜地和DD消解上都没有达到很好的效果，对比一些特殊的算法如下：Ng and Cardie的最好的一个程序版本在各种指代表达式上的F＝65.8，但是在DD上的F=29.6(Vieira and Poesio的最好的结果为F=77)，代词上的F=28.2(Tetreault, 2001的代词消解算法评测达到F=80)。很明显，这些算法的对比只能在同一个数据集上。正如Mitkov2000讨论的那样，在指代消解的评测中预处理和后处理对指代消解算法的效果具有很大的影响。但是我们认为在效果很好的系统上进行DN识别的评测可以更好的达到我们预期的结果。

作者提出了怎样的新方法：

本文的工作首先是对比了DN识别前后各种算法的代消解效果。采用Vieira and Poesio的算法来检测不包含DN识别的指代消解算法效果，在采用Uryupina的特征集的基础上加上一个简单的统计消解模型来检测加上DN识别的消解效果，数据集都采用Cardie and Ng提到的MUC-7中的数据。
实验结果如下：
----------------------------------
--------| R | P | F |
----------------------------------
Pronouns| 65.5 | 63.0 | 64.2 |
----------------------------------
DDs | 56.7 | 56.1 | 56.4 |
----------------------------------
Table 7.Evaluation of the GUITAR system without DN detector off raw text

----------------------------------------------
--------------------| R | P | F |
----------------------------------------------
Without DN detection| 44.7 | 54.9 | 49.3 |
----------------------------------------------
With DN detection | 41.7 | 80.0 | 54.6 |
----------------------------------------------
Table 8.Using an oracle

这个实验说明了DN识别可以提高精确率30％左右。但是还不能说明它在高性能的指代消解系统上的提高。

本文工作中又提出了一个新的DN识别的特征集，评测数据也是在MUC-7上进行。但是实验没有进行完，现在还没有实验数据和分析。

对个人的研究的指导意义

可以借助这种方法来更好的完成ACE的指代消解的算法和评测。

存在问题和个人想到的改进方案

暂时无