1 不同候选扩展词标注策略对比
为进一步分析本文方法性能提升的原因,本节实验对4.2节中的两种候选扩展词标注策略进行对比,其中二级标注指公式(8)中提到的仅根据扩展词对检索效果潜在影响标注扩展词相关与否的方法,三级标注指本文提出的候选扩展词标注策略,即同时考虑扩展词对检索性能的影响和扩展词是否可作为查询的主题词。实验结果如表6所示。
从表6的实验结果可以看出,本文所提出的候选扩展词三级相关性标注策略均明显优于经典的二级相关性标注策略,这说明查询的主题信息能够反映出扩展词的有用性,而在标注中考虑候选扩展词是否出现在查询的主题词中可以进一步甄别扩展词的有用性,从而增强所训练的扩展词选择模型的性能。
2 候选扩展词特征选择
本节进一步分析和对比监督式查询扩展中所选择的不同候选扩展词特征集合对于检索性能的影响。其中,文本特征指4.3.1节所定义的上下文的候选扩展词特征集合,领域特征指4.3.2节所定义的基于领域的候选扩展词特征,全部特征指上述两个特征集合的并集。这组实验分别基于上述三个扩展词特征集合,采用Group-ListMLE方法,训练扩展词选择模型,用以对比不同特征集合在扩展词选择模型中的作用,除特征集合不同外,其他实验设置均相同。实验结果如表7所示。
从表7的实验结果可以看出,仅基于领域特征的扩展词选择模型相比于仅基于文本特征的扩展词选择模型在检索性能上有小幅度提升,这说明生物医学领域的语义资源可以有效衡量扩展词的重要度,并且相比于仅基于上下文信息训练的扩展词选择模型具有更好的效果;而使用全部特征训练的扩展词选择模型取得了最佳的检索性能,从这点可以看出文本特征和领域特征二者可以从不同角度刻画扩展词的有用性,二者互相补充,对扩展词选择模型效果的提升具有相辅相成的作用,因此取得了较好的检索准确率。
3 扩展词加权效果对比
前文3.3节曾提到本文方法在将所选择的扩展词加入到原始查询中时,可以选择是否根据扩展词得分对扩展词进行加权,如果得分能够有效反映扩展词的重要性程度,则加权后的扩展查询可以取得更好的检索效果,基于这点考虑,本节对扩展词加权与否进行实验和分析。表8和表9分别给出在2006查询集合和2007查询集合上的实验结果,其中的方法包括本文提出的基于Me SH和词共现的非监督式查询扩展方法在扩展词加权和不加权情况下的检索性能,分别记作UQE-unweighted和UQE-weighted;本文提出的基于组排序学习的监督式查询扩展方法在扩展词加权和不加权情况下的检索性能,分别记作SQE-unweighted和SQE-weighted e
从实验结果可以看出,对于非监督式查询扩展方法,扩展词不加权的扩展查询相比于扩展词加权的扩展查询具有更好的检索性能,且二者的性能相差较小,这说明非监督式查询扩展方法所给出的扩展词得分对于衡量扩展词在扩展查询中的重要性作用较小;而对于监督式查询扩展方法,扩展词加权的扩展查询相比于扩展词不加权的扩展查询具有更好的检索性能,这说明组排序学习所给出的扩展词得分更为准确,能够更加精确地反映出扩展词在扩展查询中的重要性,进而有效提升检索的整体能。