分类号 TP3 UDC
密级 编号
中国科学院研究生院 博士学位论文
语言浅层分析与句子级新信息检测研究
张华平
指导教师
白硕
研究员
中国科学院计算技术研究所 申请学位级别 工学博士 学科专业名称 计算机软件与理论 论文提交日期 2005 年 4 月 培养单位 学位授予单位 论文答辩日期 2005 年 6 月
中国科学院计算技术研究所 中国科学院研究生院
答辩委员会主席
声
明
本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得 的研究成果.就我所知,除了文中特别加以标注和致谢的地方外,论文中 不包含其他人已经发表或撰写过的研究成果.与我一同工作的同志对本研 究所做的任何贡献均已在论文中作了明确的说明并表示了谢意.
作者签名:
日期:
关于论文使用授权的说明
中国科学院计算技术研究所有权处理,保留送交论文的复印件,允许 论文被查阅和借阅;并可以公布论文的全部或部分内容,可以采用影印, 缩印或其它复制手段保存该论文.
作者签名:
导师签名:
日期:
摘 要
针对粒度更小, 冗余更少的信息需求, 本文围绕句子级别的信息检索与新信息检测, 进行了深入而又细致的研究,提出了有针对性的浅层语言分析技术,讨论了句子检索的 主要建模方法,并阐述了信息新颖度的多种量化手段.在多组对比实验和国际上公开的 评测比赛中, 依据本文技术方法研制的 Noovel 系统取得了当前最好的性能, 超过了所有 正式公开的结果, 这也表明: 本文提出的句子检索方法与新信息检测技术是卓有成效的. 针对新信息检测的英文浅层语言分析主要包括断句,词汇切分,词性标注以及词形 还原等自然语言处理过程.作者在已有研究工作的基础上,结合新信息发现的特点,提 出了有针对性的改进措施.在中文浅层语言分析方面,本文提出了一种将汉语分词,词 性标注,切分排歧和未登录词识别相结合的基于层次隐马模型的理论框架.在语言的分 析基础上,查询分析过程通过辅助词过滤与倾向分类,从自然语言表述的主题中理解用 户的查询意图,从而抽取出可用于直接建模计算的查询向量.在目前所有能获取的公开 数据集合上进行对比实验,基于浅层语言分析的系统性能均超过了目前所见到发表的最 好水平. 在句子检索方面,Noovel 采取了三种模型:向量空间模型,概率检索模型与语言模 型.为了克服句子的局限性,本文引入了查询扩展的技术,主要包括:借助于 WordNet 的语义衍生扩展,伪相关反馈扩展,采用高频共现词语的局部共现扩展.在 TREC2003 数据集上的实验表明:在浅层语言分析的基础上,简单向量空间模型可以达到目前最好 的结果,受到语义资源和分析深度的限制,当前阶段的语义扩展作用有限,而伪相关反 馈与局部共现扩展都能够帮助提高句子检索的性能,局部共现扩展是很有潜力的查询扩 展与文档扩展的技术. 句子级别的新信息检测是本项研究的最终目标, 这是个时序性很强的信息过滤任务, 在总结现有方法的基础上,本文提出了三种具有代表性的信息新颖度的量化方法,其中 包括:词重叠度及其扩展方法,相似度比较方法与信息增强的评价方法.初衷在于兼顾 信息与主题的相关性,同时还要与已有历史的信息进行比对,寻找新信息之所在. 除了非监督条件的新信息检测之外,本文还探讨了在监督条件下如何进行机器自动 学习并调整参数的策略,主要的手段包括:进一步的特征选择,真实反馈,调整参数, 阈值设置.作者还进一步的提出了基于分类的句子检索与新信息检测方法. Noovel 系统参加了第 13 届 TREC 比赛新信息发现任务的全部四个子任务,在最关 键的任务 1 中,Noovel 的新信息检测结果排名第一;任务 3 的句子检索性能方面,提交 的两个结果并列排名第一, 其他的子任务也取得不俗的成绩, 与参赛的其他 13 支国际研 究团队进行综合比较,本文在新信息方面的研究相对较优. 关键词:句子检索;新信息检测;浅层语言分析;信息检索;信息过滤;查询分析;查
I
语言浅层分析与句子级新信息检测研究:摘要
询扩展;自然语言处理;汉语分词;词性标注;Noovel
II

下一页