第4章 语料库与 语言知识库
北京市海淀区中关村东路95号 邮编：100190
电话：+86-8254 4688 邮编: cqzong@nlpr.ia.ac.cn
4.1 基本概念
宗成庆：《自然语言理解》讲义，第 4 章
2/90
4.1 基本概念
输入
处理模块 大规模语言数据：
?? 模型参数训练 ?? 评测标准
输出
NLP中知识库包括： 语言数据库或知识库
?? 词汇语义库 ?? 词法、句法规则库 ?? 常识库等等
3/90
宗成庆：《自然语言理解》讲义，第 4 章
4.1 基本概念
?? 语料库(corpus) ?? 语料库(corpus) 就是存放语言材料的仓库 (语言 数据库)。 ?? 基于语料库进行语言学研究－语料库语言学 (corpus linguistics)
宗成庆：《自然语言理解》讲义，第 4 章
4/90
4.1 基本概念
?? 语料库语言学 ?? 根据篇章材料对语言的研究称为语料库语言学。 － [Aijmer, 1991] ?? 基于现实生活中语言运用的实例进行的语言研究 称为语料库语言学。 － [McEnery, 1996] ?? 以语料为语言描写的起点或以语料为验证有关语 言的假说的方法称为语料库语言学。 － [Crystal, 1991]
宗成庆：《自然语言理解》讲义，第 4 章 5/90
4.1 基本概念
??两种解释：
?? 不是新术语：利用语料库对语言的某个方面进 行研究，或者发现某些规律性知识。 ?? 是新术语：对现行语言学理论进行批评，提出 新的理论。
宗成庆：《自然语言理解》讲义，第 4 章
6/90
4.1 基本概念
“语料库语言学已经成为语言研究的主流。 基于语料库的研究不再是计算机专家的独有领 域，它正在对语言研究的许多领域产生愈来愈 大的影响。”
－J. Thomas 等人为祝贺语料库语言学的主要奠基 人和倡导者 G. Leech 六十岁生日而出版的语料库语言 学研究论文集的开场白 [丁信善，1998]。
宗成庆：《自然语言理解》讲义，第 4 章
7/90
4.1 基本概念
?? 语料库语言学研究的内容：
?? 语料库的建设与编纂 ?? 语料库的加工和管理技术 ?? 语料库的使用
宗成庆：《自然语言理解》讲义，第 4 章
8/90
4.2 语料库技术的发展
宗成庆：《自然语言理解》讲义，第 4 章
9/90
4.2 语料库技术的发展

下一页