文本检索的索引技术
彭波
2003-11-1
提纲
背景和概念
文档分析
索引创建
索引查询
相关资料
1.背景和概念-索引作用
索引
提供从记录的特征快速查询到记录的数据结构(B树,散列表,位图索引等)
数据库,文档数据库,SE/IR系统
文本检索
记录-》文档doc,记录特征-》索引词(index terms)
非结构化,查询
SE/IR系统
非结构化,查询和事务型更新
文档数据库
结构化,查询和事务型更新
数据库
1.背景和概念-索引形式
文本检索常见索引方式
Brute-force检索 grep
签名文件 signature file hash签名,false match
倒排文件 inverted file 高效,支持多种检索模型
倒排索引
从index term快速查询到doc的索引结构
Doc正常表示为index term的集合,建立索引是把每个index term表示为其出现的doc的集合,这个过程称为inversion,即倒排.
1.背景和概念-倒排
文档
内容
Doc1
….北京大学计算机系….
Doc2
….北京大学主页…..
Doc3
…计算机的发展…
...
_
_

下一页