面向汉语语言建模的自适应 词表生成算法
报告人:肖镜辉 研究方向:语言模型 汉字键盘输入
报告提纲
问题的提出 本文主要工作 相关领域研究工作 结论
2007-5-30 2007-
面向汉语语言建模的自适应词表生成算 法
2
问题的提出
词表是语言建模工作的基本资源 当前获得词表的两种途径
– 语言学资源,e.g. Hownet,同义词词林 – 手工编撰
2007-5-30 2007-
面向汉语语言建模的自适应词表生成算 法
3
问题的提出cont
存在的问题
– 语言学资源同时面向多种处理任务,对语言模型来 讲并不是最优的 – 语言学资源中绝大部分是通用领域词汇,无法针对 某个特定领域进行语言建模 – 手工编撰词表费时费力,且无法移植到其它领域
2007-5-30 2007-
面向汉语语言建模的自适应词表生成算 法
4
问题的提出cont
问题产生的根源
– 词典编撰工作同语言建模工作相脱离
解决方法
– 将词典编撰工作同语言建模工作相结合,使词
典的优化能够直接作用到语言模型上
2007-5-30 2007-
面向汉语语言建模的自适应词表生成算 法
5
本文主要工作
一体化迭代算法框架 自适应的词表生成方法
– 基于多特征的词表自动生成方法 – 基于启发式的参数自动寻优方法
实验与讨论
2007-5-30 2007-
面向汉语语言建模的自适应词表生成算 法
6
一体化迭代算法框架
思路:将词表自动生成工作同语言建模工 作相结合,在获得优化词表的同时得到高 性能的语言模型 流程图:
2007-5-30 2007-
面向汉语语言建模的自适应词表生成算 法
7
2007-5-30 2007-

下一页