基于视频搜索日志的新词发现方法[EB/OL]
北京:中国科技论文在线
主要研究方向:移动互联网与物联网、智能移动终端与云计算、网络服务与智能 【收录情况】 中国科技论文在线: 李啸宇
) 摘要: 在自然语言处理领域里面,新词发现一直以来就是一个具有重要意义的研究热点,在视频搜索日志上进行新词发现远比在一般语料库上要难,文中提出先对语料库文本进行分词预处理,然后引入统计学里面的上下文边界熵算法,并且通过上下文关系重新获取新词候选集合列表进行过滤
程渤 * ( 北京邮电大学网络技术研究院
主要研究方向:服务计算与云计算 通信联系人: 程渤(1975-)
同时为了进一步提高准确率,还引入了TF-IDF值