基于LDA模型的微博话题检测[EB/OL]
北京:中国科技论文在线
) 摘要: 随着微博用户的不断增长,国外的Twitter和国内的新浪微博已经成为媒体和个人发布信息的重要平台
对于微博这种特殊的文本,通常小于140字,包含了丰富的社会化信息,且微博内容不仅包含话题文本,也包含其他无话题表征能力的冗余文本,传统的文本挖掘算法并不能很好的做微博话题的提取
本文结合中文词性标注和LDA(Latent Dirichlet Allocation)主题模型两种方法用于微博话题提取,运用中文词性标注可以很好的过滤掉微博文本中无话题表征能力的文本词语,运用LDA主题模型可以将文本信息表示在一个低维的主题空间之中,从而有效的挖掘文本潜在的关系,从语义上更好的挖掘微博话题
实验表明相较于传统的文本分析分析方法,中文词性标注和LDA模型结合能够提高话题发现的准确率
最后本文提出如何计算话题热度,基于话题热度对话题进行排序
关键词: 主题模型
信息安全 【收录情况】 中国科技论文在线: 汪进祥
2、 北京电子科技学院信息安全系
* ( 1、 北京邮电大学信息安全中心
2、 Department of Information Security, Beijing Electronic Science&Technology Institute, Beijing 100080
LIU Lian 2,* ( 1、 Information Security Center, Beijing University of Posts and Telecommunications, Beijing 100876