Unsupervised Chinese Word Segmentation Based on HDP and Mutual Information Getting together

该文探讨了无指导条件下的中文分词,这对构建语言无关的健壮分词系统大有裨益.互信息与HDP(Hierarchical Dirichlet Process)是无指导情况下常用的分词模型,该文将两者结合,并改进了采样算法.不考虑标点符号,在两份大小不同的测试语料上获得的F值为0.693与0.741,相比baseline的HDP分别提升了5.8％和3.9％.该文还用该模型进行了半指导分词,实验结果比常用的CRF有指导分词提升了2.6％.国家自然科学基金资助项目; 国家社会科学基金资助项目; 国家科技支撑计划子课题资助项目; 国家863计划项目资助中文核心期刊要目总览(PKU)中国科技核心期刊(ISTIC)中国科学引文数据库(CSCD)061-5,442