基于分布式PLSA的文本相似度分析系统的设计与实现

主题模型是对文字隐含主题进行建模的方法。它克服了传统信息检索中文档相似度计算方法的缺点，并且能够在海量互联网数据中自动寻找出文字间的语义主题。基于SVD的LSA取得了一定的成功，但是其缺乏严谨的数理统计基础，而且SVD分解非常耗时。基于概率的PLSA有严谨的数学基础，用EM算法进行参数学习，并且能对训练结果进行直观分析。<br> 本文介绍了一种分布式PLSA的实现方法，性能优化，以及基于分布式PLSA训练结果的文本相似度分析。本文首先介绍了话题模型，以及单机PLSA的算法过程。然后指出了单机PLSA在支持训练语料和训练速度上的不足。随后介绍了一种分布式的解决方案，即分布式PLSA的实现方法，如何设计Map阶段和Reduce阶段算法的计算，以及如何对该算法进行优化。随后本文介绍了如何选择语料进行训练，最后，本文介绍了如何基于训练结果进行文本相似度分析，并对训练结果和相似度计算结果进行了举例说明。<br> 分布式PLSA具有更快的训练速度，扩大语料后的训练结果主题聚合度更高，基于分布式PLSA的文本相似度计算相也得到了更精确的效果。