基于MEMS的手语语音双向翻译系统

模式识别(Pattern Recognition)对于人类来说是一项最基本的人工智能，是指对关于表征事物、现象以及各种形式的（文字的、数值的和逻辑关系的）信息进行一定处理和分析，用来对事物和现象进行辨认、描述、解释和分类的过程。随着日新月异的模式识别算法的发展，人们已经在多种行业和日常生活中广泛的应用模式识别这个概念。随着全世界公益事业的发展，社会上的弱势群体越来越受到关注。为能使聋哑人和正常人无障碍的进行沟通，完善一套真正适用于聋哑人的手语语音双向翻译系统已然迫在眉睫了。<br> 本论文主要是围绕着HMM算法，对手语语音双向识别系统进行建模和完善，研究和分析HMM算法在手语翻译中的应用，完成手语动作的建模和翻译，并最终形成一套完整的手语语音双向翻译系统。首先，用12个硬件节点来对手语进行建模，分别为10个手指和2个手背，以串口和蓝牙的形式，将数据传输给计算机。其次，对硬件采集的手语数据进行预处理，包括滤波，除噪等，使手语数据中没有异常数据。然后是对手语数据进行窗口检测，从大量的数据中提取出完整的手语动作，去除一切我们不需要的繁杂信息。之后便是对手语数据的特征提取，从手语数据中提取出特征手语，主要的特征手语为手语动作的关键动作点，通过HMM算法的训练，存储到计算机，形成手语数据库。接着是用HMM算法识别，当输入手语动作数据时，用HMM算法进行识别，输出结果。最后是将所有的步骤具体化，可视化，在一个界面中得到体现，从而实现让聋哑人“看懂”正常人的说话，同时也能让正常人“听懂”聋哑人的说话。<br> 最后，本文对整个系统进行了整体的分析。首先，在实验结果上，与之前的纯HMM算法相比，识别率有所提高，识别速度也有一定的提高，并且数据库所占用的空间成倍减少。其次，在实验的可视化上，从最初的数据采集，到最后的结果显示，都能在一个界面中得到显示，此界面程序能在windows系统下完美的运行。