为了更好地解决传统神经网络提取特征不够全面导致表情识别准确率低,以及表情识别中参数调整计算量大、耗时长、模型泛化能力弱等问题,这里提出一种将卷积神经网络多层特征融合与极限学习机(ELM)结合的表情识别方法。该方法是利用卷积神经网络(CNN)提取多层面部表情特征图,再将CNN提取出的后三层特征图采用多尺度池化操作,将这三个特征向量级联融合成一个面部表情特征向量,该特征向量具有多尺度多属性的性质能够很好的表达表情特征;最后,把融合后的面部表情特征向量输入到ELM分类器进行表情识别。实验结果表明,该方法能够有效地提高面部表情识别的准确率,在CK+、FER2013数据集上的平均识别准确率分别达到了98.72%和78.97%,并且缩短了识别时间。同时通过设计实验验证了模型具有较强的泛化能力。