基于 Gabor和 LBP的课堂人脸表情识别系统研究

基于 Gabor和 LBP的课堂人脸表情识别系统研究

刘良钰，邹婷，朱思思，余康明，凌智

江西财经大学 信息管理 学院 江西南昌 330013

摘要：本课题利用Gabor算法和LBP算法对人脸的外貌特征进行提取，实现对课堂视频中人脸的微表情的识别。学生课堂人脸表情识别作为学生学习专注度的一个判断依据，也是课堂教学评价的一个依据，从而实现更加有效的教学，提高教学的质量。

【大创项目】本文系江西财经大学2020年大学生创新创业训练项目，项目编号202010421173

关键词：Gabor；LBP；人脸表情识别；课堂教学

Research onfacial expression recognition in the classroom based on Gabor and LBP

Liu Liangyu, Zou Ting, Zhu Sisi, Yu Kangming, Ling Zhi

（School of Information Management, Jiangxi University of Finance and Economics, Nanchang 330013, China）

Abstract:In this project, Gabor algorithm and LBP algorithm are used to extract the appearance features of human faces and realize the recognition of micro-expressions of human faces in classroom videos. Face facial expression recognition of students in class serves as a judgment basis for students’ learning concentration and also a basis for classroom teaching evaluation, so as to achieve more effective teaching and improve the quality of teaching.

Key words:Gabor;LBP;facial expression recognition; classroom teaching

在传统的课堂教学中，教师很难在教学的同时仔细观察每个学生的学习状态，导致传统的课堂教学评价效率往往低下，并且带有一些主观性。为了弥补传统教学评价体系中的不足，本课题所研究的基于Gabor和LBP的课堂人脸表情识别系统能够帮助教师检测每个学生在课堂中的表情变化，从而得到学生的专注度信息，及时反馈，以提升课堂教学质量。本系统的研究成果可以丰富教学评价系统，对提高教学质量等具有重要研究意义。

以面部表情特征的分析方法，可以使学习状态数据的采集和保存更加的全面，也能更好地用于学习状态的分析，也给了教育工作者更加全面的分析指标。同时，将机器学习用在课堂教学研究，对推进教育大数据有重要的研究意义。

基于外貌特征的提取方法针对的是全部人脸图像像素性质的特征。在基于外貌特征提取的方法中，局部二值模式(LBP)和Gabor小波变换是两种比较常用的算法。LBP是对纹理特征进行描述。在灰度图像中能有效对相邻区域的纹理信息进行衡量和特征提取。Gabor小波变换通过滤波器对输入图像进行滤波，然后根据结果描述局部相邻像素间的关系。目前，LBP 算法和Gabor小波变换在特征提取方面已取得不错效果，提升了识别效果。

虽然目前人脸表情识别方面的研究已经有不错的发展，但是有些算法的有效性和鲁棒性并没有达到实际应用的要求。而且在课堂教学中使用也是一个有挑战性的课题。

本课题所研究的系统也应用于企业和培训机构等，为企业和培训机构提供一种教学质量评价以及学习状态评价的一个指标。

1系统设计

图1给出了基于Gabor和LBP的课堂人脸表情识别系统的系统设计。

图1系统设计

基于Gabor和LBP的课堂人脸表情识别系统的主要流程为：输入视频、截取图像、图像预处理（尺度矫正、光照矫正、面部裁剪、颜色空间转换等）、特征提取（Gabor特征提取、LBP特征提取）、表情识别。

1.1提取图像并进行预处理

在获取课堂视频后，提取出视频中的每一帧图像。然后对图像进行预处理（尺度矫正、光照矫正、面部裁剪、颜色空间转换等），以便提取出有效的外貌特征。

1.2Gabor+LBP特征提取

考虑到传统表情特征提取方法提取到的特征容易受光照、姿态和复杂背景的干扰，使得面部表情识别的效果不太好，所以，本课题在提取面部表情特征时，利用Gabor小波变换提取面部纹理特征，然后再此基础上，提取LBP局部特征，希望能够获得更加有效的面部信息。

1.3 表情识别

提取完人脸外貌特征后，利用这些特征和分类器得出学生的人脸表情分类结果，通过分类结果得到加权评分，在通过加权评分得到学生的专注度。^[1]

2系统工作流程

图2为系统使用者的总流程。

图2系统使用总流程

（1）用户可以通过本系统得知在课堂中每个学生的表情变化。使得用户能够根据学生的课堂表情来判断学生的学习专注度，帮助老师了解学生的学习状况，从而调整自己教学方案，实现个性化课堂教学。

（2）用户也可以将学生的学习状态反馈给学生本人或者学生家长。

3结语

基于Gabor算法和LBP算法的课堂人脸表情识别系统结合了Gabor和LBP两种外貌特征提取方法，可以避免受光照、姿态和复杂背景的干扰，获得更为有效的面部信息。使得系统在对人脸表情识别方面更加的精准，有效。在对课堂中学生的表情识别也更加地精准，使得用户能够检测学生在课堂中的学习状态，并做出及时的反馈，提高课堂教学质量。

参考文献：

1. 梁利亭.人脸检测和表情识别在课堂教学评价中的应用[J].晋城职业技术学院学报,2020,13(02):40-44.

作者简介：

刘良钰（1999-），男，，汉族，江西吉安，江西财经大学本科在读，研究方向：个性化教育