《数字经济时代职业教育转型路径研究》：
数据处理着眼于教师与学生两大评价对象，具体如下。
一是处理声音数据。声音是传递内容、表达意图与情感的介质，也是人类最天然的交互方式。计算机发明之后，让机器可以“听懂”人类的言语，了解言语的内涵，并能做出正确的回答就成为人们的追求。人工智能对声音数据的处理，一方面，可利用语音识别技术获取人类的语音信号，将其转变为相应的文本并开展进一步的自然语言处理任务。通过对情感词及关键词等的识别与标注，可进行语言文本分类，以分析课堂师生言语结构及情感信息。有研究综合卷积神经网络和BiLSTM网络建立特征融合模型，在提取文本局部特征的同时兼顾上下文的全局特征，提高了文本分类的准确性；另一方面，声音信号的语音语调可以反映发言人的情感状态，例如，高昂的语调往往表达激动、兴奋的情感，低沉的语调往往表达悲伤、阴郁的情感等。有研究认为，从语速、平均基频、基频范围、强度、音质、基频变化、清晰度等角度，可以针对愤怒、高兴、悲伤、恐惧、厌恶五种情绪进行声学参数特征划分，该研究为语音语调识别的开展积累了经验。
二是处理姿态数据。人体姿态识别是通过对手势、动作、姿态等进行识别以反映人体状态或意图的技术，通过对人体结构的建模、定点与分割，剖析姿态动作中所传递的情感导向。在课堂教学中，通过人体姿态识别，能让教师高效且直观地掌握学生学习行为投入的情况，为后续优化教学设计与实施教学干预提供数据支持。现在市面上有一种人体姿态监测系统，分为人脸姿态和人体姿态两个方面，其中人体姿态是基于人体骨骼关键点配合深度图像，从而精准地判断出各类人体姿态。这项技术以前都是二维图像信息，而我们创造性加入了三维深度信息，来辅助人体姿态识别。相关的研究，还有基于人体骨架信息的提取实现对学生听讲、看书、站立、举手和写字五大行为的识别；有设计算法对学生起立发言、注视前方、阅读、书写、交谈、身体转向背后、使用手机、趴在桌面等课堂行为进行检测；有基于手势空间分布特征开发的手势识别算法，可以实现在复杂背景下实时地对人体手势进行识别等。这些都为精细识别与分析教师和学生姿态以反映课堂行为，积累了可实施的算法开发基础。
三是处理表情数据。表情是在表达与交流过程中所流露出的情感的外在表现。面部表情识别是通过对人脸面部表情的捕捉与分析，使机器能够识别出人的表情所透露出来的信号与意图。对面部表情进行识别处理主要有两类，一类是对局部特征的识别，其可通过定位和分析眉毛、眼睛、鼻子、嘴唇等关键点特征，识别面部肌肉动作，并以此进行面部表情分类；另一类是对整体特征的识别，通过对面部整体进行识别分析，区分不同表情的面部特征，特征脸方法与弹性匹配方法均是常用的基于面部整体属性进行识别的方法。2022年2月，有科学家在人脸识别的基础上进行提升，通过面部表情操纵虚拟环境中的物体。这种技术抛弃了原有的通过手持控制器或触控板，为虚拟现实技术提供了新方法，被认为是为打入元宇宙世界提供了新途径。其实这也可以作为处理师生面部表情信号数据的借鉴。
四是处理生理信号。生理信号主要包括脑电、心电、机电、皮肤温度等。通过对生理信号的采集与分析，能够捕捉更为细微的情绪变化。由于生理信号变化往往比面部表情、姿势或语音等更接近人真实内在的情感感受，因此，生理信号常被用作观察情感变化的参考。这在教育教学上具有重要意义，例如，在更为专业化的智慧教室环境中，可提供更为精准的课堂教学情绪表现分析结果。以脑电信号为例，脑电信号按其产生的方式可分为诱发脑电信号和自发脑电信号。诱发脑电信号是通过某种外界刺激使大脑产生电位变化从而形成的脑电活动；自发脑电信号是指在没有外界特殊刺激下，大脑自发产生的脑电活动。
……
展开
