学生的学习行为投入度一般是指学生在学校中积极的、有利于取得成就的行为。目前，学生课堂学习行为投入度的定义主要有两类：一类是从学生遵守规则的角度进行研究，具体表征为学生上课的出勤率等，如Finn^[1]认为学习投入度有助于发现学生逐步疏远、脱离学校的过程，从而可以通过及时干预帮助学生完成学业；另一类是从学生深度参与学习活动的角度进行研究，如努力、坚持、集中注意力等^[2]，具体表征为学生是否完成作业和听课、回答问题、讨论的行为等，如Henry等^[3]通过测量学生的行为对其学习结果进行预测。本研究综合考虑上述两类学习行为投入度的内涵，在考虑学生出勤情况的基础上，通过观察学生在课堂学习过程中的行为表现，来掌握学生的课堂行为投入情况。

课堂学习行为投入度的测量方式主要有学生自我报告与课堂观察。其中，学生自我报告是最常用的方法，这一方法实用性强、容易管理，并能以相对较低的成本提供大样本的数据。然而，学生自我报告时易受主观影响，在某些情况下可能不会如实回答，适用于评估认知及情感投入^[4]，并且这一方法在数据收集与处理的时效性上具有滞后性。而课堂观察可基于预先设置的观察量表，捕捉学生课堂学习投入度的行为特征，以评估学生个体在任务上和任务外的行为^[5]。但是，研究人员在课堂上直接观察并手动编码的传统方法，以及目前较为通用的基于课堂视频进行半自动数据编码的方法，均需要研究人员投入较多的人力和时间，因此不适用于大样本量的调研，亦无法作为常规的过程性评价工具。

计算机视觉技术的出现，为研究人员改良课堂观察法带来了新的可能性：对课堂学习行为的捕捉与识别有望摆脱对人力的依赖，从而大幅提升效率。计算机视觉技术是一种计算机模拟人类的视觉过程、具有感受环境的能力和人类视觉功能的技术，是图像处理、人工智能和模式识别等技术的综合^[6]。受益于计算机视觉技术的长足发展，个体行为的自动化识别正走进真实实践场景，但与课堂教学实践相结合的研究还处于起步阶段。例如，贾鹂宇等^[7]在课堂中通过对表情检测分类，来判断学生的听课状态；孙众等^[8]基于OpenPose算法，进行学生的人体姿态识别。但现有研究也存在一些局限，主要表现为：往往专注于个别行为的识别，缺乏完整的课堂学习行为投入度分析指标的支持；行为识别的依据局限于人体骨架信息，没有将学生周边物体的信息纳为行为识别的依据，故检测的准确性有待提升；在应用层面往往止步于行为识别、状态呈现，而缺少教学维度的关联分析。

本研究尝试在计算机视觉技术的支持下，在数据收集与处理层面对传统的课堂观察法加以改良与创新，扩大数据采集的范围、提升数据收集与处理的效率，同时大幅降低研究人员在人力方面的开销，最终实现课堂学习行为投入度的自动化测量。具体来说，本研究将在文献梳理的基础上提炼出一套有代表性的课堂学习行为投入度测量和分析指标集，然后引入计算机视觉技术完成课堂学习行为投入度测量与分析系统的开发，对学生课堂学习的出勤情况、行为投入度实施自动观察、测量和诊断，为教师及时掌握学生的课堂学习投入状态提供数据支撑。

表1  学生课堂学习行为投入度的相关指标

1 课堂学习行为投入度观察指标

目前，众多研究者从投入与脱离两个维度，来探讨与学习行为投入度测量相关的指标。其中，投入是正向的学习行为投入，其特征表现为努力、注意力和坚持；而脱离是负面投入，通常表现为被动、缺乏主动性和放弃。本研究从投入和脱离两个维度，在文献研读的基础上对在校学生行为观察（Behavior Observation of Student in Schools，BOSS）^[9]、课堂气氛、教学/内容、管理（Classroom Atmosphere, Instruction/Content, Management，Classroom AIMs）^[10]、教学结构和学生学业反馈主流编码（Mainstream Version-Code for Instructional Structure and Student Academic Response，MS-CISSAR）^[11]、教学实践清单（Instructional Practices Inventory，IPI）^[12]、课堂观察编码（Classroom Observation Code，COC）^[13]、直接观察表格（Direct Observation Form，DOF）^[14]、Flanders交互分析编目（Flanders Interactive Analysis Categories，FIAC）^[15]、语言交互编目（Verbal Interaction Category System，VICS）^[16]、信息技术交互分析系统（Information Technology-based Interaction Analysis System，ITIAS）^[17]、S-T（Student-Teacher）^[18]等项目中的课堂学习行为指标进行了梳理，得到学生课堂学习行为投入度的相关指标，如表1所示。

基于学生课堂学习行为投入度的相关指标，本研究邀请18名相关专家（包括教育技术领域的学者和大学一线教师）参加了学生课堂行为投入度观察指标遴选的问卷调研及访谈。结合问卷数据和访谈反馈的分析结果，本研究选取“看黑板（含看老师，下同）、看书、看电脑、举手答问、侧身交流”等五个行为作为投入行为的观察指标，将“玩手机”作为脱离行为的观察指标，如表2所示。

表2  学生课堂行为投入度的观察指标

2 学生课堂学习行为投入度测量与分析系统的设计

本研究依托学生课堂学习行为投入度的观察指标，以计算机视觉技术为支撑，设计了学生课堂学习行为投入度测量与分析系统。此系统以高清网络摄像头采集课堂教学的大场景图像为输入，通过动作识别处理和数据管理，实现学生出勤率和课堂过程行为投入度的自动记录与分析，并予以可视化呈现。此系统分为系统支撑层、图像识别层、数据分析层，其具体的业务流程如图1所示。

图1  课堂学习行为投入度测量与分析系统的业务流程

（1）系统支撑层

在系统支撑层中，教室网络高清摄像头对课堂学习行为进行全面的图像采集，随机抽取采集图像的十分之一，经由深度学习及计算机视觉等技术处理，完成课堂学习行为数据集的制作和课堂学习行为模型的训练，作为后续课堂学习行为识别的基础。其中，课堂学习行为数据集示例如表3所示。

表3  课堂学习行为数据集示例

（2）图像识别层

图像识别层是学生课堂学习行为投入度测量与分析系统最为核心的功能模块，可分为两个部分：学习者识别部分，系统通过摄像头获取课堂现场的图像，完成图像分割后，通过多任务级联卷积神经网络和面部网络获取学生的人脸图片，并将图片提交人脸识别接口。动作识别部分，本研究采用递进（叠加）的技术手段完成课堂学习行为的判定：首先通过身体姿态对个体动作加以识别，之后结合目标识别与位置判定等，实现“看书”、“玩手机”、“玩电脑”等交互动作识别。其中，四类身体姿态的骨架示意图如图4所示，目标识别样例如图5所示。

表4  四类身体姿态的骨架示意图

动作骨架图低头侧身正坐举手

表5  目标识别样例示例图片手书手机电脑

（3）数据分析层

在数据分析层，本研究运用指标函数和模糊数学中的隶属度函数，对课堂学习行为投入指标进行无量纲处理，如公式（1）所示。之后，本研究采用层次分析法与熵值赋权法计算课堂学习行为投入指标的综合权重：邀请5名教育技术领域专家填写学习投入及学习脱离指标重要性矩阵，计算得出各指标的主观权重序列Wi；将无量纲化后的各指标数据录入Matlab，计算得出客观权重序列Vi；最后，结合主观权重与客观权重，计算得出综合权重，如公式（2）所示。

用上述指标权重计算方法可以得到学习投入及学习脱离的权重矩阵，如表6所示。以此为基础，系统开展了课堂学习行为投入度的计算，随后还对课堂整体行为投入度、学生个人行为投入度及其各自的发展趋势进行了分析和评估。

表6  课堂学习行为投入度指标权重表

本研究以某高校课程“教育技术学理论与实践”中的一堂课为例，对参与此课学习的26名学生的学习行为投入度进行了测量与分析。在收集视频数据之前，研究者向学生告知了研究的目的并承诺保密；完成课堂学生行为采集之后，教师可以通过系统查看课堂数据分析处理结果。

1 数据测量结果

（1）学习行为投入度

课堂整体行为投入度。根据系统的测量数据，在采集到的课程投入行为和脱离行为中，学生的学习投入行为频率占比为95.60%，说明学生非常专注于课堂学习；根据表6的权重进行计算，本堂课的学习行为投入度值为3.08，这表示学习投入度为中等水平。经分析，造成这一结果的原因是交互类活动的安排偏少（实际占比仅为4.85%）。学生个人行为投入度方面，在纳入统计的20名学生中，有6人的课堂学习行为投入度低于班级平均水平。其中，个别学生的课堂学习投入度较低，且学习脱离度较高，教师需要对这些学生予以有针对性的关注和提醒。

（2）学习行为投入度变化趋势

课堂整体行为投入度变化。系统以时间为线索，开展学生课堂学习行为投入度的分析。本堂课学习行为投入情况的变化趋势如图2所示，可以看出：在上课过程中，学生的行为投入情况整体保持平稳，在接近下课时有一定程度的下降；学习脱离情况在上课初期有显著下降，而在课程临近结束时呈逐步上升的趋势。课堂中表征学习投入和学习脱离的六个行为动作随时间变化的频次动态如图3所示，可以看出：“看黑板”与“看电脑”是贯穿于整堂课的主要学习行为，由此可以推断本堂课中教师主要采取讲授的教学方式；同时，课堂过程中“交流”和“举手答问”的行为明显存在几个波峰，可见教师在课堂中实施了一定的交流讨论，并取得了一定的效果。

注：横轴为时间刻度，单位刻度为8分钟；纵轴分别表示学习投入及学习脱离的得分与行为次数。图中两条曲线，学习投入居上，学习脱离居下。

   图2  学习行为投入情况的变化趋势

注：横轴为时间刻度，单位刻度为8分钟；纵轴表示各类课堂学习行为的次数。在起始阶段，自上而下分别对应看电脑、看黑板、玩手机、看书与举手答问。

图3  单个行为动作随时间变化的频次动态

个体学习行为投入度追踪。系统对学生个人的行为投入情况也进行了分析，图4、图5分别表征本堂课中脱离度较高的某学生的课堂行为和看手机行为分布情况。图4显示，此学生的课堂行为投入度仅为2.83，其中此学生看手机的行为频次非常高，约占课堂行为总数的33.3%。而图5显示此学生在课堂前段用很少的时间在看手机，但后续基本处于看手机的脱离状态。

注：横轴表示行为类别，纵轴表示行为的总次数。

图4  某学生课堂行为分布情况

注：横轴表示时间刻度，单位刻度为4秒；纵轴表示学生是否看手机，刻度1表示看手机，刻度0表示未看手机。

图5  某学生看手机行为分布情况

2 教学应用分析

在出勤数据应用方面，有系统中学生出勤数据的支撑，教师可以快速、准确地掌握班级整体和学生个体的出勤情况。在本课堂中，有两位学生缺课，教师可对这两位学生予以重点关注。在教学设计和教学实施的印证与优化方面，通过查看听课与交互两类课堂行为计数随时间的变化情况及总数的对比情况，教师可以了解学生在教学实施中的反馈情况，进而完成教学设计或教学实施的调整及优化。在本课堂中，教师采用以讲授为主的授导型教学模式，中间穿插少量的交流和问答环节。学生在课堂学习过程中整体比较专注，但在35分钟之后，学生整体的投入状态明显地下降了。基于此，本研究建议教师结合学生对教学内容的掌握情况，从调整课程节奏和难度、增加课程的互动性和趣味性等方面着手，帮助学生调整课堂投入状态。

此外，学习脱离行为数据的采集为面向学生的学风督导提供了决策支持。对学习脱离行为持续时间较长、总次数较多的学生，教师可给予个别化的关注和指导。在本堂课中，有6位学生的脱离行为比较明显，且有一名学生有三分之一的时间处于学习脱离状态，教师应与这些学生沟通，了解其脱离学习的原因，避免其后续出现学业预警。

高效、准确地测量并分析学生课堂学习行为投入度，是推进混合学习投入度研究与高校教学实践相结合的关键议题。不同个体的课堂行为差异，决定了研究者难以凭借传统的方法对其进行科学测量。随着技术的创新与发展，依靠计算机视觉等技术对个体行为进行精准识别已成为现实，这为研究者重新测量与评估课堂学习行为投入度提供了可能。为此，本研究将计算机视觉技术引入大学课堂场景，首先提炼出学生课堂学习行为投入度的观察指标，在此基础上对课堂行为识别方式进行升级优化，结合身体姿态信息和物品信息，对学生6个常见的课堂动作进行识别；随后，在算法模型研究的基础上，开发了学生课堂学习行为投入度测量与分析系统，将人脸识别、姿态估计、目标检测等智能检测方法应用于课堂学生行为识别。此系统能帮助教师掌握学生的课堂表现、客观评估课堂的教学效果，是教师提升教学效果的有效支撑手段。受制于设备类型、精度与技术复杂度，本研究设计的学生课堂学习行为投入度测量与分析系统只覆盖了与学生身体姿势密切相关的6个课堂动作的识别与分析，学生的手部及头部细微动作等更多的个体行为信息，乃至发言内容、面部表情等与交流互动相关的信息，还有待更精密的设备、更理想的算法模型的支持，还有待进一步实证。