實踐項目 返回列表

基于計算(suàn)機(jī)視覺技(jì)術(shù)的學生(shēng)課堂學習行為(wèi)投入度測量與分析

2021/8/21 9:24:39

摘要:随著(zhe)教育評價理念的發展,學習投入度成為(wèi)改善高(gāo)等教育質量的關鍵指标。其中,高(gāo)效、準确地測量并分析學生(shēng)課堂學習行為(wèi)投入度,是推進學習投入度研究與高(gāo)校教學實踐相(xiàng)結合的關鍵議題。文章首先梳理了學生(shēng)課堂學習行為(wèi)投入度的相(xiàng)關指标,在此基礎上(shàng)整理出學生(shēng)課堂學習行為(wèi)投入度的6個(gè)觀察指标。随後,文章引入計算(suàn)機(jī)視覺技(jì)術(shù),設計了學生(shēng)課堂學習行為(wèi)投入度測量與分析系統。最後,文章将此系統應用于教學實踐,驗證了此系統的有效性。基于計算(suàn)機(jī)視覺技(jì)術(shù)對學生(shēng)課堂學習行為(wèi)投入度進行測量與分析,可為(wèi)教師(shī)及時掌握學生(shēng)課堂學習投入狀态、優化教學設計與教學實施提供及時的數據支撐。

關鍵詞:學習行為(wèi)投入度;課堂行為(wèi);課堂觀察;計算(suàn)機(jī)視覺技(jì)術(shù)

圖片

一(yī) 研究背景

學生(shēng)的學習行為(wèi)投入度一(yī)般是指學生(shēng)在學校中積極的、有利于取得成就(jiù)的行為(wèi)。目前,學生(shēng)課堂學習行為(wèi)投入度的定義主要有兩類:一(yī)類是從(cóng)學生(shēng)遵守規則的角度進行研究,具體表征為(wèi)學生(shēng)上(shàng)課的出勤率等,如Finn[1]認為(wèi)學習投入度有助于發現學生(shēng)逐步疏遠(yuǎn)、脫離學校的過程,從(cóng)而可以通(tōng)過及時幹預幫助學生(shēng)完成學業(yè);另一(yī)類是從(cóng)學生(shēng)深度參與學習活動的角度進行研究,如努力、堅持、集中注意力[2],具體表征為(wèi)學生(shēng)是否完成作業(yè)和聽課、回答問題、讨論的行為(wèi)等,如Henry[3]通(tōng)過測量學生(shēng)的行為(wèi)對其學習結果進行預測。本研究綜合考慮上(shàng)述兩類學習行為(wèi)投入度的内涵,在考慮學生(shēng)出勤情況的基礎上(shàng),通(tōng)過觀察學生(shēng)在課堂學習過程中的行為(wèi)表現,來掌握學生(shēng)的課堂行為(wèi)投入情況。


課堂學習行為(wèi)投入度的測量方式主要有學生(shēng)自(zì)我報(bào)告與課堂觀察。其中,學生(shēng)自(zì)我報(bào)告是最常用的方法,這一(yī)方法實用性強、容易管理,并能(néng)以相(xiàng)對較低(dī)的成本提供大樣本的數據。然而,學生(shēng)自(zì)我報(bào)告時易受主觀影響,在某些情況下(xià)可能(néng)不會(huì)如實回答,适用于評估認知及情感投入[4],并且這一(yī)方法在數據收集與處理的時效性上(shàng)具有滞後性。而課堂觀察可基于預先設置的觀察量表,捕捉學生(shēng)課堂學習投入度的行為(wèi)特征,以評估學生(shēng)個(gè)體在任務上(shàng)和任務外的行為(wèi)[5]。但是,研究人員(yuán)在課堂上(shàng)直接觀察并手動編碼的傳統方法,以及目前較為(wèi)通(tōng)用的基于課堂視頻進行半自(zì)動數據編碼的方法,均需要研究人員(yuán)投入較多(duō)的人力和時間,因此不适用于大樣本量的調研,亦無法作為(wèi)常規的過程性評價工(gōng)具。


計算(suàn)機(jī)視覺技(jì)術(shù)的出現,為(wèi)研究人員(yuán)改良課堂觀察法帶來了新的可能(néng)性:對課堂學習行為(wèi)的捕捉與識别有望擺脫對人力的依賴,從(cóng)而大幅提升效率。計算(suàn)機(jī)視覺技(jì)術(shù)是一(yī)種計算(suàn)機(jī)模拟人類的視覺過程、具有感受環境的能(néng)力和人類視覺功能(néng)的技(jì)術(shù),是圖像處理、人工(gōng)智能(néng)和模式識别等技(jì)術(shù)的綜合[6]。受益于計算(suàn)機(jī)視覺技(jì)術(shù)的長(cháng)足發展,個(gè)體行為(wèi)的自(zì)動化識别正走進真實實踐場景,但與課堂教學實踐相(xiàng)結合的研究還(hái)處于起步階段。例如,賈鹂宇[7]在課堂中通(tōng)過對表情檢測分類,來判斷學生(shēng)的聽課狀态;孫衆[8]基于OpenPose算(suàn)法,進行學生(shēng)的人體姿态識别。但現有研究也存在一(yī)些局限,主要表現為(wèi):往往專注于個(gè)别行為(wèi)的識别,缺乏完整的課堂學習行為(wèi)投入度分析指标的支持;行為(wèi)識别的依據局限于人體骨架信息,沒有将學生(shēng)周邊物(wù)體的信息納為(wèi)行為(wèi)識别的依據,故檢測的準确性有待提升;在應用層面往往止步于行為(wèi)識别、狀态呈現,而缺少教學維度的關聯分析。


本研究嘗試在計算(suàn)機(jī)視覺技(jì)術(shù)的支持下(xià),在數據收集與處理層面對傳統的課堂觀察法加以改良與創新,擴大數據采集的範圍、提升數據收集與處理的效率,同時大幅降低(dī)研究人員(yuán)在人力方面的開(kāi)銷,最終實現課堂學習行為(wèi)投入度的自(zì)動化測量。具體來說,本研究将在文獻梳理的基礎上(shàng)提煉出一(yī)套有代表性的課堂學習行為(wèi)投入度測量和分析指标集,然後引入計算(suàn)機(jī)視覺技(jì)術(shù)完成課堂學習行為(wèi)投入度測量與分析系統的開(kāi)發,對學生(shēng)課堂學習的出勤情況、行為(wèi)投入度實施自(zì)動觀察、測量和診斷,為(wèi)教師(shī)及時掌握學生(shēng)的課堂學習投入狀态提供數據支撐。


表1  學生(shēng)課堂學習行為(wèi)投入度的相(xiàng)關指标

640.webp (1).jpg




二 學生(shēng)課堂學習行為(wèi)投入度測量與分析系統的設計

1 課堂學習行為(wèi)投入度觀察指标

目前,衆多(duō)研究者從(cóng)投入與脫離兩個(gè)維度,來探讨與學習行為(wèi)投入度測量相(xiàng)關的指标。其中,投入是正向的學習行為(wèi)投入,其特征表現為(wèi)努力、注意力和堅持;而脫離是負面投入,通(tōng)常表現為(wèi)被動、缺乏主動性和放(fàng)棄。本研究從(cóng)投入和脫離兩個(gè)維度,在文獻研讀(dú)的基礎上(shàng)對在校學生(shēng)行為(wèi)觀察(Behavior Observation of Student in Schools,BOSS)[9]、課堂氣氛、教學/内容、管理(Classroom Atmosphere, Instruction/Content, Management,Classroom AIMs)[10]、教學結構和學生(shēng)學業(yè)反饋主流編碼(Mainstream Version-Code for Instructional Structure and Student Academic Response,MS-CISSAR)[11]、教學實踐清單(Instructional Practices Inventory,IPI)[12]、課堂觀察編碼(Classroom Observation Code,COC)[13]、直接觀察表格(Direct Observation Form,DOF)[14]、Flanders交互分析編目(Flanders Interactive Analysis Categories,FIAC)[15]、語言交互編目(Verbal Interaction Category System,VICS)[16]、信息技(jì)術(shù)交互分析系統(Information Technology-based Interaction Analysis System,ITIAS)[17]、S-T(Student-Teacher)[18]等項目中的課堂學習行為(wèi)指标進行了梳理,得到(dào)學生(shēng)課堂學習行為(wèi)投入度的相(xiàng)關指标,如表1所示。

基于學生(shēng)課堂學習行為(wèi)投入度的相(xiàng)關指标,本研究邀請18名相(xiàng)關專家(包括教育技(jì)術(shù)領域的學者和大學一(yī)線教師(shī))參加了學生(shēng)課堂行為(wèi)投入度觀察指标遴選的問卷調研及訪談。結合問卷數據和訪談反饋的分析結果,本研究選取“看(kàn)黑(hēi)闆(含看(kàn)老師(shī),下(xià)同)、看(kàn)書、看(kàn)電(diàn)腦(nǎo)、舉手答問、側身交流”等五個(gè)行為(wèi)作為(wèi)投入行為(wèi)的觀察指标,将“玩手機(jī)”作為(wèi)脫離行為(wèi)的觀察指标,如表2所示。


表2  學生(shēng)課堂行為(wèi)投入度的觀察指标

640.webp (2).jpg


2 學生(shēng)課堂學習行為(wèi)投入度測量與分析系統的設計

本研究依托學生(shēng)課堂學習行為(wèi)投入度的觀察指标,以計算(suàn)機(jī)視覺技(jì)術(shù)為(wèi)支撐,設計了學生(shēng)課堂學習行為(wèi)投入度測量與分析系統。此系統以高(gāo)清網絡攝像頭采集課堂教學的大場景圖像為(wèi)輸入,通(tōng)過動作識别處理和數據管理,實現學生(shēng)出勤率和課堂過程行為(wèi)投入度的自(zì)動記錄與分析,并予以可視化呈現。此系統分為(wèi)系統支撐層、圖像識别層、數據分析層,其具體的業(yè)務流程如圖1所示。


640.webp (3).jpg

圖1  課堂學習行為(wèi)投入度測量與分析系統的業(yè)務流程


(1)系統支撐層

在系統支撐層中,教室網絡高(gāo)清攝像頭對課堂學習行為(wèi)進行全面的圖像采集,随機(jī)抽取采集圖像的十分之一(yī),經由深度學習及計算(suàn)機(jī)視覺等技(jì)術(shù)處理,完成課堂學習行為(wèi)數據集的制作和課堂學習行為(wèi)模型的訓練,作為(wèi)後續課堂學習行為(wèi)識别的基礎。其中,課堂學習行為(wèi)數據集示例如表3所示。


表3  課堂學習行為(wèi)數據集示例

640.webp (4).jpg


(2)圖像識别層

圖像識别層是學生(shēng)課堂學習行為(wèi)投入度測量與分析系統最為(wèi)核心的功能(néng)模塊,可分為(wèi)兩個(gè)部分:學習者識别部分,系統通(tōng)過攝像頭獲取課堂現場的圖像,完成圖像分割後,通(tōng)過多(duō)任務級聯卷積神經網絡和面部網絡獲取學生(shēng)的人臉圖片,并将圖片提交人臉識别接口。動作識别部分,本研究采用遞進(疊加)的技(jì)術(shù)手段完成課堂學習行為(wèi)的判定:首先通(tōng)過身體姿态對個(gè)體動作加以識别,之後結合目标識别與位置判定等,實現“看(kàn)書”、“玩手機(jī)”、“玩電(diàn)腦(nǎo)”等交互動作識别。其中,四類身體姿态的骨架示意圖如圖4所示,目标識别樣例如圖5所示。


表4  四類身體姿态的骨架示意圖

動作骨架圖低(dī)頭側身正坐舉手

640.webp (5).jpg


表5  目标識别樣例示例圖片手書手機(jī)電(diàn)腦(nǎo)

640.webp (6).jpg


(3)數據分析層

在數據分析層,本研究運用指标函數和模糊數學中的隸屬度函數,對課堂學習行為(wèi)投入指标進行無量綱處理,如公式(1)所示。之後,本研究采用層次分析法與熵值賦權法計算(suàn)課堂學習行為(wèi)投入指标的綜合權重:邀請5名教育技(jì)術(shù)領域專家填寫學習投入及學習脫離指标重要性矩陣,計算(suàn)得出各指标的主觀權重序列Wi;将無量綱化後的各指标數據錄入Matlab,計算(suàn)得出客觀權重序列Vi;最後,結合主觀權重與客觀權重,計算(suàn)得出綜合權重,如公式(2)所示。

640.webp (7).jpg


用上(shàng)述指标權重計算(suàn)方法可以得到(dào)學習投入及學習脫離的權重矩陣,如表6所示。以此為(wèi)基礎,系統開(kāi)展了課堂學習行為(wèi)投入度的計算(suàn),随後還(hái)對課堂整體行為(wèi)投入度、學生(shēng)個(gè)人行為(wèi)投入度及其各自(zì)的發展趨勢進行了分析和評估。


表6  課堂學習行為(wèi)投入度指标權重表

640.webp (8).jpg


三 學生(shēng)課堂學習行為(wèi)投入度測量與分析系統的應用

本研究以某高(gāo)校課程“教育技(jì)術(shù)學理論與實踐”中的一(yī)堂課為(wèi)例,對參與此課學習的26名學生(shēng)的學習行為(wèi)投入度進行了測量與分析。在收集視頻數據之前,研究者向學生(shēng)告知了研究的目的并承諾保密;完成課堂學生(shēng)行為(wèi)采集之後,教師(shī)可以通(tōng)過系統查看(kàn)課堂數據分析處理結果。


1 數據測量結果

(1)學習行為(wèi)投入度

課堂整體行為(wèi)投入度。根據系統的測量數據,在采集到(dào)的課程投入行為(wèi)和脫離行為(wèi)中,學生(shēng)的學習投入行為(wèi)頻率占比為(wèi)95.60%,說明學生(shēng)非常專注于課堂學習;根據表6的權重進行計算(suàn),本堂課的學習行為(wèi)投入度值為(wèi)3.08,這表示學習投入度為(wèi)中等水(shuǐ)平。經分析,造成這一(yī)結果的原因是交互類活動的安排偏少(實際占比僅為(wèi)4.85%)。學生(shēng)個(gè)人行為(wèi)投入度方面,在納入統計的20名學生(shēng)中,有6人的課堂學習行為(wèi)投入度低(dī)于班級平均水(shuǐ)平。其中,個(gè)别學生(shēng)的課堂學習投入度較低(dī),且學習脫離度較高(gāo),教師(shī)需要對這些學生(shēng)予以有針對性的關注和提醒。


(2)學習行為(wèi)投入度變化趨勢

課堂整體行為(wèi)投入度變化。系統以時間為(wèi)線索,開(kāi)展學生(shēng)課堂學習行為(wèi)投入度的分析。本堂課學習行為(wèi)投入情況的變化趨勢如圖2所示,可以看(kàn)出:在上(shàng)課過程中,學生(shēng)的行為(wèi)投入情況整體保持平穩,在接近下(xià)課時有一(yī)定程度的下(xià)降;學習脫離情況在上(shàng)課初期有顯著下(xià)降,而在課程臨近結束時呈逐步上(shàng)升的趨勢。課堂中表征學習投入和學習脫離的六個(gè)行為(wèi)動作随時間變化的頻次動态如圖3所示,可以看(kàn)出:“看(kàn)黑(hēi)闆”與“看(kàn)電(diàn)腦(nǎo)”是貫穿于整堂課的主要學習行為(wèi),由此可以推斷本堂課中教師(shī)主要采取講授的教學方式;同時,課堂過程中“交流”和“舉手答問”的行為(wèi)明顯存在幾個(gè)波峰,可見(jiàn)教師(shī)在課堂中實施了一(yī)定的交流讨論,并取得了一(yī)定的效果。


640.webp (9).jpg

注:橫軸為(wèi)時間刻度,單位刻度為(wèi)8分鍾;縱軸分别表示學習投入及學習脫離的得分與行為(wèi)次數。圖中兩條曲線,學習投入居上(shàng),學習脫離居下(xià)。

   圖2  學習行為(wèi)投入情況的變化趨勢


640.webp (10).jpg

注:橫軸為(wèi)時間刻度,單位刻度為(wèi)8分鍾;縱軸表示各類課堂學習行為(wèi)的次數。在起始階段,自(zì)上(shàng)而下(xià)分别對應看(kàn)電(diàn)腦(nǎo)、看(kàn)黑(hēi)闆、玩手機(jī)、看(kàn)書與舉手答問。

圖3  單個(gè)行為(wèi)動作随時間變化的頻次動态


個(gè)體學習行為(wèi)投入度追蹤。系統對學生(shēng)個(gè)人的行為(wèi)投入情況也進行了分析,圖4、圖5分别表征本堂課中脫離度較高(gāo)的某學生(shēng)的課堂行為(wèi)和看(kàn)手機(jī)行為(wèi)分布情況。圖4顯示,此學生(shēng)的課堂行為(wèi)投入度僅為(wèi)2.83,其中此學生(shēng)看(kàn)手機(jī)的行為(wèi)頻次非常高(gāo),約占課堂行為(wèi)總數的33.3%。而圖5顯示此學生(shēng)在課堂前段用很少的時間在看(kàn)手機(jī),但後續基本處于看(kàn)手機(jī)的脫離狀态。

640.webp (11).jpg

注:橫軸表示行為(wèi)類别,縱軸表示行為(wèi)的總次數。

圖4  某學生(shēng)課堂行為(wèi)分布情況


640.webp.jpg

注:橫軸表示時間刻度,單位刻度為(wèi)4秒(miǎo);縱軸表示學生(shēng)是否看(kàn)手機(jī),刻度1表示看(kàn)手機(jī),刻度0表示未看(kàn)手機(jī)。

圖5  某學生(shēng)看(kàn)手機(jī)行為(wèi)分布情況


2 教學應用分析

在出勤數據應用方面,有系統中學生(shēng)出勤數據的支撐,教師(shī)可以快速、準确地掌握班級整體和學生(shēng)個(gè)體的出勤情況。在本課堂中,有兩位學生(shēng)缺課,教師(shī)可對這兩位學生(shēng)予以重點關注。在教學設計和教學實施的印證與優化方面,通(tōng)過查看(kàn)聽課與交互兩類課堂行為(wèi)計數随時間的變化情況及總數的對比情況,教師(shī)可以了解學生(shēng)在教學實施中的反饋情況,進而完成教學設計或教學實施的調整及優化。在本課堂中,教師(shī)采用以講授為(wèi)主的授導型教學模式,中間穿插少量的交流和問答環節。學生(shēng)在課堂學習過程中整體比較專注,但在35分鍾之後,學生(shēng)整體的投入狀态明顯地下(xià)降了。基于此,本研究建議教師(shī)結合學生(shēng)對教學内容的掌握情況,從(cóng)調整課程節奏和難度、增加課程的互動性和趣味性等方面著(zhe)手,幫助學生(shēng)調整課堂投入狀态。


此外,學習脫離行為(wèi)數據的采集為(wèi)面向學生(shēng)的學風督導提供了決策支持。對學習脫離行為(wèi)持續時間較長(cháng)、總次數較多(duō)的學生(shēng),教師(shī)可給予個(gè)别化的關注和指導。在本堂課中,有6位學生(shēng)的脫離行為(wèi)比較明顯,且有一(yī)名學生(shēng)有三分之一(yī)的時間處于學習脫離狀态,教師(shī)應與這些學生(shēng)溝通(tōng),了解其脫離學習的原因,避免其後續出現學業(yè)預警。


四 小(xiǎo)結

高(gāo)效、準确地測量并分析學生(shēng)課堂學習行為(wèi)投入度,是推進混合學習投入度研究與高(gāo)校教學實踐相(xiàng)結合的關鍵議題。不同個(gè)體的課堂行為(wèi)差異,決定了研究者難以憑借傳統的方法對其進行科學測量。随著(zhe)技(jì)術(shù)的創新與發展,依靠計算(suàn)機(jī)視覺等技(jì)術(shù)對個(gè)體行為(wèi)進行精準識别已成為(wèi)現實,這為(wèi)研究者重新測量與評估課堂學習行為(wèi)投入度提供了可能(néng)。為(wèi)此,本研究将計算(suàn)機(jī)視覺技(jì)術(shù)引入大學課堂場景,首先提煉出學生(shēng)課堂學習行為(wèi)投入度的觀察指标,在此基礎上(shàng)對課堂行為(wèi)識别方式進行升級優化,結合身體姿态信息和物(wù)品信息,對學生(shēng)6個(gè)常見(jiàn)的課堂動作進行識别;随後,在算(suàn)法模型研究的基礎上(shàng),開(kāi)發了學生(shēng)課堂學習行為(wèi)投入度測量與分析系統,将人臉識别、姿态估計、目标檢測等智能(néng)檢測方法應用于課堂學生(shēng)行為(wèi)識别。此系統能(néng)幫助教師(shī)掌握學生(shēng)的課堂表現、客觀評估課堂的教學效果,是教師(shī)提升教學效果的有效支撐手段。受制于設備類型、精度與技(jì)術(shù)複雜(zá)度,本研究設計的學生(shēng)課堂學習行為(wèi)投入度測量與分析系統隻覆蓋了與學生(shēng)身體姿勢密切相(xiàng)關的6個(gè)課堂動作的識别與分析,學生(shēng)的手部及頭部細微動作等更多(duō)的個(gè)體行為(wèi)信息,乃至發言内容、面部表情等與交流互動相(xiàng)關的信息,還(hái)有待更精密的設備、更理想的算(suàn)法模型的支持,還(hái)有待進一(yī)步實證。

圖片

參考文獻

[1]Finn J D. Withdrawing from school[J]. Review of Educational Research, 1989,(2):117-142.

[2]Fredricks J A, Blumenfeld P C, Paris A H. School engagement: Potential of the concept, state of the evidence[J]. Review of Educational Research, 2004,(1):59-109.

[3]Henry K L, Knight K E, Thornberry T P. School disengagement as a predictor of dropout, delinquency, and problem substance use during adolescence and early adulthood[J]. Journal of Youth and Adolescence, 2012,(2):156-166.

[4]Appleton J J, Christenson S L, Kim D, et al. Measuring cognitive and psychological engagement: Validation of the student engagement instrument[J]. Journal of School Psychology, 2006,(5):427-445.

[5]Volpe R J, DiPerna J C, Hintze J M, et al. Observing students in classroom settings: A review of seven coding schemes[J]. School Psychology Review, 2005,(4):454-474.

[6]馬廣文.交通(tōng)大辭典[M].上(shàng)海:上(shàng)海交通(tōng)大學出版社,2005:1.

[7]賈鹂宇,張朝晖,趙小(xiǎo)燕,等.基于人工(gōng)智能(néng)視頻處理的課堂學生(shēng)狀态分析[J].現代教育技(jì)術(shù),2019,(12):82-88.

[8]孫衆,呂恺悅,駱力明,等.基于人工(gōng)智能(néng)的課堂教學分析[J].中國(guó)電(diàn)化教育,2020,(10):15-23.

[9]Shapiro E S. Academic skills problems: Direct assessment and intervention[M]. New York: Guilford Press, 2011:54-56.

[10]Roehrig A D, Christesen E. Development and use of a tool for evaluating teacher effectiveness in grades K-12[M]. Springer US: Washington, 2010:212-214.

[11]Greenwood C R, Horton B T, Utley C A. Academic engagement: Current perspectives on research and practice[J]. School Psychology Review, 2002,(3):328-349.

[12]Valentine J. Instructional practices inventory: A process for profiling student engaged learning for school improvement[OL]. <https://core.ac.uk/download/pdf/62759368.pdf>

[13]Horn W F, Conners C K, Wells K C, et al. Use of the Abikoff classroom observation coding system on a children’s inpatient psychiatric unit[J]. Journal of Psychopathology and Behavioral Assessment, 1986,(1):9-23.

[14]Reed M L, Edelbrock C. Reliability and validity of the direct observation form of the child behavior checklist[J]. Journal of Abnormal Child Psychology, 1983,(4):521-530.

[15]Flanders N A. Analyzing teaching behavior[J]. American Educational Research Journal, 1971,(3):589-592.

[16]楊平展,劉娟文,羅平.關于教學行為(wèi)分類系統VICS的讨論[J].教師(shī),2009,(6):3-4.

[17]顧小(xiǎo)清,王炜.支持教師(shī)專業(yè)發展的課堂分析技(jì)術(shù)新探索[J].中國(guó)電(diàn)化教育,2004,(7):18-21.

[18]萬華明,蔣雪明,姜鑫.基于S-T信息分析的高(gāo)校教師(shī)課堂教學模式研究[J].教育與職業(yè),2010,(24):103-104.