本發明屬于動作識別，尤其涉及一種基于學校課堂的兒童動作識別方法及系統。

背景技術：

1、本部分的陳述僅僅是提供了與本發明相關的背景技術信息，不必然構成在先技術。

2、人體動作識別預測是計算機視覺領域的一個重要研究方向，基于人體骨架的動作識別預測在智能交通、智能安防、人機交互、運動分析等領域具有廣泛的應用前景。

3、目前，常規環境下的人體動作識別算法研究已經取得較大進展，但在一些幼兒園小學等特定監控攝像條件下，由于校園監控視角下課堂等場景存在較大遮擋，例如兒童坐在座椅上，課桌會遮擋兒童下半身，且兒童與成人身高存在較大差異，而常規人體動作識別算法通常基于成人數據進行訓練，因此無法很好地應用于校園監控視角下的課堂等特殊場景下。

4、同時，基于深度學習方法的常規人體動作識別成為主流，現有技術方法主要從rgb圖像和基于人體關節序列兩個主流方向出發。相較于基于rgb圖像序列方法，基于圖卷積網絡（gcn）對人體骨架建模的方法對于遮擋、場景復雜時表現出更強的魯棒性。同時處理關節點數據相較于視頻流所消耗計算資源更少，在實際應用中處理多路視頻監控時實時性更好。

5、gcn在動作識別領域的應用發展經歷了從基于骨骼點的簡單圖結構表示到時空卷積網絡（st-gcn）的提出，st-gcn將骨架序列視作以關節作為節點，關節之間的連接表示為邊的圖結構，通過空間圖卷積學習節點之間的特征，通過時間圖卷積實現對時序信息的建模，從而更全面地提取動作特征。隨著研究的深入，在?gcn?基礎上的探索研究主要圍繞兩個方向展開：一是更具代表性的骨架數據構建方式；二是更有效的?gcn?模型設計。

6、從第一個方向來看，as-gcn網絡使用多任務學習策略來輸出姿態預測，通過兩個模塊（actional?links和structural?links）來捕獲關節之間的依賴關系。但模塊協同致使計算成本飆升，處理大規模、長序列骨架數據時效率低下，難以滿足實時性要求；另一方面，對任務數據分布依賴過強，實際場景數據特征若有偏差，姿態預測精準度便會受嚴重影響。2s-agcn結合了自適應拓撲圖，利用神經網絡的反向傳播算法來進行自動更新，以增加關節連接強度的表征，從而捕獲和增強更豐富的特征表示。但對反向傳播初值敏感，初值不佳易陷入局部最優，阻礙拓撲圖理想構建，同時在訓練樣本有限時，復雜拓撲更新易引發過擬合，泛化表現不佳。ms-g3d則構建了一個統一的時空圖，該時空圖由多?個子圖組成，每個子圖代表某個幀上關節的空間關系，有效的模擬了不同坐標系中不同關節之間的關系。不過在構建和處理時空圖過程中，隨著關節、幀數增多，圖結構復雜度劇增，存儲與計算開銷呈指數級上升，同時不同子圖融合時的權重分配策略缺乏自適應機制，難以契合多樣態的動作模式，導致部分關鍵關節關系刻畫失準。

7、從第二的方向來看，傳統的gcn作為前饋網絡運行，限制了低層級對更高層級語義信息的訪問，為解決該問題，反饋圖卷積網絡（fgcn）應運而生，與直接應用完整的骨架序列不同，fgcn采用多級時間采樣策略，從骨架數據中稀疏提取輸入片段序列，旨在逐步獲取全局時空特征，然而其在樣本選取環節，缺嚴謹篩選標準，易混入噪聲片段、遺漏關鍵幀，干擾特征學習；且層級間反饋調控參數繁雜，調參難度大，系統穩定性差。stsf-gcn將骨架數據概念化，類似于統一的時空拓撲結構,應對常規動作尚可，一旦遭遇不規則、突發動作，因其結構化過強、靈活性不足，難以快速適配動作突變帶來的拓撲調整需求。

8、基于transformer架構的網絡常應用于廣泛的語言任務（如文本分類、機器翻譯或問答）上，但現在也將其擴展到視覺任務，如圖像分類、目標檢測、分割、圖像恢復和點云配準。

9、目前，在動作識別領域，transformer架構取得了顯著進展。基于transformer的方法有效地緩解了只關注本地信息的問題，并且擅長捕獲長序列的廣泛依賴關系。當應用于涉及基于骨骼的人類行為識別的任務時，transformer架構展示了捕獲時間關系的熟練性。例如，prtr（pose?recognition?with?cascade?transformers）圍繞人體姿態識別展開，引入了兩種形態的級聯?transformer架構。基于hrnet-雙流transformer網絡的人體動作識別方法融合多種特征的雙流網絡模型，提高了人體動作識別的準確率。

10、然而，transformer架構在動作識別方向也存在一些不足之處。由于在捕獲和編碼骨架數據中固有的復雜高維語義信息方面的局限性，它在建模空間關系方面的效果仍然受到限。同時transformer在處理長序列時，由于其自注意力機制的復雜度，導致計算資源消耗較大，限制了它在實際應用中的使用。

11、因此，現有的動作識別方法應用在幼兒園小學等特定監控攝像條件下所存在的不足主要是：1、兒童訓練數據稀缺以及在監控視角下課堂等校園場景存在較大遮擋，使得基于常規公開數據集充分訓練的神經網絡在該場景下表現出了較差的泛化性能，從而限制動作識別在校園場景下的部署和應用。

12、2、目前基于圖卷積網絡的人體動作識別算法主要應用于常規場景下，但由于兒童身高較成人有較大差異，且班級內身高差異較大。此外，在學校這類場所多攝像頭監控作為分析輸入源數據，與普通地面攝像機不同，這類監控視角多為以自上而下斜視，且監控視角下，人員普遍較為密集，且受到教室內課桌等遮擋影響，大多數時候只能由攝像頭觀察到兒童上半身。因此目前基于圖卷積網絡等的人體動作識別算法，都是基于成人平視數據訓練的動作識別模型，對于校園這類特殊場景具有較差的泛化性。

13、3、在課堂場景下，多數動作幅度較小，常規動作識別模型很難做細致化區分。

技術實現思路

1、為克服上述現有技術的不足，本發明提供了一種基于學校課堂的兒童動作識別方法及系統，是一種融合預測算法模型，能夠實現在校園教室場景下對于兒童動作較高精度的分類與識別。

2、為實現上述目的，本發明的一個或多個實施例提供了如下技術方案：

3、本發明第一方面提供了一種基于學校課堂的兒童動作識別方法。

4、一種基于學校課堂的兒童動作識別方法，包括：

5、獲取人體骨架序列數據；

6、將所述人體骨架序列數據分別輸入至gcn網絡和tcn網絡，分別得到基于gcn網絡和tcn網絡的預測結果；

7、同時，將人體骨架序列數據分別通過空間邏輯判斷模型和時間邏輯判斷模型推導出空間動作與時間動作；

8、將推導出的空間動作與和時間動作與基于gcn網絡和tcn網絡的預測結果進行融合，得到最終的動作姿態。

9、一種基于學校課堂的兒童動作識別系統，包括：

10、數據獲取模塊，被配置為：獲取人體骨架序列數據；

11、算法預測模塊，被配置為：將所述人體骨架序列數據分別輸入至gcn網絡和tcn網絡，分別得到基于gcn網絡和tcn網絡的預測結果；

12、邏輯判斷模塊，被配置為：同時，將人體骨架序列數據分別通過空間邏輯判斷模型和時間邏輯判斷模型推導出空間動作與時間動作；

13、融合輸出模塊，被配置為：將推導出的空間動作與和時間動作與基于gcn網絡和tcn網絡的預測結果進行融合，得到最終的動作姿態。

14、本發明第三方面提供一種計算機裝置,包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現如本發明第一方面所述的一種方法中的步驟。

15、本發明第四方面提供了計算機可讀存儲介質，其上存儲有程序，該程序被處理器執行時實現如本發明第一方面所述的一種方法中的步驟。

16、本發明第五方面提供了一種包含指令的計算機程序產品，其在計算機上運行時，使得計算機程序被處理器執行時實現如本發明第一方面所述的一種方法中的步驟。

17、以上一個或多個技術方案存在以下有益效果：

18、本發明基于公開數據集先進行訓練，并在采集的課堂監控兒童數據集上進行微調，將最終模型預測結果與骨骼關節點邏輯推理判斷結果相結合，由邏輯判斷引導gcn與tcn模塊推導結果，以取得在更精細動作上較高的分類性能，滿足任務的精度要求。

19、本發明基于將傳統識別算法應用到校園教室場景下，驗證了對存在遮擋情況下常規算法在處理精細化動作分類時性能存在退化。例如gcn直接對課堂監控視角下直接進行推理預測，因場景等影響，往往不能正確推斷出被遮擋部分的準確動作，照成后續預測推理錯誤。而本發明通過添加空間邏輯指導，能夠在gcn等深度模型的預測結果上根據任務場景對預測結果進行調整，從而避免了深度模型對于一些由于遮擋所引起的推理錯誤。

20、本發明提出了一種基于gcn與tcn的新型融合預測算法，通過將空間與時間邏輯分別融合gcn模塊與tcn模塊，強化動作識別模塊，能夠應用于校園教室場景下對存在遮擋情況的兒童精細動作識別。

21、本發明附加方面的優點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發明的實踐了解到。