本發明涉及多媒體技術領域，具體涉及一種視頻畫面異常判斷方法、裝置及終端設備。

背景技術：

隨著互聯網技術及智能移動終端設備的發展，各種互聯網產品給人們的工作、生活帶來了很多便利與娛樂，近年來，各類用于視頻直播的直播平臺層出不窮，視頻直播給人們帶來更實時的社交體驗。

在實時視頻直播中，由于不可事前預知的視頻采集、網絡中斷、編解碼不兼容等異常引起的黑屏現象，會導致直播事實中斷，造成嚴重的影響，此時直播平臺運營方需要實時或準實時地判斷問題發生情況以及時進行處理，而目前處理此類問題一般以線上觀眾在觀看直播視頻過程中人眼發現并主動報障為主，人工跟進，故障反應時間滯后。對于直播平臺而言，海量主播難免存在偶發的但漏報或誤報的故障，隱藏了故障產生的根源，且問題不能及時定位，故不能有效進行技術改進，影響觀眾觀看體驗。

技術實現要素：

本發明的首要目的在于提供一種視頻畫面異常判斷方法及裝置；

本發明的另一目的在于提供一種實現上述視頻畫面異常判斷方法的終端設備。

為實現該目的，本發明采用如下技術方案：

第一方面，本發明提供一種視頻畫面異常判斷方法，包括如下步驟：

獲取視頻流解碼后的每一數據幀；

判斷所述數據幀的部分像素點的三基色的亮度值是否低于預設閾值，以確定該數據幀是否為異常數據幀；

當所述數據幀為異常數據幀時，確定該視頻流所輸出的畫面為異常狀態，并將該視頻流的異常信息上傳到云端服務器。

具體的，所述部分像素點為數據幀的前N個連續的像素點和/或后M個連續的像素點，當所述前N個連續的像素點和/或后M個連續的像素點的三基色的亮度值低于預設閾值時，確定該數據幀為異常數據幀，所述N、M為小于數據幀的像素數的任意整數。

較佳的，所述N、M為大于等于5小于等于10的整數。

優選的，在確定所述部分像素點的三基色的亮度值低于預設閾值后，還包括：

當所述數據幀在預定位置處對應的像素點的三基色的亮度值低于預設閾值時，才確定該數據幀為異常數據幀。

具體的，判斷像素點的三基色的亮度值是否低于預設閾值，包括：

計算多個像素點的三基色中各顏色的亮度值的平均值，再分別與各顏色的預設閾值比較，以確定所述像素點的三基色的亮度值是否低于預設閾值；或

計算每一個像素點的三基色的亮度值的平均值，再計算多個像素點的三基色的亮度值的平均值，再與單一預設閾值比較，以確定所述像素點的三基色的亮度值是否低于預設閾值。

具體的，所述異常數據幀為黑屏數據幀，所述預設閾值為趨近于0的數值，像素點的三基色的亮度值的均值低于預設閾值為像素點的三基色的亮度值的均值為0或趨近于0。

具體的，所述數據幀的預定位置為多條分割線將所述數據幀按預設幾何布局進行分割的交點。

優選的，所述幾何布局包括九宮格布局和符合黃金比例布局。

進一步的，所述方法還包括：

當在預設時間內的連續多個數據幀均為異常數據幀時，才確定該視頻流所輸出的畫面處于異常狀態。

進一步的，所述視頻流的異常信息關聯于直播間特征信息、主播用戶特征信息、觀看用戶特征信息的至少一項上傳到云端服務器。

第二方面，本發明提供一種視頻畫面異常判斷裝置，包括：

獲取模塊：用于獲取視頻流解碼后的每一數據幀；

判斷模塊：用于判斷所述數據幀的部分像素點的三基色的亮度值是否低于預設閾值，以確定該數據幀是否為異常數據幀；

上傳模塊：用于當所述數據幀為異常數據幀時，確定該視頻流所輸出的畫面為異常狀態，并將該視頻流的異常信息上傳到云端服務器。

第三方面，本發明提供一種終端設備，用于實現上述視頻畫面異常判斷方法，包括：

觸敏顯示器：用于顯示該方法實現過程中產生的中間信息及結果信息；

存儲器：用于存儲上述方法實現過程中產生的候選中間數據以及結果數據；

一個或多個處理器：所述處理器被配置為用于執行實現上述方法的步驟。

與現有技術相比，本發明具備如下優點：

本發明基于觀看終端在解碼視頻流后加入簡單的加減法運算和極少的邏輯判斷，快速并且準確地判斷視頻畫面出現黑屏的情況，第一時間將終端出現黑屏的故障上報給服務器，以讓直播平臺運營方及時地發現并處理故障產生的根源，然后可以根據該根源對技術進行改進，提高觀眾對視頻直播的觀看體驗；

另外，由于判斷黑屏現象的邏輯在視頻流解碼后，并且只對每一數據幀的幾個像素點進行簡單的加減法運算和極少的邏輯判斷，涉及的計算量所消耗的資源較少，不會影響視頻流解碼的過程，同時由機器判斷并上報黑屏狀況，反應時間快速，漏報或誤報的可能性較低，可以為直播平臺運營方反饋更多的技術缺陷，讓直播平臺運營方更有效地進行技術改進，進而提高觀眾觀看體驗。

顯然，上述有關本發明優點的描述是概括性的，更多的優點描述將體現在后續的實施例揭示中，以及，本領域技術人員也可以本發明所揭示的內容合理地發現本發明的其他諸多優點。

本發明附加的方面和優點將在下面的描述中部分給出，這些將從下面的描述中變得明顯，或通過本發明的實踐了解到。

【附圖說明】

圖1為本發明視頻畫面異常判斷方法的一實施例流程示意圖；

圖2為數據幀的像素點的示意圖；

圖3為分割線按九宮格布局分割數據幀的示意圖；

圖4為一種符合黃金比例布局的圖形；

圖5為本發明視頻畫面異常判斷裝置的一實施例示意圖。

【具體實施方式】

下面結合附圖和示例性實施例對本發明作進一步地描述，其中附圖中相同的標號全部指的是相同的部件。此外，如果已知技術的詳細描述對于示出本發明的特征是不必要的，則將其省略。

本技術領域技術人員可以理解，除非特意聲明，這里使用的單數形式“一”、“一個”、“所述”和“該”也可包括復數形式。應該進一步理解的是，本發明的說明書中使用的措辭“包括”是指存在所述特征、整數、步驟、操作、元件和/或組件，但是并不排除存在或添加一個或多個其他特征、整數、步驟、操作、元件、組件和/或它們的組。應該理解，當我們稱元件被“連接”或“耦接”到另一元件時，它可以直接連接或耦接到其他元件，或者也可以存在中間元件。此外，這里使用的“連接”或“耦接”可以包括無線連接或無線耦接。這里使用的措辭“和/或”包括一個或更多個相關聯的列出項的全部或任一單元和全部組合。

本技術領域技術人員可以理解，除非另外定義，這里使用的所有術語(包括技術術語和科學術語)，具有與本發明所屬領域中的普通技術人員的一般理解相同的意義。還應該理解的是，諸如通用字典中定義的那些術語，應該被理解為具有與現有技術的上下文中的意義一致的意義，并且除非像這里一樣被特定定義，否則不會用理想化或過于正式的含義來解釋。

本技術領域技術人員可以理解，這里所使用的“終端”、“終端設備”既包括無線信號接收器的設備，其僅具備無發射能力的無線信號接收器的設備，又包括接收和發射硬件的設備，其具有能夠在雙向通信鏈路上，執行雙向通信的接收和發射硬件的設備。這種設備可以包括：蜂窩或其他通信設備，其具有單線路顯示器或多線路顯示器或沒有多線路顯示器的蜂窩或其他通信設備；PCS(Personal Communications Service，個人通信系統)，其可以組合語音、數據處理、傳真和/或數據通信能力；PDA(Personal Digital Assistant，個人數字助理)，其可以包括射頻接收器、尋呼機、互聯網/內聯網訪問、網絡瀏覽器、記事本、日歷和/或GPS(Global Positioning System，全球定位系統)接收器；常規膝上型和/或掌上型計算機或其他設備，其具有和/或包括射頻接收器的常規膝上型和/或掌上型計算機或其他設備。這里所使用的“終端”、“終端設備”可以是便攜式、可運輸、安裝在交通工具(航空、海運和/或陸地)中的，或者適合于和/或配置為在本地運行，和/或以分布形式，運行在地球和/或空間的任何其他位置運行。這里所使用的“終端”、“終端設備”還可以是通信終端、上網終端、音樂/視頻播放終端，例如可以是PDA、MID(Mobile Internet Device，移動互聯網設備)和/或具有音樂/視頻播放功能的移動電話，也可以是智能電視、機頂盒等設備。

本技術領域技術人員可以理解，這里所使用的遠端網絡設備，其包括但不限于計算機、網絡主機、單個網絡服務器、多個網絡服務器集或多個服務器構成的云。在此，云由基于云計算(Cloud Computing)的大量計算機或網絡服務器構成，其中，云計算是分布式計算的一種，由一群松散耦合的計算機集組成的一個超級虛擬計算機。本發明的實施例中，遠端網絡設備、終端設備與WNS服務器之間可通過任何通信方式實現通信，包括但不限于，基于3GPP、LTE、WIMAX的移動通信、基于TCP/IP、UDP協議的計算機網絡通信以及基于藍牙、紅外傳輸標準的近距無線傳輸方式。

本領域技術人員應當理解，本發明所稱的“應用”、“應用程序”、“應用軟件”以及類似表述的概念，是業內技術人員所公知的相同概念，是指由一系列計算機指令及相關數據資源有機構造的適于電子運行的計算機軟件。除非特別指定，這種命名本身不受編程語言種類、級別，也不受其賴以運行的操作系統或平臺所限制。理所當然地，此類概念也不受任何形式的終端所限制。

本發明所述方法的實現依賴于移動終端操作系統中的某一功能模塊或插件，具體為內置于移動終端的相應應用程序內的可執行代碼或獨立于任何應用程序的單獨可執行的應用程序，其可以限定于特定的應用程序中執行，也能夠運行于各種兼容的應用程序中。功能模塊或插件的具體實現形式不作為對本發明的具體限定。

直播間：本發明所述直播間包括以下含義，①一種基于網絡直播平臺創建的一個虛擬空間(或虛擬房間)，直播間一般由主播客戶端創建并連接有多個觀看客戶端，即直播間中包括了主播及多個觀眾，位于該虛擬空間內的觀看客戶端可以觀看主播客戶端的直播內容，同時主播客戶端的用戶與觀看客戶端的用戶、觀看客戶端的用戶與觀看客戶端的用戶之間還可以進行語音、圖片、文字或贈送電子贈品的互動；②一種以群組方式將用戶聚合在一起的即時通訊平臺，例如視頻會議系統，用戶通過登錄客戶端的方式進入群組，用戶在群組內以群組成員的身份存在，同一個群組內包含有多個群組成員，用戶可任意加入或退出群組，在群組內，可以進行文字、語音、視頻等多種互動。

第一方面，如圖1所示是本發明視頻畫面異常判斷方法的一實施例流程示意圖，包括如下步驟：

步驟S100：獲取視頻流解碼后的每一數據幀。

視頻播放的流程一般包括步驟：輸入->解碼->輸出，其中“輸入”包括從文件或網絡讀取原數據提取流信息->分離音視頻流等步驟，然后再對音、視頻流解碼后輸出，在視頻流解碼前會分配內存以存儲解碼后的數據幀，數據幀(Frame)對應著編解碼器的最小處理單元，媒體流通常由大量的數據幀組成，編解碼器以幀為單位實現壓縮數據和原始數據之間的相互轉換，解碼后的數據幀包括YUV格式或RGB格式，本實施例以RGB格式的數據幀為例進行說明，另外，幀的高度和寬度信息同樣可以獲得。本實施例的一種應用場景為視頻直播領域，觀看終端從網絡上獲取直播間視頻數據流，在本地對視頻流解碼后獲取解碼后的每一數據幀，然后再執行后續操作。

步驟S200：判斷所述數據幀的部分像素點的三基色的亮度值是否低于預設閾值，以確定該數據幀是否為異常數據幀。

在得到解碼后的每一數據幀后，判斷該數據幀的部分像素點的三基色的亮度值是否低于預設閾值，若判斷結果為是，則確定該數據幀為異常數據幀。

具體的，像素點的三基色為R(紅色)、G(綠色)和B(藍色)，像素點的三基色的亮度值即為工業界的一種顏色標準“RGB色彩模式”中RGB值的多少，計算機上的所有顏色都由紅色、綠色、藍色三種色光按照不同的比例混合而成的，一組RGB值就是一個最小的顯示單位，計算機屏幕上的任何一種顏色都可以由一組RGB值來記錄和表達，在計算機中，RGB值的“多少”就是指RGB各顏色的亮度，并用整數來表示，通常情況下，RGB各有256級亮度，用數字從0、1、2...直到255表示，其中RGB值為(0，0，0)表示黑色，RGB值為(255，255，255)表示白色。

具體的，判斷像素點的三基色的亮度值是否低于預設閾值，可以轉化為判斷像素點的三基色的亮度值的均值是否低于預設閾值，本實施例的一種實施方式為：計算多個像素點的三基色中各顏色的亮度值的平均值，再分別與各顏色的預設閾值比較，以確定所述像素點的三基色的亮度值是否低于預設閾值，例如像素點A的RGB值為(0，0，0)，像素點B的RGB值為(3，3，3)，像素點C的RGB值為(6，6，6)，計算得到像素點的RGB均值為(3，3，3)，再分別與R、G、B的預設閾值例如(5，5，5)比較；本實施例的另一種實施方式為：計算每一個像素點的三基色的亮度值的平均值，再計算多個像素點的三基色的亮度值的平均值，再與單一預設閾值比較，以確定所述像素點的三基色的亮度值是否低于預設閾值，此時上述像素點A、B、C的RGB均值為3，再與預設閾值例如5比較。

具體的，所述異常數據幀為黑屏數據幀，一般的，在存儲視頻圖像數據時的RGB數組元素的默認初始值為(0，0，0)，即為黑色，故本實施例所述預設閾值為[0，255]區間內趨近于0的數值，可以理解的是在計算機圖像顯示領域中，表現為近似黑色的像素點的RGB值均接近(0，0，0)，故本實施例的預設閾值可以是RGB閾值數組如(5，5，5)或單一閾值如5，此時，像素點的三基色的亮度值低于預設閾值則可以理解為“像素點的三基色的亮度值為0或趨近于0”，即像素點表示為黑色或近似黑色的像素點，當數據幀的預設像素點的三基色的亮度值為0或趨近于0時，確定該數據幀為黑屏數據幀，即此時視頻流所輸出的畫面為黑屏畫面。

具體的，所述部分像素點為數據幀的前N個連續的像素點和/或后M個連續的像素點，所述N、M為小于數據幀的像素數的任意整數，優選的，所述N、M為大于等于5小于等于10的整數，在一種實施方式中，可以選取前10個連續的像素點為所述部分像素點，然后判斷該些像素點的RGB值是否低于預設閾值，以此確定該數據幀是否為異常數據幀；在另一種實施方式中，也可以選取后10個連續的像素點為所述部分像素點；更佳地，可以同時選取前10個連續的像素點和后10個連續的像素點作為所述部分像素點，能更準確地判斷數據幀是否為異常數據幀，如圖2所示是一數據幀的像素點示意圖，其中每一個方形代表一個像素點，圖2中涂滿顏色的部分是數據幀前5個像素點和后5個像素點。

進一步的，為了更加準確地判斷數據幀為異常數據幀，本實施例在確定所述部分像素點的RGB值低于預設閾值后，還包括步驟：

判斷所述數據幀在預定位置處對應的像素點的三基色的亮度值是否低于預設閾值時，若是，才確定該數據幀為異常數據幀。

具體的，所述預定位置為多條分割線將所述數據幀按幾何布局進行分割的交點，根據人眼對視頻信息存在視覺冗余的原理，該些交點為人眼視覺焦點，通過對這些特殊像素點的判斷即相當于對整一數據幀進行判斷，可以較快捷、準確地確認數據幀是否為異常數據幀，所述幾何布局包括九宮格布局和符合黃金比例的布局，如圖2所示是分割線按九宮格布局分割數據幀的示意圖，其中每一個方形代表一個像素點，分割線的交點為圖2中涂滿顏色的方形，如圖3所示是一種符合黃金比例布局的圖形，通過將該圖形與數據幀相匹配，以圖3中所示的交點作為數據幀的所述預定位置，每一個交點對應于數據幀的一個像素點，本實施例通過選取特殊像素點作為判斷的像素點，不需要對整一數據幀的像素點進行判斷，可以適當地減少資源消耗。

步驟S300：當所述數據幀為異常數據幀時，確定該視頻流所輸出的畫面為異常狀態，并將該視頻流的異常信息上傳到云端服務器。

在上述確定一數據幀為異常數據幀后，確定此時視頻流所輸出的畫面為異常狀態，也即黑屏狀態，然后將視頻流的異常信息上傳到云端服務器。

優選的，由于一些特殊的視頻直播場景如晚間的戶外直播，開播的環境亮度較低，若只判斷一數據幀即確定視頻流所輸出的畫面為異常狀態的誤判可能性較高，所以，為了更佳準確地確定視頻流所輸出的畫面為異常狀態，本實施例還包括步驟：

當在預設時間內的連續多個數據幀均為異常數據幀時，才確定該視頻流所輸出的畫面處于異常狀態。即設定一個觀測時間閾值如3秒，若在3秒內的連續的數據幀均為異常數據幀時，才確定此時視頻流所輸出的畫面處于異常狀態，然后再將視頻流的異常信息上傳到云端服務器。

具體的，所述視頻流的異常信息關聯于直播間特征信息、主播用戶特征信息、觀看用戶特征信息的至少一項上傳到云端服務器，直播間的特征信息包括直播間的頻道ID及其子頻道ID，本實施例通過將視頻流的異常信息上傳到服務器，服務器收集到該異常信息后對其分析以便對產生該異常情況的源頭作出處理。

第二方面，如圖4所示是本發明視頻畫面異常判斷裝置的一實施例示意圖，包括：

獲取模塊100：用于獲取視頻流解碼后的每一數據幀。

視頻播放的流程一般包括步驟：輸入->解碼->輸出，其中“輸入”包括從文件或網絡讀取原數據提取流信息->分離音視頻流等步驟，然后再對音、視頻流解碼后輸出，在視頻流解碼前會分配內存以存儲解碼后的數據幀，數據幀(Frame)對應著編解碼器的最小處理單元，媒體流通常由大量的數據幀組成，編解碼器以幀為單位實現壓縮數據和原始數據之間的相互轉換，解碼后的數據幀包括YUV格式或RGB格式，本實施例以RGB格式的數據幀為例進行說明，另外，幀的高度和寬度信息同樣可以獲得。本實施例的一種應用場景為視頻直播領域，觀看終端的獲取模塊100從網絡上獲取直播間視頻數據流，然后在本地對視頻流解碼后獲取解碼后的每一數據幀，然后再執行后續操作。

判斷模塊200：用于判斷所述數據幀的預設像素點的三基色的亮度值的均值是否低于預設閾值，以確定該數據幀是否為異常數據幀。

在得到解碼后的每一數據幀后，判斷模塊200判斷該數據幀的部分像素點的三基色的亮度值是否低于預設閾值，若判斷結果為是，則確定該數據幀為異常數據幀。

具體的，所述異常數據幀為黑屏數據幀，一般的，在存儲視頻圖像數據時的RGB數組元素的默認初始值為(0，0，0)，即為黑色，故本實施例所述預設閾值為[0，255]區間內趨近于0的數值，可以理解的是在計算機圖像顯示領域中，表現為近似黑色的像素點的RGB值均接近(0，0，0)，故本實施例的預設閾值可以是RGB閾值數組如(5，5，5)或單一閾值如5，此時，像素點的三基色的亮度值低于預設閾值則可以理解為“像素點的三基色的亮度值為0或趨近于0”，即像素點表示為黑色或近似黑色的像素點，當數據幀的預設像素點的三基色的亮度值為0或趨近于0時，確定該數據幀為黑屏數據幀，即此時視頻流所輸出的畫面為黑屏畫面。

具體的，所述部分像素點為數據幀的前N個連續的像素點和/或后M個連續的像素點，所述N、M為小于數據幀的像素數的任意整數，優選的，所述N、M為大于等于5小于等于10的整數，在一種實施方式中，可以選取前10個連續的像素點為所述部分像素點，然后判斷該些像素點的RGB值是否低于預設閾值，以此確定該數據幀是否為異常數據幀；在另一種實施方式中，也可以選取后10個連續的像素點為所述部分像素點；更佳地，可以同時選取前10個連續的像素點和后10個連續的像素點作為所述部分像素點，能更準確地判斷數據幀是否為異常數據幀。

上傳模塊300：用于當所述數據幀為異常數據幀時，確定該視頻流所輸出的畫面為異常狀態，并將該視頻流的異常信息上傳到云端服務器。

在判斷模塊200確定一數據幀為異常數據幀后，確定此時視頻流所輸出的畫面為異常狀態，也即黑屏狀態，然后上傳模塊300將視頻流的異常信息上傳到云端服務器。

具體的，所述視頻流的異常信息關聯于直播間特征信息、主播用戶特征信息、觀看用戶特征信息的至少一項上傳到云端服務器，直播間的特征信息包括直播間的頻道ID及其子頻道ID，本實施例通過將視頻流的異常信息上傳到服務器，服務器收集到該異常信息后對其分析以便對產生該異常情況的源頭作出處理。

相應的，本發明提供一種終端設備，用于實現第一方面所述視頻畫面異常判斷方法，包括觸敏顯示器；存儲器；一個或多個處理器。

所述處理器具有以下功能：

獲取視頻流解碼后的每一數據幀；

判斷所述數據幀的部分像素點的三基色的亮度值是否低于預設閾值，以確定該數據幀是否為異常數據幀；

當所述數據幀為異常數據幀時，確定該視頻流所輸出的畫面為異常狀態，并將該視頻流的異常信息上傳到云端服務器。

本發明基于觀看終端在解碼視頻流后加入簡單的加減法運算和極少的邏輯判斷，快速并且準確地判斷視頻畫面出現黑屏的情況，第一時間將終端出現黑屏的故障上報給服務器，以讓直播平臺運營方及時地發現并處理故障產生的根源，然后可以根據該根源對技術進行改進，提高觀眾對視頻直播的觀看體驗；另外，由于判斷黑屏現象的邏輯在視頻流解碼后，并且只對每一數據幀的幾個像素點進行簡單的加減法運算和極少的邏輯判斷，涉及的計算量所消耗的資源較少，不會影響視頻流解碼的過程，同時由機器判斷并上報黑屏狀況，反應時間快速，漏報或誤報的可能性較低，可以為直播平臺運營方反饋更多的技術缺陷，讓直播平臺運營方更有效地進行技術改進，進而提高觀眾觀看體驗。

雖然上面已經示出了本發明的一些示例性實施例，但是本領域的技術人員將理解，在不脫離本發明的原理或精神的情況下，可以對這些示例性實施例做出改變，本發明的范圍由權利要求及其等同物限定。