本申請涉及虛擬現實(virtual?reality，vr)，提供一種基于雙路視頻流的圖像編碼方法及游戲終端。

背景技術：

1、vr串流是將游戲終端上運行的游戲畫面發送到vr設備上進行雙目顯示，使用戶獲得3d游戲的體驗。如圖1所示，串流過程中，vr設備實時將頭戴式顯示器(head?mountdisplay，hmd)和雙手手柄的位姿、按鍵信息發送給游戲終端，游戲終端利用接收的位姿和按鍵信息對游戲畫面進行渲染，并獲取渲染的雙目圖像，將雙目圖像進行視頻編碼后，通過網絡(有線/無線)傳輸給vr設備，由hmd對接收的視頻進行解碼，并在雙目屏幕上進行渲染顯示。

2、為保證清晰度，編碼視頻的分辨率應大于4k，碼率應大于60mbps，而傳統的編碼方式是將左眼圖像和右眼圖像合成為一張圖像進行編碼，如圖2所示，該方式耗時較高，無法滿足高效率編碼的需求，因此，目前大多采用將左眼圖像和右眼圖像分別使用兩個編碼器進行獨立視頻編碼的方式，如圖3所示。

3、目前，為了提高編碼后雙路視頻流的傳輸速度，相關技術通常會提高雙路視頻流編碼壓縮率來降低傳輸的數據量，這樣，會導致畫面的清晰度下降，影響用戶vr游戲的體驗。

技術實現思路

1、本申請實施例提供了一種基于雙路視頻流的圖像編碼方法及游戲終端，用于降低雙目圖像傳輸的數據量。

2、一方面，本申請實施例提供一種基于雙路視頻流的圖像編碼方法，應用于游戲終端，所述游戲終端與vr設備進行串流通信，包括：

3、獲取steamvr應用的一路左眼視頻流和一路右眼視頻流，并選擇一路作為參考視頻流，另一路作為目標視頻流；

4、針對所述參考視頻流中的每一參考p幀圖像，通過劃分圖像塊計算所述參考p幀圖像的運動矢量，根據所述參考p幀圖像的參考運動矢量，對所述參考p幀圖像進行運動補償，獲得參考p幀預測圖像并計算所述參考p幀圖像和所述參考p幀預測圖像間的第一殘差；

5、針對所述目標視頻流中的每一目標p幀圖像，根據相應的參考p幀圖像的參考運動矢量，結合雙目視差，確定所述目標p幀圖像的目標運動矢量，根據所述目標p幀圖像的目標運動矢量和相應的參考p幀預測圖像，獲得目標p幀預測圖像，并計算所述目標p幀圖像和所述目標p幀預測圖像間的第二殘差；

6、根據所述第一殘差和所述第二殘差對發送給所述vr設備的雙目圖像進行幀間編碼。

7、另一方面，本申請實施例提供一種游戲終端，包括處理器、存儲器、顯示器和通信接口，所述通信接口、所述顯示器、所述存儲器和所述處理器通過總線連接；

8、所述通信接口用于與vr設備進行串流通信；

9、所述顯示器用于顯示所述vr設備控制后的游戲畫面；

10、所述存儲器存儲有計算機程序，所述處理器根據所述計算機程序，執行以下操作：

11、獲取steamvr應用的一路左眼視頻流和一路右眼視頻流，并選擇一路作為參考視頻流，另一路作為目標視頻流；

12、針對所述參考視頻流中的每一參考p幀圖像，通過劃分圖像塊計算所述參考p幀圖像的運動矢量，根據所述參考p幀圖像的參考運動矢量，對所述參考p幀圖像進行運動補償，獲得參考p幀預測圖像并計算所述參考p幀圖像和所述參考p幀預測圖像間的第一殘差；

13、針對所述目標視頻流中的每一目標p幀圖像，根據相應的參考p幀圖像的參考運動矢量，結合雙目視差，確定所述目標p幀圖像的目標運動矢量，根據所述目標p幀圖像的目標運動矢量和相應的參考p幀預測圖像，獲得目標p幀預測圖像，并計算所述目標p幀圖像和所述目標p幀預測圖像間的第二殘差；

14、根據所述第一殘差和所述第二殘差對發送給所述vr設備的雙目圖像進行幀間編碼。

15、另一方面，本申請實施例提供一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機可執行指令，所述計算機可執行指令用于使計算機設備執行本申請實施例提供的一種基于雙路視頻流的圖像編碼方法的步驟。

16、本申請實施例提供的一種基于雙路視頻流的圖像編碼方法的有益效果如下：

17、在保證清晰度的前提下，為提高左眼視頻流和右眼視頻流的傳輸速度，在對兩路視頻流中的p幀進行幀間預測編碼時，考慮到左眼圖像和右眼圖像間相似度較高的特性，僅對參考p幀圖像進行了幀間預測編碼，并基于參考p幀圖像的編碼結果，結合雙目視差，對目標p幀圖像進行編碼，相對于對兩路p幀圖像均進行幀間預測編碼，進一步提高了編碼效率以及降低了編碼后數據量的大小，有效提高了傳輸速度，從而保證串流場景中vr設備端實時渲染顯示的需求。

18、本申請的其它特征和優點將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實施本申請而了解。本申請的目的和其它優點可通過在所寫的說明書、權利要求書、以及附圖中所特別指出的結構來實現和獲得。

技術特征：

1.一種基于雙路視頻流的圖像編碼方法，其特征在于，應用于游戲終端，所述游戲終端vr設備進行串流通信，包括：

2.如權利要求1所述的方法，其特征在于，獲取到所述左眼視頻流和所述右眼視頻流后，所述方法還包括：

3.如權利要求1所述的方法，其特征在于，通過劃分圖像塊計算所述參考p幀圖像的運動矢量，以及，根據相應的參考p幀圖像的參考運動矢量，結合雙目視差，確定所述目標p幀圖像的目標運動矢量，包括：

4.如權利要求3所述的方法，其特征在于，所述根據所述參考p幀圖像的參考運動矢量，對所述參考p幀圖像進行運動補償，獲得參考p幀預測圖像，以及，根據所述目標p幀圖像的目標運動矢量和相應的參考p幀預測圖像，獲得目標p幀預測圖像，包括：

5.如權利要求1所述的方法，其特征在于，所述根據所述第一殘差和所述第二殘差對發送給所述vr設備的雙目圖像進行幀間編碼，包括：

6.一種游戲終端，其特征在于，包括處理器、存儲器、顯示器和通信接口，所述通信接口、所述顯示器、所述存儲器和所述處理器通過總線連接；

7.如權利要求6所述的游戲終端，其特征在于，獲取到所述左眼視頻流和所述右眼視頻流后，所述處理器還執行：

8.如權利要求6所述的游戲終端，其特征在于，所述處理器通過劃分圖像塊計算所述參考p幀圖像的運動矢量，以及，根據相應的參考p幀圖像的參考運動矢量，結合雙目視差，確定所述目標p幀圖像的目標運動矢量，具體操作為：

9.如權利要求8所述的游戲終端，其特征在于，所述處理器根據所述參考p幀圖像的參考運動矢量，對所述參考p幀圖像進行運動補償，獲得參考p幀預測圖像，以及，根據所述目標p幀圖像的目標運動矢量和相應的參考p幀預測圖像，獲得目標p幀預測圖像，具體操作為：

10.如權利要求6所述的游戲終端，其特征在于，所述處理器根據所述第一殘差和所述第二殘差對發送給所述vr設備的雙目圖像進行幀間編碼，具體操作為：

技術總結
本申請涉及VR技術領域，提供一種基于雙路視頻流的圖像編碼方法及游戲終端，用于提高視頻流的傳輸速度。該方法在保證清晰度的前提下，為提高兩路視頻流的傳輸速度，僅對兩路視頻流中的I幀和P幀進行編碼，從而有效提高了編碼效率，減少了編碼傳輸的數據量，同時，在對兩路視頻流中的P幀進行幀間預測編碼時，考慮到左眼圖像和右眼圖像間相似度較高的特性，僅對參考P幀圖像進行了幀間預測編碼，并基于參考P幀圖像的編碼結果，對目標P幀圖像進行編碼，相對于對兩路P幀圖像均進行幀間預測編碼，進一步提高了編碼效率以及降低了編碼后數據量的大小，有效提高了傳輸速度，從而保證串流場景中VR設備端實時渲染顯示的需求。

技術研發人員：孟亞州
受保護的技術使用者：海信視像科技股份有限公司
技術研發日：
技術公布日：2025/4/24