本發明涉及計算機技術安全領域，特別涉及一種降低虛擬現實延遲的方法和裝置。

背景技術：

隨著虛擬現實技術的興起，VR產品的漸漸進入人們的視野。當前，VR熱潮正處于爆發前期，VR產品存在著諸多技術缺陷待解決，如暈眩感太強等，即用戶使用一段時間VR產品后會出現頭暈、惡心、甚至嘔吐等癥狀。究其原因，這是因為視覺大腦對運動的認知不同步造成的，根本原因就是受到VR中的“延遲”的影響。

VR是一整套系統集合，包括傳感器采集數據、傳輸數據、引擎處理、最終顯示輸出，這其中任何一個步驟都有可能形成延遲。這里說的“延遲”特指“Motion-To-Photon Latency(運動的光子延遲)”，是指從用戶運動開始到相應畫面顯示到屏幕上所花的時間。延時問題是VR所面對的最大挑戰，當然這也是VR整體需要解決主要問題。延遲不僅影響用戶體驗，更有甚者，會導致用戶因為不適應出現嘔吐等癥狀，因而找出產生延時這一問題的根源和解決方法是十分關鍵的。

技術實現要素：

為此，需要提供一種降低虛擬現實延遲的技術手段，用以解決VR產品延遲時間長，導致用戶體驗差、容易出現頭暈、惡心、甚至等癥狀的問題。

為實現上述目的，發明人提供了一種降低虛擬現實延遲的裝置，所述裝置包括數據采集單元、渲染單元、判斷單元、處理單元、顯示單元、補償幀確定單元、插入單元；

所述數據采集單元用于獲取圖像信息；

所述渲染單元用于對第一圖像信息進行渲染；

所述判斷單元用于判斷第一圖像信息是否渲染完成，若是則處理單元用于將第一圖像信息發送至顯示單元直接顯示，所述第一圖像信息為當前幀圖像信息；否則處理單元用于將第二幀圖像信息發送至顯示單元，所述第二圖像信息為當前幀上一幀且已渲染完成的圖像信息；

所述補償幀確定單元用于根據第一圖像信息和第二圖像信息確定對應的補償幀信息；

所述插入單元用于將補償幀信息插入第一圖像信息和第二圖像信息之間；

所述顯示單元用于顯示第一圖像信息或第二圖像信息，以及用于顯示補償幀信息。

進一步地，所述裝置還包括圖像分割單元和分辨率確定單元；

所述圖像分割單元用于將當前幀圖像分割成若干子塊，所述子塊還包括中央子塊和周圍子塊，所述周圍子塊位于中央子塊的四周；

所述分辨率確定單元用于確定第一分辨率和第二分辨率，所述第二分辨率小于第一分辨率；

所述渲染單元用于獲取第一圖像信息并進行渲染包括：

渲染單元用于采用第一分辨率對中央子塊的圖像信息進行渲染，并采用第二分辨率對周圍子塊的圖像信息進行渲染。

進一步地，所述當前幀圖像被等分3行3列總計9個子塊，則第2行第2列的子塊為中央子塊，其他子塊為周圍子塊。

進一步地，所述第一分辨率根據顯示單元的分辨率確定，所述第二分辨率為第一分辨率的50％～75％。

進一步地，所述顯示單元為OLED顯示屏。

發明人還提供了一種降低虛擬現實延遲的方法，所述方法應用于降低虛擬現實延遲的裝置，所述裝置包括數據采集單元、渲染單元、判斷單元、處理單元、顯示單元、補償幀確定單元、插入單元；所述方法包括以下步驟：

數據采集單元獲取圖像信息；

渲染單元對第一圖像信息進行渲染；

判斷單元判斷第一圖像信息是否渲染完成，若是則處理單元將第一圖像信息發送至顯示單元直接顯示，所述第一圖像信息為當前幀圖像信息；否則處理單元將第二幀圖像信息發送至顯示單元，所述第二圖像信息為當前幀上一幀且已渲染完成的圖像信息；

補償幀確定單元根據第一圖像信息和第二圖像信息確定對應的補償幀信息；

插入單元將補償幀信息插入第一圖像信息和第二圖像信息之間；

顯示單元依次顯示第一圖像信息、補償幀圖像信息以及第二圖像信息。

進一步地，所述裝置還包括圖像分割單元和分辨率確定單元；所述方法包括：

圖像分割單元將當前幀圖像分割成若干子塊，所述子塊還包括中央子塊和周圍子塊，所述周圍子塊位于中央子塊的四周；

分辨率確定單元確定第一分辨率和第二分辨率，所述第二分辨率小于第一分辨率；

渲染單元對第一圖像信息進行渲染包括：

渲染單元采用第一分辨率對中央子塊的圖像信息進行渲染，并第二分辨率對周圍子塊的圖像信息進行渲染。

進一步地，所述當前幀圖像被等分3行3列總計9個子塊，則第2行第2列的子塊為中央子塊，其他子塊為周圍子塊。

進一步地，所述第一分辨率根據顯示單元的分辨率確定，所述第二分辨率為第一分辨率的50％～75％。

進一步地，所述顯示單元為OLED顯示屏。

上述技術方案所述的降低虛擬現實延遲的方法和裝置，采用異步時間扭曲技術，在當前幀渲染完成時直接將當前幀對應的圖像信息送往顯示單元直接顯示，當前幀未渲染完成時，則獲取已渲染的上一幀對應的圖像信息送往顯示單元，有效防止由于當前幀未渲染完成出現畫面抖動的現象。此外，本發明還根據第一圖像信息和第二圖像信息確定對應的補償幀信息，并將補償幀信息插入到兩幀圖像之間，來提升屏幕的刷新率，使畫面更加清晰流暢，有效提高了用戶體驗。

附圖說明

圖1為本發明一實施方式涉及的降低虛擬現實延遲的裝置的示意圖；

圖2為本發明一實施方式涉及的降低虛擬現實延遲的方法的流程圖；

圖3為本發明另一實施方式涉及的降低虛擬現實延遲的方法的流程圖；

圖4為本發明另一實施方式涉及的降低虛擬現實延遲的方法的流程圖；

附圖標記說明：

101、數據采集單元；

102、渲染單元；

103、判斷單元；

104、處理單元；

105、顯示單元；

106、補償幀確定單元；

107、插入單元；

108、圖像分割單元；

109、分辨率確定單元。

具體實施方式

為詳細說明技術方案的技術內容、構造特征、所實現目的及效果，以下結合具體實施例并配合附圖詳予說明。

請參閱圖1，本發明一實施方式所述的降低虛擬現實延遲的裝置的示意圖。所述裝置可以用于縮短VR產品的延遲時間，提高用戶感官體驗。所述裝置包括數據采集單元101、渲染單元102、判斷單元103、處理單元104、顯示單元105、補償幀確定單元106、插入單元107；

所述數據采集單元101用于獲取圖像信息；

所述渲染單元102用于對第一圖像信息進行渲染；

所述判斷單元103用于判斷第一圖像信息是否渲染完成，若是則處理單元104用于將第一圖像信息發送至顯示單元105直接顯示，所述第一圖像信息為當前幀圖像信息；否則處理單元104用于將第二幀圖像信息發送至顯示單元105，所述第二圖像信息為當前幀上一幀且已渲染完成的圖像信息；

所述補償幀確定單元106用于根據第一圖像信息和第二圖像信息確定對應的補償幀信息；

所述插入單元107用于將補償幀信息插入第一圖像信息和第二圖像信息之間；

所述顯示單元105用于顯示第一圖像信息或第二圖像信息，以及用于顯示補償幀信息。

在使用降低虛擬現實延遲的裝置時，首先數據采集單元101獲取圖像信息。所述數據采集單元為具有圖像采集功能的電子元件，可以為圖像傳感器等。采集的圖像信息為運動圖像信息，包括多幀圖像。

而后渲染單元102對第一圖像信息進行渲染。所述第一圖像信息為當前幀圖像信息，當前幀為正在進行處理的這一幀圖像，屬于數據采集單元所采集的圖像信息的一部分。在VR產品中，需要對圖像信息進行渲染，進而將渲染后的圖像信息發送給顯示單元進行顯示，從而將虛擬現實場景呈現給用戶。

在本實施方式中，所述裝置還包括圖像分割單元108和分辨率確定單元109。所述圖像分割單元108用于將當前幀圖像分割成若干子塊，所述子塊還包括中央子塊和周圍子塊，所述周圍子塊位于中央子塊的四周；所述分辨率確定單元109用于確定第一分辨率和第二分辨率，所述第二分辨率小于第一分辨率。所述渲染單元102用于獲取第一圖像信息并進行渲染包括：渲染單元102用于采用第一分辨率對中央子塊的圖像信息進行渲染，并采用第二分辨率對周圍子塊的圖像信息進行渲染。所述第一分辨率根據顯示單元的分辨率確定，所述第二分辨率為第一分辨率的50％～75％。這樣，在中央子塊仍然保留完整的分辨率(顯示單元100％的分辨率)進行渲染的情況下，用戶所感知的效果并不會發生明顯變化，同時周圍子塊采用較低分辨率進行渲染，可以有效降低所需要渲染的圖像數量，縮短延遲時間。

進一步地，所述當前幀圖像被等分3行3列總計9個子塊，則第2行第2列的子塊為中央子塊，其他子塊為周圍子塊。當然，圖像劃分的數量以及中央子塊的確定可以根據實際需要決定，例如在某些實施例中，也可以將當前圖像等分為4行4列總計16個子塊，以中間4個子塊所圍成的面積作為中央子塊，其余為周圍子塊。

而后判斷單元103判斷第一圖像信息是否渲染完成，若是則處理單元104將第一圖像信息發送至顯示單元105直接顯示；否則處理單元104將第二幀圖像信息發送至顯示單元105。如果當前幀圖像信息渲染未能及時完成，會出現畫面抖動現象，給用戶帶來不良體驗。為解決這一問題，將調用第二圖像信息出來重新顯示，同時加上運動變化，保持幀率。所述第二圖像信息為當前幀上一幀且已渲染完成的圖像信息。

為了提升圖像刷新率，增強用戶體驗，在本實施方式中，補償幀確定單元106根據第一圖像信息和第二圖像信息確定對應的補償幀信息；而后插入單元107將補償幀信息插入第一圖像信息和第二圖像信息之間；顯示單元105顯示第一圖像信息或第二圖像信息，以及顯示補償幀信息。刷新率就是屏幕每秒鐘畫面被刷新的次數，即每秒能顯示多少幅圖像，刷新頻率的單位是赫茲(Hz)，一般來說，刷新頻率越高越好，圖象就越穩定，對眼睛的影響也越小。現有主流的屏幕是60Hz，那每幀就是16.67ms；如果提升到90Hz，那每幀就是11.11ms。

假設刷新率為60Hz，并不是代表每幀就有16.67ms的延遲，而是說屏幕圖像每16.67ms才更新一次，如果當前幀無法在16.67ms內完成渲染，比如當前幀渲染花了17ms，那么就會拖到下一幀進行提交。這時候的延遲就變成了16.67*2＝33.33ms(即需要33.33ms后才會顯示刷新出當前幀圖像信息)。如果刷新率為90Hz，并不是代表每幀就有11.11ms的延遲，而是說屏幕圖像每11.11ms更新一次。由此可見，將屏幕刷新率提升到90Hz大大降低了延時時間。

為了提升屏幕刷新率，本發明采用插幀倍頻技術動態映像系統，在傳統的兩幀圖像之間加插一幀運動補償幀，將普通60Hz刷新率提升至90Hz。這樣，運動畫面更加清晰流暢，從而達到清除上一幀圖像的殘影、提高動態清晰度的效果，將影像拖尾降至人眼難以感知的程度。具體地，運動補償幀可以采用相關算法通過當前幀圖像信息以及當前幀的上一幀圖像信息通過幀預測得到。當補償幀預測完成后，顯示單元依次顯示第二圖像信息、補償幀信息、第一圖像信息。

在本實施方式中，所述顯示單元為OLED顯示屏。傳統的顯示屏通常為LCD顯示屏，LCD在運動時會有拖影，像素從一個值轉變到另一個值需要十幾毫秒，而OLED的像素切換時間在1毫秒以下。采用OLED顯示屏替代LCD顯示屏，可以有效減少延遲時間。

在某些實施例中，為了方便對圖像信息的渲染、顯示，所述裝置還包括緩存單元。進一步地，顯示單元與渲染單元共用同一塊緩存單元，GPU直接到在緩存單元中進行渲染，使更新的畫面經過1幀即可顯示，快速觸發。相較于顯示單元與渲染單元分別設立有對應的緩存單元的方式，本方案可以有效避免圖像信息在兩個緩存單元之間傳輸的時間，有效縮短延遲。

以及發明人還提供了一種降低虛擬現實延遲的方法，請參閱圖2，所述方法包括以下步驟：

首先進入步驟S201數據采集單元獲取圖像信息。所述數據采集單元為具有圖像采集功能的電子元件，可以為圖像傳感器等。采集的圖像信息為運動圖像信息，包括多幀圖像。

而后進入步驟S202渲染單元對第一圖像信息進行渲染。所述第一圖像信息為當前幀圖像信息，當前幀為正在進行處理的這一幀圖像，屬于數據采集單元所采集的圖像信息的一部分。在VR產品中，需要對圖像信息進行渲染，進而將渲染后的圖像信息發送給顯示單元進行顯示，從而將虛擬現實場景呈現給用戶。

請參閱圖4，在本實施方式中，所述裝置還包括圖像分割單元和分辨率確定單元。對圖像信息的渲染具體可以通過以下方式實現：首先進入步驟S401圖像分割單元將當前幀圖像分割成若干子塊，所述子塊還包括中央子塊和周圍子塊，所述周圍子塊位于中央子塊的四周；而后進入步驟S402分辨率確定單元確定第一分辨率和第二分辨率，所述第二分辨率小于第一分辨率；而后進入步驟S403渲染單元采用第一分辨率對中央子塊的圖像信息進行渲染，并采用第二分辨率對周圍子塊的圖像信息進行渲染。所述第一分辨率根據顯示單元的分辨率確定，所述第二分辨率為第一分辨率的50％～75％。這樣，在中央子塊仍然保留完整的分辨率(顯示單元100％的分辨率)進行渲染的情況下，用戶所感知的效果并不會發生明顯變化，同時周圍子塊采用較低分辨率進行渲染，可以有效降低所需要渲染的圖像數量，縮短延遲時間。對第二圖像信息以及對其他幀圖像信息的渲染與對第一圖像信息的渲染類似，此處不再贅述。

進一步地，所述當前幀圖像被等分3行3列總計9個子塊，則第2行第2列的子塊為中央子塊，其他子塊為周圍子塊。當然，圖像劃分的數量以及中央子塊的確定可以根據實際需要決定，例如在某些實施例中，也可以將當前圖像等分為4行4列總計16個子塊，以中間4個子塊所圍成的面積作為中央子塊，其余為周圍子塊。

而后進入步驟S203判斷單元判斷第一圖像信息是否渲染完成，若是則進入步驟S204處理單元將第一圖像信息發送至顯示單元直接顯示；否則進入步驟S205處理單元將第二幀圖像信息發送至顯示單元。如果當前幀圖像信息渲染未能及時完成，會出現畫面抖動現象，給用戶帶來不良體驗。為解決這一問題，將調用第二圖像信息出來重新顯示，同時加上運動變化，保持幀率。所述第二圖像信息為當前幀上一幀且已渲染完成的圖像信息。

為了提升圖像刷新率，增強用戶體驗，請參閱圖3,所述方法還包括以下步驟：首先進入步驟S301補償幀確定單元根據第一圖像信息和第二圖像信息確定對應的補償幀信息；而后進入步驟S302插入單元將補償幀信息插入第一圖像信息和第二圖像信息之間；而后進入步驟S303顯示單元顯示第一圖像信息或第二圖像信息，以及顯示補償幀信息。刷新率就是屏幕每秒鐘畫面被刷新的次數，即每秒能顯示多少幅圖像，刷新頻率的單位是赫茲(Hz)，一般來說，刷新頻率越高越好，圖象就越穩定，對眼睛的影響也越小。現有主流的屏幕是60Hz，那每幀就是16.67ms；如果提升到90Hz，那每幀就是11.11ms。

假設刷新率為60Hz，并不是代表每幀就有16.67ms的延遲，而是說屏幕圖像每16.67ms才更新一次，如果當前幀無法在16.67ms內完成渲染，比如當前幀渲染花了17ms，那么就會拖到下一幀進行提交。這時候的延遲就變成了16.67*2＝33.33ms(即需要33.33ms后才會顯示刷新出當前幀圖像信息)。如果刷新率為90Hz，并不是代表每幀就有11.11ms的延遲，而是說屏幕圖像每11.11ms更新一次。由此可見，將屏幕刷新率提升到90Hz大大降低了延時時間。

為了提升屏幕刷新率，本發明采用插幀倍頻技術動態映像系統，在傳統的兩幀圖像之間加插一幀運動補償幀，將普通60Hz刷新率提升至90Hz。這樣，運動畫面更加清晰流暢，從而達到清除上一幀圖像的殘影、提高動態清晰度的效果，將影像拖尾降至人眼難以感知的程度。具體地，運動補償幀可以采用相關算法通過當前幀圖像信息以及當前幀的上一幀圖像信息通過幀預測得到。當補償幀預測完成后，顯示單元依次顯示第二圖像信息、補償幀信息、第一圖像信息。

在本實施方式中，所述顯示單元為OLED顯示屏。傳統的顯示屏通常為LCD顯示屏，LCD在運動時會有拖影，像素從一個值轉變到另一個值需要十幾毫秒，而OLED的像素切換時間在1毫秒以下。采用OLED顯示屏替代LCD顯示屏，可以有效減少延遲時間。

在某些實施例中，為了方便對圖像信息的渲染、顯示，所述裝置還包括緩存單元。進一步地，顯示單元與渲染單元共用同一塊緩存單元，GPU直接到在緩存單元中進行渲染，使更新的畫面經過1幀即可顯示，快速觸發。相較于顯示單元與渲染單元分別設立有對應的緩存單元的方式，本方案可以有效避免圖像信息在兩個緩存單元之間傳輸的時間，有效縮短延遲。

上述技術方案所述的降低虛擬現實延遲的方法和裝置，采用異步時間扭曲技術，在當前幀渲染完成時直接將當前幀對應的圖像信息送往顯示單元直接顯示，當前幀未渲染完成時，則獲取已渲染的上一幀對應的圖像信息送往顯示單元，有效防止由于當前幀未渲染完成出現畫面抖動的現象。此外，本發明還根據第一圖像信息和第二圖像信息確定對應的補償幀信息，并將補償幀信息插入到兩幀圖像之間，來提升屏幕的刷新率，使畫面更加清晰流暢，有效提高了用戶體驗。

需要說明的是，在本文中，諸如第一和第二等之類的關系術語僅僅用來將一個實體或者操作與另一個實體或操作區分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關系或者順序。而且，術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者終端設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者終端設備所固有的要素。在沒有更多限制的情況下，由語句“包括……”或“包含……”限定的要素，并不排除在包括所述要素的過程、方法、物品或者終端設備中還存在另外的要素。此外，在本文中，“大于”、“小于”、“超過”等理解為不包括本數；“以上”、“以下”、“以內”等理解為包括本數。

本領域內的技術人員應明白，上述各實施例可提供為方法、裝置、或計算機程序產品。這些實施例可采用完全硬件實施例、完全軟件實施例、或結合軟件和硬件方面的實施例的形式。上述各實施例涉及的方法中的全部或部分步驟可以通過程序來指令相關的硬件來完成，所述的程序可以存儲于計算機設備可讀取的存儲介質中，用于執行上述各實施例方法所述的全部或部分步驟。所述計算機設備，包括但不限于：個人計算機、服務器、通用計算機、專用計算機、網絡設備、嵌入式設備、可編程設備、智能移動終端、智能家居設備、穿戴式智能設備、車載智能設備等；所述的存儲介質，包括但不限于：RAM、ROM、磁碟、磁帶、光盤、閃存、U盤、移動硬盤、存儲卡、記憶棒、網絡服務器存儲、網絡云存儲等。

上述各實施例是參照根據實施例所述的方法、設備(系統)、和計算機程序產品的流程圖和/或方框圖來描述的。應理解可由計算機程序指令實現流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結合。可提供這些計算機程序指令到計算機設備的處理器以產生一個機器，使得通過計算機設備的處理器執行的指令產生用于實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。

這些計算機程序指令也可存儲在能引導計算機設備以特定方式工作的計算機設備可讀存儲器中，使得存儲在該計算機設備可讀存儲器中的指令產生包括指令裝置的制造品，該指令裝置實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。

這些計算機程序指令也可裝載到計算機設備上，使得在計算機設備上執行一系列操作步驟以產生計算機實現的處理，從而在計算機設備上執行的指令提供用于實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。

盡管已經對上述各實施例進行了描述，但本領域內的技術人員一旦得知了基本創造性概念，則可對這些實施例做出另外的變更和修改，所以以上所述僅為本發明的實施例，并非因此限制本發明的專利保護范圍，凡是利用本發明說明書及附圖內容所作的等效結構或等效流程變換，或直接或間接運用在其他相關的技術領域，均同理包括在本發明的專利保護范圍之內。