實現裸眼3d視頻會議的方法
【專利摘要】本發明公開了實現裸眼3D視頻會議的方法,包括以下步驟：(1)用于采集第一用戶多角度圖像信息的攝像機組裝置；(2)將步驟(1)中所述攝像機組裝置采集的多角度圖像信息實時轉換成適合圖像編碼和圖像存儲的恩式3D圖像格式數據；(3)用于接收第二用戶3D圖像的接收顯示軟件轉換器，所述接收顯示軟件轉換器用于接收步驟(2)中所述圖像數據軟件融合器產生的恩式3D圖像格式數據；本發明的優點是在視頻發送端對采集到的3D視頻數據經圖像數據軟件融合器轉換成恩式3D圖像格式數據，更適合3D圖像的存儲和標準化編解碼；在視頻接收端以接收顯示軟件轉換器將恩式3D圖像格式數據轉換成與顯示設備相匹配的裸眼3D數據，使觀看者擺脫了3D眼鏡的束縛。
【專利說明】實現裸眼3D視頻會議的方法
【技術領域】
[0001]本發明涉及實現裸眼3D視頻會議的方法，屬于自動控制【技術領域】。
【背景技術】
[0002]視頻會議系統在全世界范圍內有著廣泛應用，而遠程傳輸高清3D視頻能夠使用戶得到更多有用的圖像信息，從而滿足機械設計、遠程診療等進一步的需求，但3D視頻會議的多數據流同步、視頻編碼、實時傳輸和裸眼顯示等一系列技術問題尚未得到充分解決，3D視頻會議系統的實現有著諸多技術瓶頸。
[0003]經對現有技術文獻和專利的檢索發現，皇家飛利浦電子股份有限公司2004年申請的3D視頻會議專利中提出以一種雙視頻的照相機和立體圖像顯象的光學裝置實現3D視頻會議的方法，但該專利使用3D左右眼圖像切換的顯像方式，必須配套使用特制的3D眼鏡，因此系統實現復雜；且該專利著重定義了 3D采集設備和顯示設備，而對3D圖像的數字化編碼、傳輸和存儲方法沒有明確給出，因此研究有效的3D圖像編碼、傳輸、存儲和裸眼3D成像方法對于3D視頻會議系統的實現具有重要的意義。
[0004]在進一步的檢索中，尚未發現任何與本文類似的實現裸眼3D視頻會議方法的文獻和報道。

【發明內容】

[0005]本發明的目的在于提供一種能夠克服上述技術問題的實現裸眼3D視頻會議的方法，本發明包括以下步驟:
[0006](I)用于采集第一用戶多角度圖像信息的攝像機組裝置，該攝像機組裝置包括N (N〉= I)個攝像機；
[0007](2)圖像數據軟件融合器，將步驟(I)中所述攝像機組裝置采集的多角度圖像信息實時轉換成適合圖像編碼和圖像存儲的恩式3D圖像格式數據；
[0008](3)用于接收第二用戶3D圖像的接收顯示軟件轉換器，所述接收顯示軟件轉換器用于接收步驟(2)中所述圖像數據軟件融合器產生的恩式3D圖像格式數據，并將恩式3D圖像格式數據與不同顯示設備進行匹配，使圖像能夠在包括但不限于裸眼3D設備上正確顯不O
[0009]所述恩式3D圖像格式是一種3D圖像存儲格式，其特征在于，對同一時刻的多幅圖像采用分割16x16像素宏塊并交織排列存儲的方式，該格式采用宏塊交織結構，因此更適合3D圖像的存儲和對3D圖像進行標準壓縮編解碼。
[0010]其一，步驟(I)中所述的攝像機組裝置，其特征在于，
[0011]I)所述攝像機組裝置包括一個，或二個，或三個，甚至更多個采集攝像機，面對第一用戶進行多角度圖像信息采集；
[0012]2)所述攝像機組裝置的攝像機分布的方法為均勻圍繞用戶；
[0013]3)所述攝像機組裝置采集的圖像信息包括:連續拍攝動態視頻圖像和單幀拍攝靜態圖像。其二，步驟(2)中所述的圖像數據軟件融合器，其特征在于，
[0014]I)所述圖像數據軟件融合器將步驟(1)中所述的攝像機組采集的同一個時刻的N個圖像進行融合，融合成恩式格式圖像數據；
[0015]2)所述恩式3D圖像格式為適合3D圖像編碼和圖像存儲的宏塊排列方式；具體包括以下步驟:
[0016]步驟一:將同一個時刻的N幅圖像按照攝像機位置相鄰順序依次編號為1，2，...，N，其中N為攝像機個數；
[0017]步驟二:將同一個時刻的N幅圖像分別分割成16x16像素的宏塊，得到第I幅圖像為宏塊集合{MBn，MB12,MB1J，第2幅圖像為宏塊集合{MB21，MB22,MB2J，……，得到第N幅圖像為宏塊集合{MBN1，MBN2，..., MBnJ ,其中k=M/(16 X 16)，M為每幅圖像包含的像素個數；
[0018]步驟三:將N 幅圖像包含的宏塊集合按{MBn，MB21, MBni, MB12, MB22, MBn2,...，MBlk, MB2k,MBnJ的交錯順序排列成恩式3D圖像格式；
[0019]3)對恩式3D圖像格式數據進行H.264圖像編碼，連同G.729編碼的實時音頻數據，通過以太網傳輸到第二用戶。 [0020]其三，步驟(3)中所述的接收顯示軟件轉換器，其特征在于，
[0021]I)第二用戶獲得數據后，進行圖像H.264解壓縮，重新獲得恩式3D圖像格式數據；
[0022]2)對恩式3D圖像格式數據進行數據宏塊拆分，重新獲得分離的N幅圖像；
[0023]3)將N幅圖像對不同的顯示設備進行匹配，本發明對于裸眼3D，即柱鏡式免眼鏡的3D顯示屏幕，提供算法。算法如下:
[0024]步驟一:檢測3D顯示屏幕設備，獲得該設備支持顯示的視點圖數目W ；
[0025]步驟二:根據3D顯示屏幕設備要求的視點圖產生視點數據；
[0026](i)若W=N，則直接將N幅圖像輸出為視點數據；
[0027](ii)若1 < N，則將N幅圖序列以第N/2幅圖像為中點(假設第N/2幅圖像為第一用戶的正面圖像)，按均勻分布對稱減少圖像數目，直至N=W，此時將W幅圖像輸出為視點數據。以W = 5，N = 9為例，恩式格式圖像數據分離得到9幅圖像{I, 2，3，4，5，6，7，8，9}，根據3D顯示屏幕設備要求最終輸出視點數據包括5幅圖像{1，3，5，7，9}；
[0028](iii)若1>1則將N幅圖序列以第N/2幅圖像為中點(假設第N/2幅圖像為第一用戶的正面圖像)，按均勻分布對稱增加圖像數目，增加合成圖像算法采用相鄰兩幅圖像空域均值法，直至N=W，此時將W幅圖像輸出為視點數據。以W = 9，N = 5為例，恩式格式圖像數據分離得到5幅圖像{1，2，3，4，5}，根據3D顯示屏幕設備要求，使用相鄰兩幅圖像空域均值法，最終輸出視點數據包括9幅圖像{I, (1+2)’，2，(2+3)’，3，(3+4)’，4，(4+5)，，5}；
[0029]4)獲得相應視點數據后，按照合成柱鏡格式像素排練要求，以裸眼3D柱鏡或者全息的方式顯示。
[0030]顯示采用微透鏡光柵屏幕，利用一組傾斜排列的凸透鏡陣列，通過僅在水平方向上發生的折射來為雙眼提供不同的透視圖像。
[0031]本發明的優點是在視頻發送端對采集到的3D視頻數據經圖像數據軟件融合器轉換成恩式3D圖像格式數據，該格式為16X16宏塊交織結構，更適合3D圖像的存儲和標準化編解碼；在視頻接收端以接收顯示軟件轉換器將恩式3D圖像格式數據轉換成與顯示設備相匹配的裸眼3D數據，使觀看者擺脫了 3D眼鏡的束縛。
【專利附圖】

【附圖說明】
[0032]圖1是本發明所述實現裸眼3D視頻會議的方法的第一用戶攝像機組裝置圖；
[0033]圖2是本發明所述實現裸眼3D視頻會議的方法的圖像數據軟件融合器框圖；
[0034]圖3是本發明所述實現裸眼3D視頻會議的方法的恩式3D圖像格式數據生成原理圖；
[0035]圖4是本發明所述實現裸眼3D視頻會議的方法的第二用戶視點數據生成原理圖(W < N)；
[0036]圖5是本發明所述實現裸眼3D視頻會議的方法的第二用戶視點數據生成原理圖(W > N)；
[0037]圖6是本發明所述實現裸眼3D視頻會議的方法的第二用戶IXD顯示板排列圖；
[0038]圖7是本發明所述實現裸眼3D視頻會議的方法的子像素所對應視點圖；
[0039]圖8是本發明所述實現裸眼3D視頻會議的方法的子像素點在IXD上的映射圖；
[0040]圖9是本發明所述實現裸眼3D視頻會議的方法的接收顯示軟件轉換器輸出的視點數據；
[0041]圖10是本發明所述實現裸眼3D視頻會議的方法的最終合成的裸眼3D顯示圖像。【具體實施方式】
[0042]下面結合附圖和實施例對本發明進行詳細描述。如圖1所示是第一用戶攝像機組裝置圖；如圖2所示是圖像數據軟件融合器框圖；如圖3所示是恩式3D圖像格式數據生成原理圖；如圖4所示是第二用戶視點數據生成原理圖(W<N);如圖5所示是第二用戶視點數據生成原理圖(W > N)。
[0043]如圖6所示，IXD板上排列的是原多視點圖像上的R.G.B子像素；如圖7所示，計算子像素所對應的視點數，每個柱鏡光柵單元的柵距為P，在水平方向上覆蓋RGB子像素的個數為X，透鏡軸相對于IXD顯示屏垂直軸的傾斜角為α。
[0044]由圖7可得W個視點圖子像素映射通用計算公式:
[0045]Pixel=(((y_3xtan a +Offset)modX)*ff)/X
[0046]a)Pixel表示每個子像素對應的視點號，Pixel最終取四舍五入；
[0047]b)x, y為子像素在圖像陣列中的下標；
[0048]c) α為光柵傾斜角(本示例取13.8432)；
[0049]d) Offset為顯示器偏移量(本示例取-3.90)；
[0050]e)X為一個柱鏡光柵所能容納的視點個數；
[0051]f)ff為視點個數(本實施例中取9)。
[0052]本實施例中，采用9個640*360大小視點圖像，實際中還有8個視點或者26視點等多個視點的基于柱鏡的裸眼3D成像技術，根據棱鏡光柵自由立體顯示成像原理，利用計算機軟件設計對9視點圖像的像素點進行融合。
[0053]因此，通過給定的子像素坐標(x，y)，可以計算出每一個子像素點對應的視點圖像序號，然后根據視點序號進行圖像融合，如圖8所示，圖8即是子像素點在LCD上的映射圖。
[0054]第二用戶解碼、重組得到的9幅圖像，如圖9所示，圖9即是接收顯示軟件轉換器輸出的視點數據，視點數據按照合成柱鏡格式像素排練要求，以裸眼3D柱鏡顯示方式合成后的圖像如圖10所示，圖10即是最終合成的裸眼3D顯示圖像，圖10完全符合裸眼3D顯示設備的要求。
[0055]以上所述，僅為本發明的【具體實施方式】，但本發明的保護范圍并不局限于此，任何熟悉本【技術領域】的技術人員在本發明公開的范圍內，能夠輕易想到的變化或替換，都應涵蓋在本發明權利要求的保護范圍內。
【權利要求】
1.實現裸眼3D視頻會議的方法，其特征在于，包括以下步驟: (1)用于采集第一用戶多角度圖像信息的攝像機組裝置，該攝像機組裝置包括N個攝像機，N〉= I); (2)圖像數據軟件融合器，將步驟(1)中所述攝像機組裝置采集的多角度圖像信息實時轉換成適合圖像編碼和圖像存儲的恩式3D圖像格式數據； (3)用于接收第二用戶3D圖像的接收顯示軟件轉換器，所述接收顯示軟件轉換器用于接收步驟(2)中所述圖像數據軟件融合器產生的恩式3D圖像格式數據，并將恩式3D圖像格式數據與不同顯示設備進行匹配，使圖像能夠在包括但不限于裸眼3D設備上正確顯示； 所述恩式3D圖像格式是一種3D圖像存儲格式，其對同一時刻的多幅圖像采用分割16x16像素宏塊并交織排列存儲的方式，該格式采用宏塊交織結構，因此更適合3D圖像的存儲和對3D圖像進行標準壓縮編解碼。
2.根據權利要求1所述的實現裸眼3D視頻會議的方法，其特征在于，步驟(1)中所述的攝像機組裝置的特征是: 1)所述攝像機組裝置包括一個，或二個，或三 個，甚至更多個采集攝像機，面對第一用戶進行多角度圖像信息采集； 2)所述攝像機組裝置的攝像機分布的方法為均勻圍繞用戶； 3)所述攝像機組裝置采集的圖像信息包括:連續拍攝動態視頻圖像和單幀拍攝靜態圖像。
3.根據權利要求1所述的實現裸眼3D視頻會議的方法，其特征在于，步驟(2)中所述的圖像數據軟件融合器的特征是: 1)所述圖像數據軟件融合器將步驟(1)中所述的攝像機組采集的同一個時刻的N個圖像進行融合，融合成恩式格式圖像數據； 2)所述恩式3D圖像格式為適合3D圖像編碼和圖像存儲的宏塊排列方式；具體包括以下步驟: 步驟一:將同一個時刻的N幅圖像按照攝像機位置相鄰順序依次編號為1，2，...，N，其中N為攝像機個數； 步驟二:將同一個時刻的N幅圖像分別分割成16x16像素的宏塊，得到第I幅圖像為宏塊集合{MBn，MB12,MB1J，第2幅圖像為宏塊集合{MB21，MB22,MB2J，……，得到第N幅圖像為宏塊集合{MBN1，MBN2，...，MBnJ，其中k=M/(16 X 16)，M為每幅圖像包含的像素個數； 步驟三:將N幅圖像包含的宏塊集合按{MBn，MB21,MBni, MB12, MB22,MBn2,…，MBlk, MB2k,...，MBnJ的交錯順序排列成恩式3D圖像格式； 3)對恩式3D圖像格式數據進行H.264圖像編碼，連同G.729編碼的實時音頻數據，通過以太網傳輸到第二用戶。
4.根據權利要求1所述的實現裸眼3D視頻會議的方法，其特征在于，步驟(3)中所述的接收顯示軟件轉換器的特征是: 1)第二用戶獲得數據后，進行圖像H.264解壓縮，重新獲得恩式3D圖像格式數據； 2)對恩式3D圖像格式數據進行數據宏塊拆分，重新獲得分離的N幅圖像； 3)將N幅圖像對不同的顯示設備進行匹配，本發明對于裸眼3D，即柱鏡式免眼鏡的3D顯示屏幕，提供算法。算法如下: 步驟一:檢測3D顯示屏幕設備，獲得該設備支持顯示的視點圖數目W ； 步驟二:根據3D顯示屏幕設備要求的視點圖產生視點數據； ⑴若W=N，則直接將N幅圖像輸出為視點數據； (?)若1<1則將N幅圖序列以第N/2幅圖像為中點(假設第N/2幅圖像為第一用戶的正面圖像)，按均勻分布對稱減少圖像數目，直至N=W，此時將W幅圖像輸出為視點數據。以W = 5，N = 9為例，恩式格式圖像數據分離得到9幅圖像{I, 2，3，4，5，6，7，8，9}，根據3D顯示屏幕設備要求最終輸出視點數據包括5幅圖像{1，3，5，7，9}； (iii)若1>1則將N幅圖序列以第N/2幅圖像為中點(假設第N/2幅圖像為第一用戶的正面圖像)，按均勻分布對稱增加圖像數目，增加合成圖像算法采用相鄰兩幅圖像空域均值法，直至N=W，此時將W幅圖像輸出為視點數據。以W = 9，N = 5為例，恩式格式圖像數據分離得到5幅圖像{1，2，3，4，5}，根據3D顯示屏幕設備要求，使用相鄰兩幅圖像空域均值法，最終輸出視點數據包括9幅圖像{I, (1+2)’，2，(2+3)’，3，(3+4)’，4，(4+5)，，5}； 4)獲得相應視點數據 后，按照合成柱鏡格式像素排練要求，以裸眼3D柱鏡或者全息的方式顯不。
【文檔編號】G03B35/00GK104038726SQ201410294821
【公開日】2014年9月10日 申請日期:2014年6月26日 優先權日:2014年6月26日
【發明者】周偉 申請人:武漢恩倍思科技有限公司