專利名稱：非平面多投影顯示的幾何與光學校正方法
技術領域：
本發明涉及一種計算機影像處理技術領域的方法，具體是一種非平面多投影 顯示的幾何與光學校正方法。
背景技術：
多投影拼接顯示的研究大多集中在平面上，非平面上的拼接近些年來也隨著 應用需求的提升不斷有方案提出。多投影拼接顯示系統是計算機增強現實領域 (Augmented Reality,簡稱AR)的重要分支之一，其主要應用是通過多個投影儀 組成陣列拼接顯示，來獲得高分辨率，高物理尺寸的畫面效果。若將投影儀投射 到任意表面，覆蓋用戶所處的環境，即可給用戶帶來沉浸式的體驗，再輔以一定 的交互，形成了增強現實領域的一大應用熱點。
經對現有技術文獻的檢索發現，Tardif ， J. -P. ; Roy， S. ; Trudeau， M. 等在3-D Digital Imaging and Modeling ， 2003. Proceedings. Fourth International Conference on， (vol., no. ， pp. 217-224， 6_10 Oct. 2003) (2003年第四屆國際3D數字成像與建模會議)中發表的"Multi-projectors for arbitrary surfaces without explicit calibration nor reconstruction"(無 需精確標定或重構的任意表面多投影顯示)，該文中針對復雜表面多投影拼接提 出了幾何校正的方法，通過各投影儀分別投影多張pattern圖，再由相機逐個捕 捉，取得投影儀像素點與相機捕捉的圖片像素點的對應關系。該技術的不足之處 在于校正預處理過程主要是幾何映射的建立，均比較復雜，不易于用戶的使用； 結構光以及pattern圖的識別對光照條件和表面復雜性有很大的限制；投影表面 大都只是比較規則的曲面，例如圓弧面、環形面。實際使用時缺乏魯棒性，不利 于增強現實中的實際應用。

發明內容
本發明針對上述現有技術的不足，提出了一種非平面多投影顯示的幾何與光學校正方法，使其通過在預處理階段投影一張棋盤格pattern圖，來實現復雜表
面的多投影無縫拼接顯示，克服了現有的多投影系統對于光照條件以及投影表面
復雜性的限制，簡化預處理過程，易于用戶使用。
本發明是通過如下技術方案實現的，本發明包括如下步驟
步驟一，由一個投影儀陣列和一臺攝像機組成整個多投影環境，投影儀之間
上下擺放，投影區域有一定的重疊，攝像機能夠同時觀察所有投影儀所投影覆蓋
的區域；
步驟二，幾何校正每個投影儀依次投影單張棋盤格圖像，并由攝像機依次 捕捉，對于每一張捕捉下的圖片，使用棋盤格査找方法査找圖片中的棋盤格內角 點，這些內角點將攝像機中對應的投影儀覆蓋區域細分為四邊形面片網格，與所 用棋盤格圖像中已知的相應角點建立矩陣方程，建立各投影儀與圖像之間的幾何 映射；
步驟三，光學校正提供投影儀坐標系中的每一個像素點以一個權重，非重 疊區域權重為l，重疊區域的權重取決于當前像素點到各個投影區域邊界的距離， 根據各個區域的權重建立各個投影儀像素點的映射表；
由于投影儀投影區域需相互重疊來避免幾何上的縫隙，故相鄰投影儀的投影 覆蓋區域需有一定程度的重疊。由此會帶來重疊區域的高亮效果，使得整個圖像 光度不一致，拼接痕跡明顯。理想的用戶體驗應該是覺察不到整個畫面由多個投 影儀拼接顯示，故需要平滑這種高亮的效果。之前的幾何校正提供了每個投影儀 坐標系到圖像坐標系的映射，所以重疊區域容易判定。
步驟四，實時的矯正過程對于投影儀坐標系中的每個像素點，找到步驟二 建立的幾何映射中對應的圖像坐標系中的位置，賦予該位置像素點的值，再乘以 步驟三所設置的權重，得到最終該投影儀需要投影的圖像。
所述使用棋盤格查找方法查找圖片中的棋盤格內角點，具體為檢測棋盤格 中由四個黑白區域構成的角點，并記錄角點處黑白區域的邊界位置，通過角點位 置以及相應的邊界位置連通屬于同一個棋盤格黑或者白區域的角點，從而得到相 互連通的角點集合，通過已知棋盤格行數與列數確定棋盤格中的角點數，從而根 據所得連通的角點集合中角點個數是否等于棋盤格的角點數確定棋盤格角點集合，從而識別棋盤格。
所述建立各投影儀與圖像之間的幾何映射，具體為
對于每一個四邊形，點坐標(x， y， 1)乘以一個3X3的矩陣，等于對應點 的坐標(x*， y*， 1)，四個點點對應關系中的(x， y)建立8個方程，再加上固 定的z坐標l， 一共9個方程，計算出矩陣的9個參數，依次計算出攝像機坐標 系中每個四邊形內像素點與投影儀坐標系中對應的四邊形內像素點之間的變換 矩陣，稱為Homography (單應性)矩陣，每個投影儀對應一組Homography矩陣； 由于要投影的圖像大小已知，在攝像機中顯示的位置己知，同樣計算出圖像坐標 系與攝像機坐標系之間的Homography矩陣，將上述兩類矩陣相乘得到圖像坐標 系與投影儀坐標系之間的Homography矩陣，遍歷投影儀坐標系由內角點組成的 四邊形網格內的各個像素點，其坐標位置乘以對應四邊形的投影儀坐標系到圖像 坐標系的Homography矩陣可得到預投影圖像坐標系中像素點的位置。
所述重疊區域的權重，其與當前像素點到各個投影區域邊界的距離的關系具
體為& (、 ，& ) = "S (XS ，& ) / Z, (^:2巧H/;2C,& )),= 1 iV
其中B表示權重，f 、 g表示第i、 j個投影儀，(x， y)表示坐標值，d是
像素點到每個投影儀投影區域四個邊的一個歸一化最短距離，是相機坐標
系到第j個投影儀坐標系的Homogr即hy矩陣，//fl2e是第i個投影儀坐標系到相機
坐標系的Homography矩陣，N表示投影儀的總數。
本發明具有如下有益效果本發明可以在只投影一張棋盤格pattern的同時， 完成幾何與光學兩方面的校正，實現在非平面上的多投影拼接。同時，本發明克 服了光照條件以及投影表面復雜性對于校正的影響，校正預處理過程簡便，適合 更多的實用需求。經大量實驗表明，針對不存在自遮擋的表面，本發明有效性可 達百分之九十以上。


圖l是本發明的實施例l中的一個26*22的棋盤格示例；
圖2是本發明的實施例1的一個投影儀覆蓋區域的四邊形面片網格示例； 圖3是本發明實施例1投影的一個柱子表面； 圖4是在圖3的柱面上投影顯示的一張中國山水畫；圖5是本發明實施例2要投影的一個墻角；
圖6是在圖5的墻角投影顯示的一張中國山水畫。
具體實施例方式
下面結合附圖對本發明的實施例作詳細說明本實施例在以本發明技術方案 為前提下進行實施，給出了詳細的實施方式和具體的操作過程，但本發明的保護 范圍不限于下述的實施例。
實施例l
如圖3所示，本實施例在圓柱上投影縱向長幅中國山水畫。
本實施例包括如下步驟
步驟一，本實施例采用2個投影儀、 一個攝像機，擺放投影儀時，投影儀投
影圖l所示棋盤格圖像，兩投影儀上下擺放，投影區域有一定量的重疊，使得圖2
所示棋盤格內角點所構成的四邊形網格與另一投影儀的四邊形網格有重疊，攝像 機擺放的位置應能同時觀察到兩個投影儀所投影覆蓋的區域。
步驟二，幾何校正過程上下投影儀依次投影圖l所示棋盤格，并由攝像機 捕捉到兩張圖像。對于每張圖像，應用棋盤格査找方法查找其所有內角點。圖l 所示26*22的棋盤格圖像共有25*21個棋盤格內角點。每4個內角點，組成一個四 邊形，構成圖2所示的四邊形網格。將圖l視為投影儀坐標系，圖2攝像機捕捉到 的圖像視為攝像機坐標系。遍歷投影儀坐標系內每個內角點構成的四邊形，對應 攝像機坐標系內的四邊形，四個角點位置之間的對應關系可建立方程，算出當前 四邊形內像素點的攝像機坐標系與投影儀坐標系之間的變換矩陣，稱為 Homogr即hy矩陣，簡稱為i/e2P和/^2e ， i/e,2P為相機坐標系到投影儀坐標系的 Homogr鄰hy矩陣，//^(,是投影儀坐標系到相機坐標系的Homography矩陣，兩者
互為逆矩陣。這樣，每個投影儀共可算出2扭20承2個Homogr即hy矩陣。由于要投 影的圖像大小已知，即本實施例所用中國山水畫的大小，在攝像機坐標系中顯示 的位置已知，圖像上下左右四個角點與對應攝像機坐標系中的位置建立方程，同 樣算出圖像坐標系與攝像機坐標系之間的變換矩陣，稱為///2(:和//(;2/， ///2￡:為
投影儀坐標系到相機坐標系的Homography矩陣，/^2/是相機坐標系到投影儀坐
標系的Homography矩陣，兩者互為逆矩陣。,，「乘以//"p可得圖像坐標系到投影儀坐標系的Homography矩陣/^p ， /^2(:乘以//e2/可得投影儀坐標系到相機坐
標系的Homography矩陣//^,。遍歷投影儀坐標系由內角點組成的四邊形網格內
的像素點，其坐標位置乘以對應四邊形的/^w可得到預投影圖像坐標系中像素
點的位置。這樣，建立了各投影儀與圖像之間的幾何映射。
由于上述Homogr即hy矩陣需由四個點的對應關系才可建立方程計算，所以只 有圖2所示棋盤格內角點所構成的四邊形面片網格內的像素點才能通過乘以 Homography矩陣找到預投影圖像坐標系中像素點的準確位置。所以每個投影儀的 顯示區域限制在內角點所構成的四邊形面片網格內部。這樣雖然縮小了一定的顯 示范圍，但換來了準確的幾何映射，而且多投影拼接可以很自然的解決顯示畫面 小的問題。再者，投影儀邊界區域的亮度要明顯低于內部，舍棄邊界部分對于之 后的光學校正也有一定的幫助。
步驟三、光學校正過程給投影顯示區域中的每一個像素點設置一個權重， 默認為l。遍歷投影儀坐標系由內角點組成的四邊形網格內的像素點，其坐標位 置乘以對應四邊形的/^2,，再乘以另一個投影儀對應四邊形的///2^即可得到
當前投影儀坐標系中的像素點在另一個投影儀坐標系中的位置。若位置不在另一 個投影儀的顯示區域，可判定點不在重疊區域，默認值l不變；若位置落在另一 個投影儀的顯示區域內部，可判定點在重疊區域，重疊區域的權充取決于當前像 素點到上下兩個投影區域邊界的最短距離。
， A )= ，& ) / S; (^C2 a 2c 0/;, & ))， 7. = 1 ■.丄.I 其中B表示權重，f 、 g表示第i、 j個投影儀，(x， y)表示坐標值，d是 像素點到每個投影儀投影區域四個邊的一個歸一化最短距離，//e^是相機坐標 系到第j個投影儀坐標系的Homography矩陣，是第i個投影儀坐標系到相機
坐標系的Homography矩陣，N表示投影儀的總數。
預處理結束，由上述公式可以看到，雖然該實施例用到了兩個投影儀，但本 發明對于組成投影儀陣列的投影儀數量是沒有限制的。
步驟四，實時的矯正過程，遍歷每個投影儀顯示區域中的像素點，找到其幾 何映射中對應的圖像坐標系中的位置，賦予該位置像素點的值，RGB通道各乘以其對應的權重，可得到最終每個投影儀需要投影的圖像。
實施例結果如圖4所示，柱面的扭曲效果被校正，上下投影儀圖像內容拼接 準確，重疊區域過渡自然，用戶無法察覺，就像投影在平面一般。證明了本實施 例的有效性及準確性。經大量實驗表明，針對不存在自遮擋的表面，有效性可達 百分之九十，均能取得準確的校正效果。
實施例2
如圖5是另一個實施例用到的投影表面一一墻角，色墻面加上有一定紋理的 屋頂，形變大，且不平滑，且有一定紋理。
如圖6所示，是采用與實施例l相同的方法，采用左右拼接的兩個投影儀實施 拼接顯示，圖中，扭曲效果被校正，左右投影儀圖像內容拼接準確，重疊區域過 渡自然，用戶無法察覺。
權利要求
1.一種非平面多投影顯示的幾何與光學校正方法，其特征在于，包括如下步驟步驟一，由一個投影儀陣列和一臺攝像機組成整個多投影環境，投影儀之間上下擺放，投影區域有重疊，攝像機能同時觀察所有投影儀所投影覆蓋的區域；步驟二，幾何校正每個投影儀依次投影單張棋盤格圖像，并由攝像機依次捕捉，對于每一張捕捉下的圖片，使用棋盤格查找方法查找圖片中的棋盤格內角點，這些內角點將攝像機中對應的投影儀覆蓋區域細分為四邊形面片網格，與所用棋盤格圖像中已知的相應角點建立矩陣方程，建立各投影儀與圖像之間的幾何映射；步驟三，光學校正提供投影儀坐標系中的每一個像素點以一個權重，非重疊區域權重為1，重疊區域的權重取決于當前像素點到各個投影區域邊界的距離，根據各個區域的權重建立各個投影儀像素點的映射表；步驟四，實時的矯正過程對于投影儀坐標系中的每個像素點，找到步驟二建立的幾何映射中對應的圖像坐標系中的位置，賦予該位置像素點的值，再乘以步驟三所設置的權重，得到最終該投影儀需要投影的圖像。
2. 根據權利要求1所述的非平面多投影顯示的幾何與光學校正方法，其特 征是，所述使用棋盤格査找方法查找圖片中的棋盤格內角點，具體為檢測棋盤 格中由四個黑白區域構成的角點，并記錄角點處黑白區域的邊界位置，通過角點 位置以及相應的邊界位置連通屬于同一個棋盤格黑或者白區域的角點，得到相互 連通的角點集合，通過已知棋盤格行數與列數確定棋盤格中的角點數，根據所得 連通的角點集合中角點個數是否等于棋盤格的角點數確定棋盤格角點集合，識別 棋盤格。
3. 根據權利要求1所述的非平面多投影顯示的幾何與光學校正方法，其特 征是，所述建立各投影儀與圖像之間的幾何映射，具體為對于每一個四邊形，點坐標(x， y， 1)乘以一個3X3的矩陣，等于對應點 的坐標(x*， y*， 1)，四個點點對應關系中的(x， y)建立8個方程，再加上固 定的z坐標l， 一共9個方程，計算出矩陣的9個參數，依次計算出攝像機坐標系中每個四邊形內像素點與投影儀坐標系中對應的四邊形內像素點之間的變換 矩陣，稱為Homography矩陣，每個投影儀對應一組Homography矩陣；要投影的 圖像大小已知，在攝像機中顯示的位置已知，同樣計算出圖像坐標系與攝像機坐 標系之間的Homography矩陣，將上述兩類矩陣相乘得到圖像坐標系與投影儀坐 標系之間的Homography矩陣，遍歷投影儀坐標系由內角點組成的四邊形網格內 的各個像素點，其坐標位置乘以對應四邊形的投影儀坐標系到圖像坐標系的 Homography矩陣得到預投影圖像坐標系中像素點的位置。
4.根據權利要求l所述的非平面多投影顯示的幾何與光學校正方法，其特征 是，所述重疊區域的權重，其與當前像素點到各個投影區域邊界的距離的關系具 體為& (、 ， ) = 4 (、 ， &) / S乂 A (i/C2Pj2C (x^, a ))，./ = 1....TV ，其中B表示權重，《、A表示第i、 j個投影儀，(x， y)表示坐標值，d是像素點到每個投影儀投影區域四個邊的一個歸一化最短距離，//e2P;是相機坐標系到第j個投影儀坐標系的Homography矩陣，Z^^是第i個投影儀坐標系到相機坐標系的Homography矩陣，N表示投影儀的總數。
全文摘要
一種計算機增強現實領域的非平面多投影顯示的幾何與光學校正方法，本發明中，每個投影儀依次投影單張棋盤格圖像，使用棋盤格查找方法查找圖片中的棋盤格內角點，這些內角點將攝像機中對應的投影儀覆蓋區域細分為四邊形面片網格，與所用棋盤格圖像中已知的相應角點建立矩陣方程，建立各投影儀與圖像之間的幾何映射，并提供投影儀坐標系中的每一個像素點以一個權重，對于投影儀坐標系中的每個像素點，找到幾何映射中對應的圖像坐標系中的位置，賦予該位置像素點的值，再乘以所設置的權重，得到最終該投影儀需要投影的圖像。本發明克服了光照條件以及投影表面復雜性對于校正的影響，校正預處理過程簡便，適合更多的實用需求。
文檔編號H04N17/00GK101321303SQ200810040698
公開日2008年12月10日 申請日期2008年7月17日 優先權日2008年7月17日
發明者孫偉斌, 楊旭波, 肖雙九, 胡文聰 申請人:上海交通大學