專利名稱：圖像獲取設備和圖像獲取系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及用以獲得要測量對象的圖像和要測量對象的三維數(shù)據、并且還獲取用于匹配三維數(shù)據的光譜特性的圖像獲取設備和圖像獲取系統(tǒng)。
背景技術：
過去，已經進行了實踐以通過執(zhí)行要測量對象的數(shù)字攝影測量等來在獲取要測量對象的三維數(shù)據的同時獲得要測量對象的圖像并獲得具有該圖像的三維數(shù)據。具有如在常規(guī)類型三維測量設備中獲得的圖像的三維數(shù)據能夠在地圖數(shù)據等中使用，并且這些數(shù)據具有增加可見度的效果或其它效果。另一方面，這樣獲得的數(shù)據是要測量對象的三維位置數(shù)據，并且所獲得的信息提供要測量對象的三維位置。當對要測量對象執(zhí)行測量時，期望的是能夠獲得更多信息，并且期望的是一不僅能夠獲取要測量對象的位置信息，而且能夠獲取關于要測量對象的性質的信息。例如，如果能夠獲得關于農產品的生長條件的信息，則其將對增加進行適當判定并對農業(yè)勞動采取適當行動的可能性有所貢獻。或者，如果將可以進行關于被暴露于地表等的礦物質類型的明確判斷，則其將有助于進行土木工程方法的適當選擇或用于其它目的。

發(fā)明內容
本發(fā)明的目的是提供一種圖像獲取設備和圖像獲取系統(tǒng)，其可以用來通過使用光譜照相機來識別變化的條件而以較高的準確度獲得光譜圖像，并且其可以用來獲取包括關于光譜特性的數(shù)據的三維數(shù)據。為了達到上述目的，根據本發(fā)明的圖像獲取設備包括用于獲取由在時間序列上連續(xù)的幀圖像組成的視頻圖像的第一照相機、與第一照相機處于已知關系并被用于獲取要測量對象的兩個或更多光譜圖像的第二照相機、以及圖像拾取控制設備，并且在該圖像獲取設備中，圖像拾取控制設備被配置成從幀圖像中的一個提取兩個或更多特征點，以在時間序列上連續(xù)的幀圖像中連續(xù)地指定特征點，基于該特征點來相對于與所述兩個或更多光譜圖像相對應的幀圖像執(zhí)行幀圖像之間的圖像匹配，并根據由圖像匹配獲得的條件將所述兩個或更多光譜圖像合成。此外，在根據本發(fā)明的圖像獲取設備中，所述圖像拾取控制設備同時地獲取幀圖像和光譜圖像，并基于每個幀圖像上的特征點的位置來執(zhí)行每個光譜圖像的相對定位。此外，在根據本發(fā)明的圖像獲取設備中，所述圖像拾取控制設備從由第一照相機拍攝的視頻圖像的第一幀圖像中提取至少五個特征點，通過圖像跟蹤來在第n個幀圖像中指定至少五個特征點，基于兩個圖像的特征點來執(zhí)行立體匹配，并準備(Pr印are)要測量對象的三維模型。此外，在根據本發(fā)明的圖像獲取設備中，所述圖像拾取控制設備將合成的光譜圖像的波長分量的信息組合到三維模型。此外，在根據本發(fā)明的圖像獲取設備中，獲取由第二照相機獲取的光譜圖像作為關于預定波長范圍的二維圖像。此外，根據本發(fā)明的圖像獲取系統(tǒng)包括飛行對象、安裝在該飛行對象上的GPS設備、用于控制所述飛行對象的飛行的控制設備、安裝在所述飛行對象上并用于獲取由在時間序列上相互連續(xù)的幀圖像構成的視頻圖像的第一照相機、以與第一照相機的已知關系提供并用于獲取要測量對象的光譜圖像的第二照相機，以及圖像拾取控制設備，并且在所述圖像獲取系統(tǒng)中，所述飛行對象從第一點移動至第二點，所述GPS設備在地心坐標系中測量第一點的位置和第二點的位置，所述第一照相機獲取第一點的靜態(tài)圖像，在從第一點移動至第二點期間獲取視頻圖像，并且進一步地在第二點處獲取靜態(tài)圖像，所述第二照相機在預定波長范圍內獲取兩個或更多光譜圖像，所述圖像拾取控制設備從第一點處的靜態(tài)圖像提取兩個或更多特征點，在從第一點移動至第二點期間從視頻圖像執(zhí)行視頻圖像跟蹤，在第二點處的靜態(tài)圖像中指定特征點，基于該特征點執(zhí)行第一點處的靜態(tài)圖像與第二點處的靜態(tài)圖像的立體匹配，基于地心坐標系中的第一點和第二點的位置來準備三維模型，并且所述圖像拾取控制設備將兩個或更多光譜圖像合成，準備光譜合成圖像，將三維模型與光譜合成圖像合成，并準備具有要測量對象的光譜信息和三維位置數(shù)據的四維模型。此外，在根據本發(fā)明的圖像獲取系統(tǒng)中，第二照相機在第一點處的懸停飛行期間在預定波長范圍內獲取兩個或更多光譜圖像并在第二點處的懸停飛行期間在預定波長范圍內獲取兩個或更多光譜圖像，所述圖像拾取控制設備將第一點的兩個或更多光譜圖像合成，準備第一光譜合成圖像，將第二點的兩個或更多光譜圖像合成，準備第二光譜合成圖像，將三維模型與第一光譜合成圖像和第二光譜合成圖像中的至少一個合成，并準備具有要測量對象的光譜信息和三維位置數(shù)據的四維模型。此外，在根據本發(fā)明的圖像獲取系統(tǒng)中，第一照相機在懸停飛行中獲取同一位置視頻圖像，所述圖像拾取控制設備對同一位置視頻圖像的幀圖像執(zhí)行同步，用第二照相機來獲取光譜圖像，執(zhí)行幀圖像之間的圖像跟蹤，執(zhí)行與在時間方面連續(xù)的兩個光譜圖像相對應的兩個幀圖像的圖像匹配，在由圖像匹配獲得的條件下將兩個光譜圖像合成，連續(xù)地重復幀圖像的圖像匹配和光譜圖像的合成，并將在懸停飛行期間獲取的所有光譜圖像合成。此外，在根據本發(fā)明的圖像獲取系統(tǒng)中，所述第二照相機在從第一點移動至第二點期間在預定波長范圍內獲取兩個或更多圖像。此外，在根據本發(fā)明的圖像獲取系統(tǒng)中，所述圖像拾取控制設備執(zhí)行視頻圖像與幀圖像的同步，用第二照相機來獲取光譜圖像，執(zhí)行幀圖像之間的圖像跟蹤，執(zhí)行與在時間方面連續(xù)的兩個光譜圖像相對應的兩個幀圖像的圖像匹配，在如在圖像匹配中獲得的條件下將兩個光學圖像合成，連續(xù)地重復幀圖像的圖像匹配和光譜圖像的合成，并將在移動過程期間獲取的所有光譜圖像合成。根據本發(fā)明，一種圖像獲取設備包括用于獲取由在時間序列上連續(xù)的幀圖像組成的視頻圖像的第一照相機、與第一照相機處于已知關系并被用于獲取要測量對象的兩個或更多光譜圖像的第二照相機、以及圖像拾取控制設備，并且在圖像獲取設備中，所述圖像拾取控制設備被配置成從幀圖像中的一個提取兩個或更多特征點，以在時間序列上連續(xù)的幀圖像中連續(xù)地指定特征點，基于所述特征點相對于與兩個或更多光譜圖像相對應的幀圖像執(zhí)行幀圖像之間的圖像匹配，并根據由圖像匹配獲得的條件將兩個或更多光譜圖像合成。結果，可以在其中在光譜圖像之間發(fā)生偏差的情況下進行修正，并以較高的準確度獲取光譜合成圖像和超光譜圖像。此外，根據本發(fā)明，在圖像獲取設備中，圖像拾取控制設備同時地獲取幀圖像和光譜圖像，并基于每個幀圖像上的特征點的位置來執(zhí)行每個光譜圖像的相對定位。結果，可以在其中在光譜圖像之間發(fā)生偏差的情況下進行修正并以較高的準確度對光譜圖像進行合成。此外，根據本發(fā)明，在圖像獲取設備中，圖像拾取控制設備從由第一照相機拍攝的視頻圖像的第一幀圖像提取至少五個特征點，通過圖像跟蹤來在第n個幀圖像中指定至少五個特征點，基于兩個圖像的特征點來執(zhí)行立體匹配，并準備要測量的對象的三維模型。結果，在第n個幀圖像中指定特征點將更加容易，并且能夠以更容易的方式執(zhí)行立體匹配。此外，根據本發(fā)明，在圖像獲取設備中，圖像拾取控制設備將合成光譜圖像的波長分量的信息組合到三維模型。結果，除三維位置信息之外，可以獲取包括光譜信息的四維圖像。此外，根據本發(fā)明，一種圖像獲取系統(tǒng)包括飛行對象、安裝在飛行對象上的GPS設備、用于控制飛行對象的控制設備、安裝在飛行對象上并用于獲取由在時間序列上相互連續(xù)的幀圖像組成的視頻圖像的第一照相機、以與第一照相機成已知關系提供并用于獲取要測量的對象的光譜圖像的第二照相機、以及圖像拾取控制設備，并且在該圖像獲取系統(tǒng)中，飛行對象從第一點移動至第二點，GPS設備在地心坐標系中測量第一點的位置和第二點的位置，所述第一照相機獲取第一點的靜態(tài)圖像，在從第一點移動至第二點期間獲取視頻圖像，并且進一步地在第二點處獲取靜態(tài)圖像，所述第二照相機在預定波長范圍內獲取兩個或更多光譜圖像，所述圖像拾取控制設備從第一點處的靜態(tài)圖像提取兩個或更多特征點，在從第一點移動至第二點期間從視頻圖像執(zhí)行視頻圖像跟蹤，在第二點處的靜態(tài)圖像中指定特征點，基于特征點來執(zhí)行第一點處的靜態(tài)圖像與第二點處的靜態(tài)圖像的立體匹配，基于地心坐標系中的第一點和第二點的位置來準備三維模型，并且所述圖像拾取控制設備將兩個或更多光譜圖像合成，準備光譜合成圖像，將三維模型與光譜合成圖像合成，并準備具有要測量對象的三維位置數(shù)據和光譜信息的四維模型。結果，可以獲取如在高空中容易地看到的四維模型，并容易地獲取要測量對象的任意點處的三維位置數(shù)據和光譜信息。此外，根據本發(fā)明，在圖像獲取系統(tǒng)中，所述第二照相機在第一點處的懸停飛行期間在預定波長范圍內獲取兩個或更多光譜圖像并在第二點處的懸停飛行期間在預定波長范圍內獲取兩個或更多光譜圖像，該圖像拾取控制設備將第一點的兩個或更多光譜圖像合成，準備第一光譜合成圖像，將第二點的兩個或更多光譜圖像合成，準備第二光譜合成圖像，將三維模型與所述第一光譜合成圖像和第二光譜合成圖像中的至少一個合成，并準備具有要測量對象的三維位置數(shù)據和光譜信息的四維模型。結果，可以獲取如在高空中容易地看到的四維模型，并容易地獲取要測量對象的任意點處的三維位置數(shù)據和光譜信息。此外，根據本發(fā)明，在圖像獲取系統(tǒng)中，所述第一照相機在懸停飛行中獲取同一位置視頻圖像，所述圖像拾取控制設備對該同一位置視頻圖像的幀圖像執(zhí)行同步，由第二照相機來獲取光譜圖像，執(zhí)行幀圖像之間的圖像跟蹤，執(zhí)行對應于在時間方面連續(xù)的兩個光譜圖像的兩個幀圖像的圖像匹配，在由圖像匹配獲得的條件下將兩個光譜圖像合成，連續(xù)地重復幀圖像的圖像匹配和光譜圖像的合成，并將在懸停飛行期間獲取的所有光譜圖像合成。結果，即使當在在其中飛行對象不完全處于懸停狀態(tài)的條件下獲取的兩個或更多光譜圖像之間發(fā)生偏差時，也可以經由幀圖像的圖像匹配來執(zhí)行光譜圖像之間的定位或匹配，并以較高的準確度來準備光譜合成圖像。此外，根據本發(fā)明，在圖像獲取系統(tǒng)中，所述第二照相機在從第一點移動至第二點期間在預定波長范圍內獲取兩個或更多圖像。結果，可以獲取如在高空中容易地看到的四維模型，并容易地獲取要測量對象的任意點處的三維位置數(shù)據和光譜信息。此外，根據本發(fā)明，在圖像獲取系統(tǒng)中，所述圖像拾取控制設備執(zhí)行視頻圖像與幀圖像的同步，由第二照相機來獲取光譜圖像，執(zhí)行幀圖像之間的圖像跟蹤，執(zhí)行對應于在時間方面連續(xù)的兩個光譜圖像的兩個幀圖像的圖像匹配，將在如在圖像匹配中獲得的條件下將兩個光學圖像合成，連續(xù)地重復幀圖像的圖像匹配和光譜圖像的合成，并將在移動過程中獲取的所有光譜圖像合成。結果，關于在移動期間由飛行對象獲取的兩個或更多光譜圖像，可以經由幀圖像的圖像匹配來執(zhí)行光譜圖像之間的定位或匹配，并以高準確度來準備光譜合成圖像。


圖1是示出了在其上面安裝有根據本發(fā)明的圖像拾取設備的小飛行對象的示意 圖2是圖像拾取設備的照相機單元和圖像拾取控制設備的示意性方框 圖3是示出了用于測量飛行對象的高度和來自圖像的測量點的坐標的數(shù)字攝影測量的原理的說明圖，所述圖像是飛行對象從兩個點獲取的；
圖4是關于其中照相機傾斜的情況下的數(shù)字攝影測量中的相對定向的說明 圖5A和圖5B每個表示示出具有本發(fā)明的實施例中的將使用的透射式干涉濾波器的光譜照相機的光學系統(tǒng)的說明圖。圖5A示出其中光闌孔與光軸同時發(fā)生的條件，圖5B示出其中光闌孔與光軸分離的條件；
圖6是示出通過的光的入射角與峰值波長之間的關系的圖表；
圖7是示出在光進入干涉濾波器時與入射角匹配的波長傳輸特性曲線的圖表；
圖8A和圖SB每個表示示出具有本發(fā)明的實施例中的將在另一光譜照相機中使用的反射式干涉濾波器的光學系統(tǒng)的說明圖。圖8A示出其中光闌孔與光軸同時發(fā)生的條件且圖8B示出其中光闌孔被與光軸分離的條件；
圖9A和圖9B每個表不不出具有本發(fā)明的實施例中的將仍在另一光譜照相機中使用的反射式干涉濾波器的光學系統(tǒng)的說明圖。圖9A示出其中光闌孔與光軸同時發(fā)生的條件且圖9B示出其中光闌孔與光軸分離的條件；
圖10是示出提供有具有不同特性的多個干涉膜的干涉濾波器的前視 圖11示出本實施例中的將獲取超光譜圖像的條件的說明 圖12A和圖12B每個表示示出了其中由在懸停狀態(tài)下飛行的直升飛機獲取多個圖像的情況下的圖像之間的條件的說明 圖13是示出本發(fā)明的實施例中的操作的流程圖； 圖14是示出圖13中的步驟03和步驟08的細節(jié)的流程圖；以及 圖15是解釋本發(fā)明的第二實施例中的操作的流程圖。
具體實施例方式下面將通過參考附圖來給出關于本發(fā)明的實施例的說明。本發(fā)明的實施例的圖像獲取設備被安裝在小型無人飛行器(UAV)上，例如能夠用遠程控制操作來操作或者能夠自主地飛行的小型直升飛機。圖1示出其中安裝了根據本實施例的圖像獲取設備的小型飛行對象I。在圖1中，附圖標記2表示將安裝在地面上的基站控制設備。基站控制設備2能夠執(zhí)行到和來自飛行對象I的數(shù)據通信，并且基站控制設備2控制飛行對象I的飛行、設置和修改飛行計劃以及存儲和管理由飛行對象I收集的信息。飛行對象I是被用作自主地飛行的小型飛行對象的直升飛機。該直升飛機I是由來自基站控制設備2的遠程控制進行操作的。或者，從基站控制設備2在直升飛機I的控制設備(未示出)上設置飛行計劃，并且控制設備控制導航裝置(稍后將描述)，并且根據飛行計劃來執(zhí)行自主飛行。控制設備控制導航裝置并控制直升飛機I在預定速度下且在預定高度下，并且還能夠在某個預定位置處的懸停狀態(tài)下(固定不動的飛行條件)控制直升飛機
Io直升飛機I具有直升飛機主體3，以及安裝在直升飛機主體3上的與要求的一樣多的螺旋槳(例如四組螺旋槳4、5、6和7，每個分別安裝在前、后、左和右位置處)。螺旋槳4、5、6和7中的每個被單獨地與電動機(未示出)耦合，并且每個電動機被設計成被獨立地控制。螺旋槳4、5、6和7和電動機等一起組成直升飛機I的導航裝置。在直升飛機主體3上，安裝有用于測量直升飛機I的參考位置的GPS設備9。在直升飛機I的直升飛機主體3上，提供有機載的圖像拾取設備11。圖像拾取設備11具有光軸12，并且光軸12被設計成沿著向下方向延伸，從而使得圖像拾取設備11沿著直升飛機I的向下方向拍攝各位置的圖像。接下來，參考圖2，將給出關于圖像拾取設備11的近似布置的描述。圖像拾取設備11具有照相機單元13和圖像拾取控制設備21。圖像拾取控制設備21能夠基于由照相機單元13獲取的圖像數(shù)據并基于來自GPS設備9的位置信息執(zhí)行要測量對象的數(shù)字攝影測量，并執(zhí)行處理，諸如由照相機單元13獲取的光譜數(shù)據與圖像數(shù)據的合成或其它類型的處理。首先，將給出關于照相機單元13的描述。照相機單元13包括被用作第一照相機的圖像照相機14和被用作第二照相機的光譜照相機15。光軸12被半反射鏡16劃分。圖像照相機14提供于一個光軸12a上,并且光譜照相機15提供于另一光軸12b上。圖像照相機14按照原樣獲取要測量對象的圖像(真實圖像)，并且光譜照相機15獲取光譜圖像。如上所述，圖像照相機14和光譜照相機15具有公共的光軸12，并且圖像照相機14和光譜照相機15處于已知關系。或者，可以單獨地提供圖像照相機14和光譜照相機15。并且，圖像照相機14的光軸和光譜照相機15的光軸被相互平行地設置。光軸之間的距離是已知的，并且圖像照相機14和光譜照相機15被以相互的已知關系設置。
圖像照相機14拍攝要測量點處的圖像并輸出數(shù)字圖像數(shù)據。圖像照相機14可以是以預定時間間隔拍攝靜態(tài)圖像的照相機或將連續(xù)地拍攝圖像的視頻照相機。圖像照相機14具有CXD或CMOS傳感器，其為作為圖像拾取元件14a的像素的集合體，并且光軸12a與圖像拾取元件14a之間的關系是以使得光軸12a垂直地通過圖像拾取元件14a的中心(即攝影檢測表面的坐標的中心)這樣的方式設置的。因此，其被設計成使得圖像拾取元件14a的每個像素能夠指定圖像拾取元件14a上的位置，并且此外能夠識別每個像素的場角(即相對于光軸12的角度)。光譜照相機15具有CXD或CMOS傳感器，其為作為圖像拾取元件15a的像素的集合體，與圖像照相機14的情況類似，并且光軸12b與圖像拾取元件15a之間的關系是以使得光軸12b垂直地通過圖像拾取元件15a的中心(即攝影檢測表面的坐標的中心)這樣的方式設置的。因此，圖像拾取元件15a的每個像素能夠識別圖像拾取元件15a上的位置(坐標)，并且能夠識別每個像素的場角(即相對于光軸12的角度)。此外，圖像拾取元件15a的每個像素和圖像拾取元件14a的每個像素以一對一關系匹配。現(xiàn)在，將給出關于圖像拾取控制設備21的描述。圖像拾取控制設備21包括運算控制單元(CPU) 22、圖像數(shù)據記錄單元23、圖像控制器24、照相機控制單元25、光譜照相機控制器26、光譜數(shù)據存儲單元27、圖像合成單元28、圖像處理單元29、特性提取單元31、匹配單元32、測量單元33、模型圖像準備單元34、顯示單元35和存儲單元36。照相機控制單元25同時地控制圖像照相機14和光譜照相機15。圖像控制器24基于來自照相機控制單元25的指令信號來驅動圖像照相機14并獲取圖像數(shù)據(真實圖像數(shù)據)。這樣獲取的圖像數(shù)據與圖像拾取時間相關聯(lián)并被存儲在圖像數(shù)據記錄單元23中。光譜照相機控制器26根據來自照相機控制單元25的指令來驅動光譜照相機15并獲取光譜圖像數(shù)據。光譜圖像數(shù)據與時間相關聯(lián)并被存儲在光譜數(shù)據存儲單元27中。圖像合成單元28將存儲在圖像數(shù)據記錄單元23中的圖像數(shù)據與存儲在光譜數(shù)據存儲單元27中的光譜圖像數(shù)據合成，從而以使得一個圖像的所有像素都具有光譜信息這樣的方式合成超光譜圖像。圖像處理單元29具有特性提取單元31和匹配單元32，并且能夠從一個幀的圖像數(shù)據提取至少五個或更多特征點(通過點)。然后，根據在時間方面不同的圖像數(shù)據上的特征點或根據從不同的圖像拾取點獲取的圖像數(shù)據來執(zhí)行圖像的跟蹤和圖像的匹配。針對圖像跟蹤和圖像匹配，使用SSDA方法(序列相似性檢測算法)、歸一化互相關方法、最小二乘匹配法等。測量單元33實現(xiàn)用以基于由圖像照相機14從不同的圖像拾取位置獲取的兩個圖像數(shù)據來執(zhí)行數(shù)字攝影測量的功能。模型圖像準備單元34用來使由測量單元33測量的每個像素的距離數(shù)據與超光譜圖像相關聯(lián)，并準備模型圖像，其具有四維數(shù)據，即二維位置數(shù)據(平面坐標數(shù)據)+光譜數(shù)據+高度數(shù)據。在第一存儲單元36中，存儲了各種類型的程序。這些程序包括照相機控制所需的程序、圖像數(shù)據和光譜圖像數(shù)據的合成所需的程序、圖像處理所需的程序、測量所需的程序、模型圖像的準備所需的程序、用于控制顯示單元35的程序等。可以在存儲單元36的一部分中準備圖像數(shù)據記錄單元23和光譜數(shù)據存儲單元27。接下來，參考圖3和圖4，將給出關于用數(shù)字攝影測量進行的距離測量的描述。在這里認為在圖3中，直升飛機I從點01飛到點02，并且在點01和點02處拍攝圖像。從點01至點02的距離B是攝影基線長度。數(shù)字41-1和數(shù)字41-2每個分別表示點01和點02處的圖像拾取設備11的圖像拾取元件41，并且圖像拾取元件41-1和41-2等價于圖像數(shù)據。圖3示出圖像拾取設備11的光軸12沿垂直方向行進的情況，即其中直升飛機I處于水平姿勢的情況。在點01處拍攝的圖像上的測量點P的位置(即圖像拾取元件上的位置)將是Pl(xl，yl)，并且在點02處拍攝的圖像上的測量點P的位置(即圖像拾取元件上的位置)將是p2 (x2, y2)。根據三角形(01，02和P)、三角形(01，pi)和三角形(02，p2)的相似性關系將圖像拾取設備11的焦距f和從攝影基線長度B至點P的距離Z(直升飛機I的高度距離)確定為·
Z = -Bf/(xl + x2)
在這里，可以用GPS設備9來測量點01和點02的地面坐標。攝影基線長度B是兩個點之間的距離，即點01與點02之間的距離，并且能夠基于GPS設備9的測量結果來獲得攝影基線長度B。并且，根據GPS設備9的測量，能夠同樣地根據pi (xl，yl)和p2(x2，y2)及根據點01和點02的地心位置來確定測量點P的地心位置(平面坐標)。因此，根據在直升飛機I的移動過程中連續(xù)地拍攝的兩個圖像，能夠實時地確定直升飛機I的高度(即距離地面的高度)(高度距離的測量)。在如上所述的數(shù)字攝影測量中，pi (xl, yl)和p2 (x2, y2)對應于在點01處拍攝的左圖像42和在點02處拍攝的右圖像43的公共點，并且將Pl和P2稱為通過點。可以用對在點01處獲取的左圖像42的諸如邊緣處理或其它處理的圖像處理來獲得左圖像42中的點pi作為特征點。在圖4中，僅示出了一個點。然而，實際上，提取多個點作為特征點。由稱為視頻圖像跟蹤的過程來執(zhí)行用以在右圖像43中指定對應于點Pl的點p2的程序。該視頻圖像由在時間序列上連續(xù)的幀圖像組成。在視頻圖像跟蹤中，從點01至點02連續(xù)地獲取視頻圖像(幀圖像)，并且在搜索范圍內設置一個幀圖像中的包括點Pl的預置范圍。在接下來的幀圖像內的搜索范圍中，該幀圖像在時間方面彼此相鄰，搜索對應于點Pl的點，并且此外指定該點。反復地執(zhí)行相對于下一個幀圖像的預置范圍內的搜索和所述指定，并且最后在右圖像43中指定點p2。在日本專利申請公開JP-A-2006-10376中描述了該視頻圖像跟蹤。由飛行控制單元(未示出)在水平位置處控制直升飛機1，但是在諸如風的各種原因的影響下，水平姿勢可能被干擾。因此，點01處的圖像拾取設備11的姿勢可能不同于點02處的圖像拾取設備11的姿勢。圖4是示出在點01處拍攝的圖像拾取元件41-1的條件和在點02處拍攝的圖像拾取元件41-2的傾斜條件的示意圖。由圖像拾取元件41-1拍攝的左圖像42和由圖像拾取元件41-2拍攝的右圖像43也處于類似條件。使用光軸12的縱軸(Z軸)作為參考，用繞Z軸為中心的旋轉角K、用繞第一橫軸(X軸)為中心的旋轉角《并用繞第二橫軸(Y軸)為中心的旋轉角0來表示圖像的傾斜。通過在點01處拍攝的圖像和在點02處拍攝的圖像上的相對定向并且通過使用K、《和小作為變量，能夠將該條件轉換成如圖中的虛線所示的條件(即圖3所示的條件)。通過執(zhí)行相對定向，能夠計算測量點P的三維坐標。此外，能夠確定點Ol處和點02處的直升飛機I的高度。在這里，能夠用陀螺儀單元(未示出)來測量點01和點02處的三個軸中的每一個的旋轉角，并且能夠根據圖像拾取元件41的像素位置來測量點01處的圖像中的點pi的坐標(xl，yl)和點02處的圖像中的點p2的坐標(x2，y2)。因此，在這里假設相對定向之后的已轉換坐標系中的Pl的坐標(模型坐標)是(XI，Yl, Z1)，并且相對定向之后的已轉換坐標系中的P2的坐標(模型坐標)是(X2，Y2, Z2)，并且圖像拾取設備11的焦距是f。然后，能夠如下地所給出表示已轉換坐標系中的pi和p2的坐標(模型坐標)
權利要求
1.一種圖像獲取設備，包括用于獲取由在時間序列上連續(xù)的幀圖像組成的視頻圖像的第一照相機、與所述第一照相機處于已知關系并被用于獲取要測量對象的兩個或更多光譜圖像的第二照相機以及圖像拾取控制設備，其中，所述圖像拾取控制設備被配置成從所述幀圖像中的一個提取兩個或更多特征點，在在時間序列上連續(xù)的幀圖像中連續(xù)地指定所述特征點，基于所述特征點關于對應于所述兩個或更多光譜圖像的幀圖像執(zhí)行幀圖像之間的圖像匹配，并根據由所述圖像匹配獲得的條件將所述兩個或更多光譜圖像合成。
2.根據權利要求1所述的圖像獲取設備，其中，所述圖像拾取控制設備同步地獲取所述幀圖像和所述光譜圖像，并基于每個幀圖像上的所述特征點的位置來執(zhí)行每個光譜圖像的相對定位。
3.根據權利要求1所述的圖像獲取設備，其中，所述圖像拾取控制設備從由所述第一照相機拍攝的視頻圖像的第一幀圖像提取至少五個特征點，通過圖像跟蹤在第η個幀圖像中指定所述至少五個特征點，基于兩個圖像的所述特征點來執(zhí)行立體匹配，并準備所述要測量對象的三維模型。
4.根據權利要求3所述的圖像獲取設備，其中，所述圖像拾取控制設備將所述合成光譜圖像的波長分量的信息組合到所述三維模型。
5.根據權利要求1所述的圖像獲取設備，其中，由所述第二照相機獲取的光譜圖像被作為關于預定波長范圍的二維圖像獲 取。
6.一種圖像獲取系統(tǒng)，包括飛行對象、安裝在所述飛行對象上的GPS設備、用于控制所述飛行對象的飛行的控制設備、安裝在所述飛行對象上并用于獲取由在時間序列上相互連續(xù)的幀圖像組成的視頻圖像的第一照相機、以與所述第一照相機的已知關系提供并用于獲取要測量對象的光譜圖像的第二照相機以及圖像拾取控制設備，其中，所述飛行對象從第一點移動至第二點，所述GPS設備在地心坐標系中測量第一點的位置和第二點的位置，所述第一照相機獲取第一點的靜態(tài)圖像，在從第一點移動至第二點期間獲取視頻圖像，并且進一步地，在第二點處獲取靜態(tài)圖像，所述第二照相機在預定波長范圍內獲取兩個或更多光譜圖像，所述圖像拾取控制設備從第一點處的靜態(tài)圖像提取兩個或更多特征點，在從第一點移動至第二點期間從視頻圖像執(zhí)行視頻圖像跟蹤，在第二點處的靜態(tài)圖像中指定所述特征點，基于所述特征點來執(zhí)行第一點處的靜態(tài)圖像與第二點處的靜態(tài)圖像的立體匹配， 基于地心坐標系中的所述第一點和所述第二點的位置來準備三維模型，并且所述圖像拾取控制設備將兩個或更多光譜圖像合成，準備光譜合成圖像，將所述三維模型與所述光譜合成圖像合成，并準備具有所述要測量對象的三維位置數(shù)據和光譜信息的四維模型。
7.根據權利要求6所述的圖像獲取系統(tǒng)，其中，所述第二照相機在第一點處的懸停飛行期間在預定波長范圍內獲取兩個或更多光譜圖像并在第二點處的懸停飛行期間在預定波長范圍內獲取兩個或更多光譜圖像，所述圖像拾取控制設備將第一點的兩個或更多光譜圖像合成，準備第一光譜合成圖像，將第二點的兩個或更多光譜圖像合成，準備第二光譜合成圖像，將所述三維模型與所述第一光譜合成圖像和所述第二光譜合成圖像中的至少一個合成，并準備具有所述要測量對象的三維位置數(shù)據和光譜信息的四維模型。
8.根據權利要求6或權利要求7所述的圖像獲取系統(tǒng)，其中，所述第一照相機在所述懸停飛行中獲取同一位置視頻圖像，所述圖像拾取控制設備對所述同一位置視頻圖像的幀圖像執(zhí)行同步，由所述第二照相機來獲取光譜圖像，執(zhí)行幀圖像之間的圖像跟蹤，執(zhí)行對應于在時間方面連續(xù)的兩個光譜圖像的兩個幀圖像的圖像匹配，在由所述圖像匹配獲得的條件下將所述兩個光譜圖像合成，連續(xù)地重復所述幀圖像的所述圖像匹配和光譜圖像的合成， 并將在所述懸停飛行期間獲取的所有光譜圖像合成。
9.根據權利要求6所述的圖像獲取系統(tǒng)，其中，所述第二照相機在從第一點移動至第二點期間在預定波長范圍內獲取兩個或更多光譜圖像。
10.根據權利要求9所述的圖像獲取系統(tǒng)，其中，所述圖像拾取控制設備執(zhí)行視頻圖像與幀圖像的同步，由所述第二照相機來獲取光譜圖像，執(zhí)行幀圖像之間的圖像跟蹤，執(zhí)行對應于在時間方面連續(xù)的兩個光譜圖像的兩個幀圖像的圖像匹配，將在所述圖像匹配中獲得的條件下將所述兩個光學圖像合成，連續(xù)地重復所述幀圖像的所述圖像匹配和光譜圖像的合成，并將在所述移動過程期間獲取的所有光譜圖像合成。
全文摘要
本發(fā)明涉及圖像獲取設備和圖像獲取系統(tǒng)。一種圖像獲取設備包括用于獲取由在時間序列上連續(xù)的幀圖像組成的視頻圖像的第一照相機14、與所述第一照相機處于已知關系并被用于獲取要測量對象的兩個或更多光譜圖像的第二照相機15以及圖像拾取控制設備21，并且在該圖像獲取設備中，所述圖像拾取控制設備被配置成從所述幀圖像中的一個提取兩個或更多特征點，在在時間序列上連續(xù)的幀圖像中連續(xù)地指定所述特征點，基于所述特征點關于對應于所述兩個或更多光譜圖像的幀圖像執(zhí)行幀圖像之間的圖像匹配，并根據由所述圖像匹配獲得的條件將所述兩個或更多光譜圖像合成。
文檔編號G01C11/00GK103033169SQ20121036733
公開日2013年4月10日 申請日期2012年9月28日 優(yōu)先權日2011年9月28日
發(fā)明者大友文夫, 大谷仁志, 籾內正幸, 大佛一毅 申請人:株式會社拓普康