本發明屬于顯微視覺信號檢測、處理及控制領域，具體涉及一種實現自動對焦和三維重建的顯微系統及其圖像獲取方法。

背景技術：

隨著醫學儀器的發展，現代醫學儀器顯微系統中的顯微鏡的放大倍數越來越大導致景深越來越小，因此采用手動調焦必然會增加手動調焦的難度。現有技術中，單純的自動調焦系統已經被實現，其系統主要包括PC機和相應步進電機控制電路，其中PC機主要完成顯微圖像處理、電機控制電路根據PC機反饋的信號對步進電機進行控制。而現代醫學中顯微視覺下物體的三維重建，在市場上也有比較成熟的產品，如日本奧林巴斯公司生產的激光共聚焦顯微鏡可以實現對細胞圖像的三維重建、該三維重建后的圖像為偽彩色三維圖像，并不是真正意義上的三維圖像；德國卡爾·蔡司公司生產的體視顯微鏡也可以實現對細胞圖像的三維重建，其工作原理的實質是兩個單鏡筒顯微鏡并列放置，兩個鏡筒的光軸構成相當于人們用雙目觀察一個物體時所形成的視角，以此形成三維空間的立體視覺圖像，但其調焦部分仍然采用手動的方式進行。現有的產品技術中，可實現自動調焦的不能實現圖像的三維重建，可實現圖像三維重建的，不具有自動調焦的功能。

技術實現要素：

本發明旨在解決現有技術中存在的技術問題，而提出一種既能實現顯微物體自動調焦又能實現圖像三維重建的顯微系統。

為實現上述目的，本發明提出的實現自動對焦和三維重建的顯微系統包括PC機；顯微攝像頭，與所述PC機通信連接，所述顯微攝像頭前方設置有顯微鏡頭，顯微鏡頭將待觀察物體顯微放大；單片機，與所述PC機通信連接并接收PC機的指令信號并轉換成控制信號輸出；一號步進電機，與所述一號平臺連接并用于驅動所述一號平臺旋轉；二號步進電機，與所述一號平臺連接并用于驅動所述一號平臺前后移動；三號步進電機，與所述一號平臺連接并用于驅動所述一號平臺傾斜角度α；四號步進電機，與所述一號平臺連接并用于驅動所述一號平臺上下移動；五號步進電機，與所述一號平臺連接并用于驅動所述一號平臺前后移動；一號步進電機驅動板，與所述單片機連接并根據所述單片機輸出的控制信號控制所述一號電機工作；二號步進電機驅動板，與所述單片機連接并根據所述單片機輸出的控制信號控制所述二號電機工作；三號步進電機驅動板，與所述單片機連接并根據所述單片機輸出的控制信號控制所述三號電機工作；四號步進電機驅動板，與所述單片機連接并根據所述單片機輸出的控制信號控制所述四號電機工作；五號步進電機驅動板，與所述單片機連接并根據所述單片機輸出的控制信號控制所述五號電機工作。

通過一號步進電機驅動一號平臺帶動位于其上的待觀察物件進行旋轉，可以獲得不同旋轉角度條件下的顯微圖像，因此通過旋轉的方式來模擬實現三維重建當中的雙目功能，因此在進行角度旋轉時，常采用在未進行旋轉的基礎上加上180°的方式進行旋轉，這樣就可以模擬實現雙目三維重建當中的左視圖和右視圖的采集功能，通過二號步進電機驅動一號平臺帶動位于其上的待觀察物件進行前后移動，可以調整顯微物體在視野當中的前后位置；五號步進電機電機驅動一號平臺帶動位于其上的待觀察物件進行左右移動，可以調整顯微物體在視野當中的左右位置；通過三號步進電機驅動一號平臺帶動位于其上的待觀察物件進行傾斜角度a進行調整，達到通過傾斜不同的角度實現對顯微物體的不同側面進行觀察；四號步進電機驅動一號平臺帶動位于其上的待觀察物件進行上下移動，達到對已經調整好旋轉角度和傾斜角度的平臺進行自動調焦；顯微鏡頭對1號平臺上的待顯微物體進行放大，然后后成像在攝像頭當中的感光芯片上，最后傳輸至PC機的軟件上進行圖像處理，達到三維建模的目的，另外可以通過操作PC機上的軟件實現對各步進電機工作的控制，達到自動對焦的目的，從而可以減少人為造成的誤差，即實現了自動調焦有能實現三維重建。

進一步的，實現顯微物體自動對焦和三維重建的顯微系統還包括二號平臺和三號平臺，所述一號步進電機固置于所述二號平臺上并驅動所述一號平臺旋轉，所述三號步進電機設置在二號平臺與三號平臺之間并驅動所述二號平臺帶動所述一號平臺傾斜，二號步進電機、四號步進電機和五號步進電機與三號平臺連接并驅動所述三號平臺帶動所述二號平臺及所述一號平臺分別作前后移動、上下移動和左右移動。

進一步的，由于顯微視覺的視野范圍比較小，因此傾斜角度α滿足-5°≥α≥5°可以得到比較滿意的視覺效果。

上述實現自動對焦和三維重建的顯微系統顯微圖像獲取方法包括一下步驟：

S10：攝像頭的標定,采用張正友提出的平面標定法進行攝像頭的標定；

S20：左視圖和右視圖的獲取，將自動調焦完成之后視頻信號的某一幀作為左視圖，將旋轉角度完成之后視頻信號的某一幀作為右視圖；

S30：圖像特征提取及匹配、采用GFTT算法對特征點進行提取，采用SIFT算法作為圖像特征匹配的算法；

S40：三維重建過程，采用基于特征區域擴張的方法進行三維重建。

顯微圖像獲取方法中，攝像頭的標定采用張正友提出的平面標定法，具有高精度和高魯棒性等特點，在平面標定方法中得到很好的應用；由于攝像機向上位機軟件傳送的是視頻信號，由于在左視圖和右視圖選取之前，需要進行自動調焦操作，因此把自動調焦完成之后視頻信號的某一幀作為左視圖，而將旋轉角度完成之后視頻信號的某一幀作為右視圖；采用GFTT算法對特征點進行提取是由于該算法作為特征點檢測算法在顯微環境下已經得到很好應用，而SIFT算法采用KD-tree搜索策略，具有較高的匹配精度和較強的魯棒性；基于特征區域擴張的方法主要利用特征點匹配重建空間稀疏點，在通過擴散得到物體表面的稠密點云，該方法無需任何初始信息，操作簡單，算法精度取決于特征點的匹配。

具體的，在步驟S20中，左視圖和右視圖的獲取包括以下步驟過程：

S21:觀察顯微圖像，控制二號步進電機和五號步進電機工作，使得顯微圖像在視野范圍之內；

S22：控制三號步進電機工作，進行顯微攝像調焦，直至自動調焦結束，其中在調焦過程中控制四號步進電機工作，控制一號平臺傾斜角在設定范圍內，其中顯微攝像調焦采用基于laplacian清晰度評價函數的方法進行調焦；

S23：選取視頻信號中的一幀圖像作為左視圖，并存儲；

S24：控制室一號步進電機工作，一號平臺轉動角度β時的一幀圖像作為右視圖，并存蓄，其中225°≥β≥145°。

在步驟S22中，還包括對laplacian清晰度評價函數進行修改，修改方法如下：

由原Laplacian清晰度評價函數為：

拉普拉斯算子是二階算子，其定義為：

由二階導函數的定義得到：

則Laplacian函數表示為：

設空間任意位置處p(x,y,z)投影到感光器件上的像素點為f(x,y)，則空間任意位置處p(x,y,z)在豎直方向的投影為p(x,y)，而p(x,y,z)與p(x,y)之間的夾角為傾斜角度α，因此間接求出p(x,y)對應的清晰度評價函數為f(x,y)cosθ，之后對二階導函數的定義做如下修改：修改后的Laplacian函數可以表示為：

最后把修改后的Laplacian函數作為自動調焦算法的清晰度評價函數。

在步驟S24中，選取185°≥β≥175°。

具體的，在步驟S30中，GFTT算法具體步驟為：

S31：計算每個像素點的二階偏導(I_X)²、(I_y)²、I_xI_y；

S32：計算每個像素的二階矩陣M

式中代表卷積，

S33：獲得M矩陣對應的兩個特征值λ₁和λ₂；

S34：選取max(min(λ₁,λ₂))確定最終的角點。

本發明提供的實現自動對焦和三維重建的顯微系統通過圖像獲取方法實現自動對焦和三維重建，系統電路和光路設計簡單，集成度高；通過相應上位機軟件，可以實現對底層硬件電路的操作，這樣就可以減少人為造成的誤差。

附圖說明

本發明的上述和/或附加的方面和優點從結合下面附圖對實施例的描述中將變得明顯和容易理解，其中：

圖1本發明的實現自動對焦和三維重建的顯微系統結構示意圖；

圖2本發明的顯微系統圖像獲取方法過程示意圖；

圖3是本發明方案中的旋轉拍照模型圖。

具體實施方式

為了能夠更清楚地理解本發明的上述目的、特征和優點，下面結合附圖和具體實施方式對本發明進行進一步的詳細描述。需要說明的是，在不沖突的情況下，本申請的實施例及實施例中的特征可以相互組合。

在下面的描述中闡述了很多具體細節以便于充分理解本發明，但是，本發明還可以采用其他不同于在此描述的方式來實施，因此，本發明的保護范圍并不受下面公開的具體實施例的限制。

下面參照圖1至圖3對本發明實施例作進一步的描述。

如圖1所示，實現自動對焦和三維重建的顯微系統，包括：PC機、USB2.0端口的顯微攝像頭、位于攝像頭前方的放大倍數為100X的顯微鏡頭、一號步進電機、二號步進電機、三號步進電機、四號步進電機、五號步進電機以及與之相對應的一號步進電機驅動板、二號步進電機驅動板、三號步進電機驅動板、四號步進電機驅動板、五號步進電機驅動板、單片機、RS232串口通信模塊。PC機與單片機之間通過RS232模塊進行通信，單片機根據接收到的PC機(即上位機)指令信號向與之對應的步進電機驅動板發送相應控制信號，之后步進電機根據接收到的控制信號執行相應的動作，這些動作包括轉動時間、轉動方向和轉速。具體執行動作方式為：一號步進電機固置于所述2號平臺上并根據一號步進電機驅動板接收到的控制信號可帶動一號平臺(載物臺)進行360°旋轉；其主要作用是為了獲得不同旋轉角度條件下顯微圖像，而本實施例中主要想通過旋轉的方式來模擬實現三維重建當中的雙目功能，因此在進行角度旋轉時，常采用在未進行旋轉的基礎上加上β角度的方式進行旋轉，其中225°≥β≥145°都能實現基本目的，在185°≥β≥175°時效果更加理想，控制β＝180°時則是一個絕佳對稱位置，這樣就可以模擬實現雙目三維重建當中的左視圖和右視圖的采集功能。二號步進電機根據二號步進電機驅動板接收到的控制信號可對一號平臺(載物臺)、二號平臺和三號平臺進行前后移動；其主要作用是為了調整顯微物體在顯微鏡頭視野當中的前后位置；三號步進電機根據三號步進電機驅動板接收到的控制信號可對一號平臺(載物臺)和二號平臺傾斜角度α進行控制，精度控制在5°≥α≥-5°，即一號平臺面與顯微鏡頭面之間的夾角小于等于5°；其主要作用是通過旋轉不同的角度實現對顯微物體的不同側面進行觀察，獲得比較滿意的視覺效果，如果傾斜角大于5°顯微圖像將變模糊，達不到理想的可識別效果；四號步進電機根據四號步進電機驅動板接收到的控制信號可對一號平臺(載物臺)、二號平臺和三號平臺上下進行控制；其主要作用是對已經調整好旋轉角度和傾斜角度的平臺進行自動調焦；五號步進電機根據五號步進電機驅動板接收到的控制信號可對一號平臺(載物臺)、二號平臺和三號平臺左右進行控制；其主要作用是為了調整顯微物體在視野當中的左右位置。顯微鏡頭(物鏡)對一號平臺上的顯微物體進行放大，并成像于攝像頭當中的感光芯片上，最后通過USB2.0通信模塊傳輸至PC機軟件上進行圖像處理。其中圖像處理包括的步驟有攝像頭的標定、左視圖和右視圖的獲取、圖像特征提取及匹配、三維重建。

以上實施例中，電機與各平臺的連接關系可以進行變換組合，只要實現調整一號平臺的位置即可，例如可以二號電機可以只驅動一號平臺和二號平臺運動以調整前后位置。

攝像機的標定：采用張正友提出的平面標定方法進行標定，現有技術中的參考文獻可以發現攝像機的標定方法有很多種，但張正友提出的平面標定法具有高精度和高魯棒性等特點，在平面標定方法中得到很好的應用。

左視圖和右視圖的獲取：由于攝像機向PC機(上位機)軟件傳送的是視頻信號，因此在進行左視圖和右視圖選取時，常常選取視頻信號的某一幀作為左視圖或者右視圖；由于在左視圖和右視圖選取之前，需要進行自動調焦操作，因此常常把自動調焦完成之后視頻信號的某一幀作為左視圖，而右視圖的選取，常常把三號步進電機旋轉角度完成之后視頻信號的某一幀作為右視圖。

圖像特征提取及匹配：采用GFTT算法對圖像特征點進行提取，GFTT算法具體步驟為：

1、計算每個像素點的二階偏導(I_X)²、(I_y)²、I_xI_y。

2、計算每個像素的二階矩陣M

其中代表卷積；

3、獲得M矩陣對應的兩個特征值λ₁和λ₂；

4、選取max(min(λ₁,λ₂))確定最終的角點；

參考文獻發現特征點檢測算法比較多，而GFTT特征點檢測算法在顯微環境下得到很好應用給，故采用GFTT算法對特征點進行提取。

特征匹配算法采用SIFT算法，特征匹配SIFT算法采用KD-tree搜索策略，具有較高的匹配精度和較強的魯棒性。

三維重建：

采用基于特征區域擴張的方法對顯微物體進行三維重建，顯微物體三維重建是實現三維結構精密測量的關鍵一步，目前國內外學者已經開發出各種各樣的重建技術。其中比較常用的有基于側影輪廓的方法和基于特征區域擴張的方法，基于側影輪廓的方法是利用圖像中物體輪廓信息來估計物體的形狀，其精度主要取決于物體輪廓提取的準確性、獲取圖像序列的數量以及物體結構的復雜程度，影響因子多，精度不易控制，局限于凸狀物體的重建；而基于特征區域擴張的方法主要利用特征點匹配重建空間稀疏點，在通過擴散得到物體表面的稠密點云，該方法無需任何初始信息，操作簡單，算法精度僅取決于特征點的匹配，精度控制容易實現故本發明實施例中三維重建算法將采用基于特征區域擴張的方法來實現。

在圖2中，顯微系統圖像獲取方法過程，該方法實施過程如下：

首先啟動上位機軟件，通過上位機軟件攝像機進行標定，標定完成之后，對傳至PC機(上位機)軟件上的視頻圖像進行去噪，同時觀察顯微圖像是否在視野范圍之內，如果顯微圖像不在視野范圍之內，上位機軟件通過RS232通信模塊向單片機發送控制命令，控制二號步進電機和五號步進電機轉動，帶動一號平臺進行前后及左右位置調整，以實現顯微圖像在視野中的位置；當顯微圖像處于視野中，并且處在一個合理的位置時，之后上位機軟件通過RS232通信模塊向單片機發送控制命令，控制三號步進電機轉動，實現一號平臺和二號平臺傾斜一定角度a；當傾斜角度調整完成之后，執行上位機軟件當中自動調焦算法，并根據自動調焦算法計算出的結果實時通過RS232通信模塊向單片機發送控制命令，控制四號步進電機轉動，實現一號平臺、二號平臺和三號平臺上下位置的調整，從而實現自動調焦；調焦完成之后，選取視頻信號中的一幀圖像作為左視圖，并存儲該圖像；存儲完成之后，上位機軟件通過RS232通信模塊向單片機發送控制命令，控制一號步進電機轉動，實現一號平臺旋轉一定角度，為了更好的找到左視圖對稱位置的圖像，旋轉角度設置為180°；旋轉角度完成之后，選取視頻信號中的一幀圖像作為右視圖并存儲該圖像。之后對以存儲的左視圖和右視圖采用GFTT算法對其特征點進行圖像特征點提取，之后再采用SIFT算法對已經提取的圖像特征點進行匹配；在特征點匹配完成之后，在上位機軟件上執行三維重建操作；三維重建完成之后，上位機軟件分別向通過RS232通信模塊向單片機發送控制命令，控制一號、二號、三號、四號、五號步進電機轉動使之平臺回到初始位置。

在圖3中，給出了旋轉拍照模型，接下來將對基于旋轉模型的自動調焦原理進行介紹。在對顯微圖像調焦時，常常采用基于清晰度評價函數的方法進行調焦，然而在使用基于清晰度評價函數進行調焦時，顯微平面都是不傾斜的平面，因為一旦平面傾斜不能聚焦的像素點就會增多，雖然不傾斜的平面在最佳聚焦位置，也不能保證所有的像素點聚焦，但顯微物體一般景深都比較小，因此不聚焦的像素點的個數會遠遠小于聚焦的像素點的個數，所以當顯微物體處于最佳聚焦位置時，整體看到的顯微圖像的清晰程度處于人眼可以接受的范圍之內。但當顯微平面傾斜時，就相當于間接的拉伸顯微物體的景深，顯然當顯微平臺處于最佳聚焦位置時，離焦像素點就會增多。在圖1中發現，傾斜平面上的物體在感光器件上的投影，與水平面上的物體在感光器件上的投影有一定的差別，而現有的清晰度評價函數都是針對水平面上的物體進行自動調焦的，因此如果不對傾斜平面投影到感光器件上形成圖像的像素做一下處理，那么現有的基于清晰度評價函數的調焦算法就不能使用，自動調焦也就無法實現。

參考文獻發現常用的清晰度評價函數有很多種，每種清晰度評價函數都有各自的優缺點，其中Laplacian清晰度評價函數為：

拉普拉斯算子是二階算子，其定義為：

由二階導函數的定義可以得到：

則Laplacian函數可以表示為：

如果空間任意位置處p(x,y,z)投影到感光器件上的像素點為f(x,y)，則空間任意位置處p(x,y,z)在豎直方向的投影為p(x,y)，而p(x,y,z)與p(x,y)之間的夾角為傾斜角度a，因此可以間接求出p(x,y)對應的清晰度評價函數為f(x,y)cosθ；之后對二階導函數的定義做如下修改：

修改后的Laplacian函數可以表示為：

最后把修改后的Laplacian函數作為自動調焦算法的清晰度評價函數；

其中調焦算法采用固定步長與自適應變步長相結合的方法進行調焦。

以上顯示和描述了本發明的基本原理和主要特征及本發明的優點，本行業的技術人員應該了解，其中的術語“連接”、“相連”均應作廣義理解，可以是機械連接也可以是電連接，可以是固定連接、一體連接也可以是活動連接或可拆卸連接，可以是物理連接也可以是信號連接，可以是直接相連也可以是通過中介媒介間接相連，只要不超出實際的本質連接關系，都應被正常接受的理解，以上僅為本發明的優選實施例而已，并不用于限制本發明，對于本領域的技術人員來說，本發明可以有各種更改和變化。凡在本發明的創造性精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發明的保護范圍之內。