專利名稱：成熟菠蘿識別與定位系統的制作方法
技術領域：
本實用新型實施例涉及計算機識別與定位技術領域，尤其涉及一種成熟菠蘿識別 與定位系統。
背景技術：
近些年，國內外的很多專家學者對果蔬采收機器人進行了大量的研究。其中果蔬 采收機器人的視覺系統即識別與定位系統的作用是識別待采果蔬并獲取其具體位置信息， 以備后續控制系統根據位置信息，驅動機械臂和末端執行器移動到采摘的位置，對果蔬進 行采收。因此果蔬的識別和定位系統是實現果蔬采收自動化的一項非常重要的工作。菠蘿種植在我國南方地區，種植面積非常廣，在菠蘿采收季節，人們面臨著天氣炎 熱、在田間去一顆顆的對成熟菠蘿進行識別和定位采摘，其勞動強度是非常之大。如果能夠 設計一套成熟菠蘿的識別與定位系統，然后采用現有的控制系統根據定位得到的成熟菠蘿 的位置信息，對成熟菠蘿進行采摘，便可以大大地減少人們的勞動量。因此，如何對成熟菠 蘿的識別與定位成為亟待解決的技術問題。

實用新型內容本實用新型實施例提供一種成熟菠蘿識別與定位系統，用以彌補現有技術的不 足，能夠自動識別成熟菠蘿并進行三維定位，有助于通過控制系統實現對成熟菠蘿的采摘， 能夠有效地減少人們的勞動量。本實用新型實施例提供一種成熟菠蘿識別與定位系統，包括用于對成熟菠蘿進 行圖像采集的兩個攝像頭，所述兩個攝像頭設置分別在雙目云臺兩側，所述雙目云臺設置 在三角架上，還包括用于對所述兩個攝像頭采集到的成熟菠蘿圖像進行處理、以實現對所 述成熟菠蘿進行識別與定位的的圖像處理設備，所述圖像處理設備與所述兩個攝像頭連接。本實用新型實施例的成熟菠蘿識別與定位系統，通過圖像處理設備自動實現對成 熟菠蘿的識別與定位，通過本實用新型實施例的方案為通過控制系統實現對成熟菠蘿的采 摘提供了很好的條件，大大減少了人們的勞動量，提高了勞動效率。

為了更清楚地說明本實用新型實施例或現有技術中的技術方案，下面將對實施例 或現有技術描述中所需要使用的附圖作一簡單地介紹，顯而易見地，下面描述中的附圖是 本實用新型的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動性的前提 下，還可以根據這些附圖獲得其它的附圖。圖1為本實用新型實施例提供的成熟菠蘿識別與定位系統的結構示意圖；圖2為本實用新型實施例提供的成熟菠蘿識別與定位系統的圖像處理設備的結 構示意圖；[0010]圖3為本實用新型實施例提供的成熟菠蘿識別與定位系統的實現步驟流程圖。
具體實施方式
為使本實用新型實施例的目的、技術方案和優點更加清楚，下面將結合本實用新 型實施例中的附圖，對本實用新型實施例中的技術方案進行清楚、完整地描述，顯然，所描 述的實施例是本實用新型一部分實施例，而不是全部的實施例。基于本實用新型中的實施 例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其它實施例，都屬于 本實用新型保護的范圍。
以下結合附圖和具體實施例進一步說明本實用新型實施例的技術方案。圖1為本實用新型實施例提供的成熟菠蘿識別與定位系統的結構示意圖；如圖1 所示，包括用于對成熟菠蘿進行圖像采集的兩個攝像頭10，兩個攝像頭10設置分別在雙 目云臺11兩側，雙目云臺11設置在三角架12上，用于對兩個攝像頭10采集到的成熟菠蘿 圖像進行處理、以實現對所述成熟菠蘿進行識別與定位的圖像處理設備13，圖像處理設備 13與兩個攝像頭10連接。本實施例為了減低該成熟菠蘿識別與定位系統的成本，使得該系統能夠得到廣 泛的推廣使用，其中兩個攝像頭10均采用互補金屬氧化物半導體(Complementary Metal Oxide Semiconductor,以下簡稱CMOS)攝像頭，且由于菠蘿是單株生長，具有個頭大，果眼 清晰等特性，這里的兩個攝像頭10的像素可以不高于130萬像素，便可以準確采集到成熟 菠蘿的圖像，通常可以選取兩個攝像頭10的像素相等。圖2為本實用新型實施例提供的成熟菠蘿識別與定位系統的圖像處理設備的結 構示意圖；如圖2所示，本實施例的菠蘿識別與定位系統中的圖像處理設備13可以具體包 括接收模塊131、預處理模塊132、分割處理模塊133、共軛匹配模塊134、定位模塊135和 校正模塊136。其中接收模塊131用于接收兩個攝像頭10采集到的所述成熟菠蘿圖像；需要注 意的是，當第一次采集成熟菠蘿圖像，需要對兩個攝像頭10進行參數設置。預處理模塊132用于對兩個攝像頭10采集到的所述成熟菠蘿圖像進行預處理，這 里的預處理包括對所述成熟菠蘿圖像進行中值濾波，腐蝕等預處理，以消除圖像噪聲；分割處理模塊133用于對預處理后的所述成熟菠蘿圖像進行分割，實現對成熟菠 蘿的識別和對所述成熟菠蘿果實圖像的提取，并計算和標記所述成熟菠蘿果實圖像的形 心；共軛匹配模塊134用于對兩個攝像頭10分別采集到的所述成熟菠蘿圖像進行分 割后的所述成熟菠蘿果實圖像進行共軛匹配；分割處理模塊133是對每個攝像頭的每幀 圖像做處理，最終標記出成熟菠蘿果實圖像的形心，然而兩個攝像頭10都在時刻對成熟菠 蘿圖像進行采集，需要確定兩個攝像頭采集到的成熟菠蘿圖像是否為同一個成熟菠蘿的圖 像，這里采用共軛匹配的方法，獲取到兩個攝像頭10指代的同一個成熟菠蘿圖像。定位模塊135用于根據匹配后的所述成熟菠蘿果實圖像的形心點，運用三角測距 原理，獲取所述成熟菠蘿果實圖像的形心點的三維信息；該模塊根據共軛匹配模塊134獲 取到的成熟菠蘿圖像，并根據分割處理模塊133計算出的成熟菠蘿果實的形心，然后運用 三角測距原理，便可得到成熟菠蘿果實圖像的形心點的在空間中的三維信息，即空間坐標。[0021]校正模塊136用于根據獲取到的所述成熟菠蘿果實圖像的形心點的三維信息得 到的計算值、以及根據多個所述計算值和與所述計算值分別對應的實際值運用人工神經網 絡進行訓練得到的預測關系，實現對所述成熟菠蘿定位。該模塊采用了一種特殊的處理方 式，即利用人工神經網絡進行訓練得到的預測關系，這里預測關系通過如下方式得到根據 定位模塊135獲取的成熟菠蘿果實的形心點的三維信息得到相應的三維計算值，然后通過 測量得到與所述相應計算值對應的實際值，通過多次對計算值和與實際值通過人工神經網 絡進行訓練，以克服計算值與實際值之間的誤差，便得到一個預測關系，這樣以后每次獲取 到一個成熟菠蘿果實圖像的形心點的三維信息的計算值，便可以根據預測關系獲取成熟菠 蘿的較準確的空間位置信息，以實現對成熟菠蘿的準確定位。需要說明的是，本實施例中的圖像處理設備13中還包括標定模塊(圖中未繪出)， 用于對雙目云臺11上設置的兩個攝像頭進行標定的標定模塊。需要說明的是，本實施例的菠蘿識別與定位系統中的圖像處理設備13中的分割 處理模塊133，具體地可以包括四個單元(圖中未繪出)，其中第一單元用于從預處理后的 所述成熟菠蘿圖像中獲取一條經過所述菠蘿成熟果實區域和經過包括菠蘿青葉、土地的背 景區域的區分線；即從預處理的消除噪聲的成熟菠蘿圖像中選取一條經過成熟菠蘿果實和 菠蘿青葉、土地、深黃色枯葉等背景區域的區分線。第二單元用于以所述區分線為水平參考線，分別繪制所述成熟菠蘿圖像中所述菠 蘿成熟果實區域和所述背景區域的紅色、綠色和藍色的分量曲線；具體地，第二單元以上述第一單元獲取的區分線作為水平參考線，分別繪制經過 區分線的成熟菠蘿和各背景區域的紅色、綠色和藍色的分量曲線。第三單元用于根據公式H(i，j) = 10X(r(i, j)-g(i, j))/b(i, j)獲取一對比線， 并選取H(i，j) > 5&H(i，j) < 40區域，以識別并對所述成熟菠蘿果實圖像進行提取，其中 H(i，j)表示以所述成熟菠蘿圖像中所述水平參考線的左端點為原點，橫坐標為i，縱坐標 為j的所述對比線對應的值；r(i，j)表示橫坐標為i，縱坐標為j的紅色分量曲線對應的 值，g(i，j)表示橫坐標為i，縱坐標為j的綠色分量曲線對應的值，b(i，j)表示橫坐標為 i，縱坐標為j的藍色分量曲線對應的值；具體地，首先在預處理后的成熟菠蘿圖像中，以水平參考線即上述所述區分線的 左端點為原點，然后根據公式H(i，j) = 10X(r(i, j)_g(i，j))/b(i，j)獲取一對比線，并 選取H(i，j) >5&H(i，j) <40區域，便可以識別到黃色的成熟菠蘿果實圖像，突出了成熟 菠蘿果實區域，抑制背景區域，實現對成熟菠蘿果實區域的提取；上述公式為對成熟菠蘿圖 像經過多次試驗得到的能夠清晰獲取成熟菠蘿果實的關系式，若在對比線H(i，j)在H(i， j) >5&H(i，j) <40區域內，觀察不到成熟菠蘿果實圖像，說明此位置處沒有成熟菠蘿，可 能是此位置處的菠蘿不成熟或者此位置處根本沒有菠蘿。其中數字10表示對結果放大十 倍，以方便識別與提取。這里主要利用成熟菠蘿為黃顏色，在顏色上與青葉、土地等背景色 有很大的區別，根據成熟菠蘿顏色與背景顏色的區別找到適用于突出成熟菠蘿圖像，抑制 背景區域的R、G、B分量曲線的公式H(i，j) = 10X(r(i, j)-g(i，j))/b(i，j)，并設置閾值 H(i，j) > 5&H(i，j) < 40實現對成熟菠蘿的成功提取。第四單元用于計算和標記所述成熟菠蘿果實圖像的形心。該單元主要對第三單元 做中提取到的成熟菠蘿果實圖像進行計算標記其形心，以便后續對成熟菠蘿的具體定位。[0029]本實施例的菠蘿識別與定位系統，能夠自動識別和定位成熟菠蘿圖像，有助于通 過控制系統實現對成熟菠蘿的采摘工作，大大地減少了人們的工作量；而且該系統通過采 用不高于130萬像素的CMOS攝像頭，價格低廉，有效地保證了該系統的低成本，有助于推廣 和使用。以上所描述的實施例僅僅是示意性的，其中所述作為分離部件說明的單元可以是 或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即 可以位于一個地方，或者也可以分布到多個網絡單元上。可以根據實際的需要選擇其中的 部分或者全部模塊來實現本實施例方案的目的。本領域普通技術人員在不付出創造性的勞 動的情況下，即可以理解并實施。上述實施例中的圖像處理設備可以采用計算機實體來實現，具體地，圖像處理設 備中的各模塊以及模塊中包括的單元可以通過相應的計算機軟件來實現。圖3為本實用新型實施例提供的一種成熟菠蘿識別與定位系統的實現步驟流程 圖；如圖3所示，本實施例中采用計算機來實現圖像處理設備的功能為例，詳細說明采用本 實用新型的技術方案實現對成熟菠蘿的識別與定位過程。步驟100、系統的搭建；具體地，將兩個攝像頭10分別設置在雙目云臺11的兩側，具體的兩個攝像頭10 可以是對稱的設置在雙目云臺11的兩側，雙目云臺11設置在三角架12上；圖像處理設備 13采用一臺計算機實體來實現，計算機與兩個攝像頭10均有連接，以實現對成熟菠蘿的是 識別與定位。這里的攝像頭10可以采用像素不高于130萬的CMOS攝像頭，市場價格在RMB 100元/個左右，有效地保證整個系統的低成本，當在XP操作系統下，本實施例的攝像頭10 不需安裝驅動，即插即用，使用非常方便。步驟101、攝像頭的標定；具體地，采用現有的標定方法，在圖像采集窗口，對制作的棋盤格分別采用了基于 C++和Opencv 1. 1的自動標定方法和基于Matlab標定工具箱的兩種方法進行了試驗。發 現基于C++和Opencv 1. 1的自動標定方法對于CMOS攝像頭拍攝的圖像存在有一定的誤 差，而Matlab標定工具箱的標定效果則相對較好。因此，本實施例優選Matlab標定工具箱 對兩個攝像頭進行標定，實現上述實施例標定模塊的功能，通過該步驟標定后可以獲得兩 個攝像頭10的各個參數，以便于后續對成熟菠蘿的定位。步驟102、成熟菠蘿圖像的采集；在XP系統下，完成了基于Vc編程環境，調用Opencv庫函數的雙目圖像采集，并在 打開攝像頭過程中，實現了攝像頭參數的選擇設置。步驟103、成熟菠蘿圖像的預處理；具體地，采用圖像處理軟件，對兩個攝像頭10采集到的菠蘿圖像進行中值濾波， 腐蝕等預處理，以有效地去除圖像中的噪聲，實現預處理模塊132的功能。步驟104、成熟菠蘿果實圖像的分割；具體地，這里采用圖像處理軟件實現分割處理模塊133及其包括的四個單元的功 能，以對成熟菠蘿果實圖像的分割提取，詳細參考上述實施例，在此不再贅述。在提取到成 熟菠蘿果實圖像后，需要對該果實圖像計算并能標記形心，以便于后續對成熟菠蘿果實的 定位。
6[0043]步驟105、共軛成熟菠蘿果實圖像的匹配；上述步驟103和步驟104的具體處理都是針對其中一個攝像頭采集到的圖像，為 了準確地對成熟菠蘿圖像的定位，需要對兩個攝像頭中表示采集到的同一個成熟菠蘿果實 圖像進行共軛匹配；具體對共軛圖像分別進行灰度的運算，實現了圖像興趣點的快速檢測、 良好的興趣點周圍區域的特征描述，然后根據這些特征，對兩個攝像頭采集到的成熟波羅 果實圖像進行快速匹配，實現共軛匹配模塊134的功能。步驟106、成熟菠蘿果實圖像的定位；具體地，根據對兩個攝像頭采集到的成熟菠蘿果實圖像進行共軛匹配后，獲取匹 配的成熟菠蘿果實圖像的形心，然后運用三角測距原理，采用下面的公式，計算成熟菠蘿果 實形心的三維信息，即該成熟菠蘿果實形心空間具體坐標X，y，Z。 其中x，y，Z分別表示成熟菠蘿果實形心的空間上的X方向的坐標值，y方向的坐 標值，z方向的坐標值；f, tx, ty，tz, rl, r2，r3，r4，r5, r6，r7，r8，r9 分別為攝像頭的內外參數，在進行 標定的時候，均已經通過矩陣形式求出。其中f為兩個攝像頭的焦距，本實用新型實施例約定兩攝像頭的焦距近似相等， 實際計算中可以取兩者的平均值；若以左攝像頭為世界坐標系的原點，右攝像頭相對于左攝像頭有一個平移矩陣， 其中tx，ty, tz，分別為x，y，z方向上的平移量；若以左攝像頭為世界坐標系的原點，右攝像頭相對于左攝像頭的旋轉矩陣，為一 個3X3矩陣，其中rl，r2，r3，r4，r5，r6，r7，r8，r9分別表示旋轉矩陣中的9個數值；因為 上述公式中的參數前述步驟均能夠得到，根據上述公式便可以得到成熟菠蘿果實的形心坐 標，初步實現對成熟菠蘿果實的定位，實現了定位模塊135的功能。步驟107、對定位得到的位置信息進行校正；具體地，通常采用一個運用人工神經網絡訓練得到的一個預測關系進行校正，對 計算得到的成熟菠蘿果實的形心位位置坐標進行校正。所述預測關系是通過以下方式得 到針對多次通過三角測距原理獲得的成熟菠蘿果實形心坐標的計算值，分別現場測距獲 取相應的成熟菠蘿果實形心坐標的實際值，然后通過人工神經網絡進行訓練，便得到一個 用來校正誤差的預測關系。這樣，以后每得到一個成熟菠蘿果實形心坐標的計算值，便可根 據預測關系對該計算值進行校正，便可得到一個比較準確的成熟菠蘿果實形心坐標的校正 值，實現了校正模塊136的功能。通過以上的實施方式的描述，本領域的技術人員可以清楚地了解到各實施方式可 借助軟件加必需的通用硬件平臺的方式來實現。基于這樣的理解，上述技術方案本質上或
7者說對現有技術做出貢獻的部分可以以軟件產品的形式體現出來，該計算機軟件產品可以 存儲在計算機可讀存儲介質中，如ROM/RAM、磁碟、光盤等，包括若干指令用以使得一臺計算 機設備(可以是個人計算機，服務器，或者網絡設備等)執行各個實施例或者實施例的某些 部分所述的方法。結合本申請中所公開的實施例描述的各示例的模塊或單元，能夠以電子硬件、計 算機軟件或者二者的結合來實現，為了清楚地說明硬件和軟件的可互換性，在上述說明中 已經按照功能一般性地描述了各示例的組成及步驟。這些功能究竟以硬件還是軟件方式來 執行，取決于技術方案的特定應用和設計約束條件。專業技術人員可以對每個特定的應用 來使用不同方法來實現所描述的功能，但是這種實現不應認為超出本實用新型的范圍。最后應說明的是以上實施例僅用以說明本實用新型的技術方案，而非對其限制； 盡管參照前述實施例對本實用新型進行了詳細的說明，本領域的普通技術人員應當理解: 其依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分技術特征進行等 同替換；而這些修改或者替換，并不使相應技術方案的本質脫離本實用新型各實施例技術 方案的精神和范圍。
權利要求一種成熟菠蘿識別與定位系統，其特征在于，包括用于對成熟菠蘿進行圖像采集的兩個攝像頭，所述兩個攝像頭分別設置在雙目云臺兩側，所述雙目云臺設置在三角架上；用于對所述兩個攝像頭采集到的成熟菠蘿圖像進行處理、以實現對所述成熟菠蘿進行識別與定位的圖像處理設備，所述圖像處理設備與所述兩個攝像頭連接。
2.根據權利要求1所述的成熟菠蘿識別與定位系統，其特征在于，所述兩個攝像頭均 采用互補金屬氧化物半導體攝像頭。
3.根據權利要求1或2所述的成熟菠蘿識別與定位系統，其特征在于，所述兩個攝像頭 的像素不高于130萬像素。
4.根據權利要求3所述的成熟菠蘿識別與定位系統，其特征在于，所述兩個攝像頭的 像素相等。
專利摘要本實用新型實施例提供一種成熟菠蘿識別與定位系統，包括用于對成熟菠蘿進行圖像采集的兩個攝像頭，所述兩個攝像頭設置分別在雙目云臺兩側，所述雙目云臺設置在三角架上；還包括用于對所述兩個攝像頭采集到的成熟菠蘿圖像進行處理、以實現對所述成熟菠蘿進行識別與定位的的圖像處理設備，所述圖像處理設備與所述兩個攝像頭連接。本實用新型實施例通過圖像處理設備自動實現對成熟菠蘿的識別與定位，為通過控制系統實現對成熟菠蘿的采摘提供了很好的條件，能夠大大減少人們的勞動量，提高勞動效率。
文檔編號A01D46/30GK201600330SQ2009202461
公開日2010年10月6日 申請日期2009年9月23日 優先權日2009年9月23日
發明者李斌, 李莉, 汪懋華, 高瑞 申請人:中國農業大學