本發(fā)明涉及一種基于深度學習的端到端視覺里程計及方法。

背景技術(shù)：

視覺里程計是機器人利用視覺傳感器估計自身運動的方法，是機器人定位、地圖構(gòu)建、避障以及路徑規(guī)劃等高層任務的基礎技術(shù)。

傳統(tǒng)的視覺里程計主要基于幀間視覺特征的空間幾何關(guān)系，估計機器人幀間位姿，因此也稱為幀間估計。特征分為稀疏特征和稠密特征兩類，分別對應于圖像局部信息表示和全局信息表示。傳統(tǒng)的特征需要人工選取或計算，造成對圖像信息表示具有一定人為性和局限性，同時依賴特征匹配的準確性，在應對圖像的光照變化、運動模糊、紋理單一等情形具有較大的局限性，影響了其估計精度。

技術(shù)實現(xiàn)要素：

本發(fā)明為了解決上述問題，提出了一種基于深度學習的端到端視覺里程計及方法，本發(fā)明利用端到端的幀間估計深度神經(jīng)網(wǎng)絡技術(shù)，實現(xiàn)了從原始圖像到幀間估計的直接輸出，相對于傳統(tǒng)方法，該技術(shù)無需手動提取特征或光流圖像、無需構(gòu)建特征描述子、無需幀間特征匹配，更無需進行復雜的幾何運算。

為了實現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：

一種基于深度學習的端到端視覺里程計，包括級聯(lián)的光流網(wǎng)絡和幀間估計網(wǎng)絡，所述光流網(wǎng)絡根據(jù)數(shù)據(jù)集中圖像序列中的相鄰幀，選取輸出光流向量和基準數(shù)據(jù)之間的光流端點誤差為損失函數(shù)，進行網(wǎng)絡訓練后，將生成的光流圖像輸出，所述幀間估計網(wǎng)絡以光流圖像作為輸入，基于六自由度輸出位姿向量與基準數(shù)據(jù)之間的距離構(gòu)建損失函數(shù)，迭代訓練網(wǎng)絡，進行幀間估計。

所述光流網(wǎng)絡和幀間估計網(wǎng)絡均為層次化訓練方式。

所述光流網(wǎng)絡為卷積神經(jīng)網(wǎng)絡訓練器。

所述光流網(wǎng)絡以相鄰幀連續(xù)圖像作為輸入，選取輸出光流向量和基準數(shù)據(jù)之間的光流端點誤差作為損失函數(shù)，進行將輸入的連續(xù)幀圖像生成光流圖像的網(wǎng)絡訓練。

所述幀間估計網(wǎng)絡以光流圖像作為輸入，將整個光流圖像的訓練劃分為全局光流圖訓練和多個子光流圖像的局部訓練，最后組合兩者輸出的特征，輸出到全連接層，完成基于光流的幀間估計網(wǎng)絡。

所述幀間估計網(wǎng)絡為利用KITTI數(shù)據(jù)集訓練網(wǎng)絡。

所述幀間估計網(wǎng)絡為利用合成數(shù)據(jù)來訓練網(wǎng)絡。

一種基于深度學習的端到端視覺里程估計方法，根據(jù)數(shù)據(jù)集中圖像序列中的相鄰幀，選取輸出光流向量和基準數(shù)據(jù)之間的光流端點誤差為損失函數(shù)，進行網(wǎng)絡訓練后，生成光流圖像，根據(jù)光流圖像，基于六自由度輸出位姿向量與基準數(shù)據(jù)之間的距離構(gòu)建損失函數(shù)，迭代訓練網(wǎng)絡，進行幀間估計。

采用不同輸入輸出數(shù)據(jù)分別訓練光流網(wǎng)絡模塊和幀間估計網(wǎng)絡模塊，最后將兩者級聯(lián)，進一步深層次訓練，優(yōu)化參數(shù)。

本發(fā)明的有益效果為：

(1)本發(fā)明相較于傳統(tǒng)方法，無需人工選取或計算特征，免去了誤差較大的特征匹配過程，更無需復雜的幾何運算，具有直觀簡單的特點；

(2)本發(fā)明提出的層次化深度神經(jīng)網(wǎng)絡訓練方法，可實現(xiàn)光流網(wǎng)絡和幀間估計網(wǎng)絡并行訓練，提高了訓練速度；

(3)本發(fā)明中光流網(wǎng)絡的應用，提高了光流計算速度，使得算法實時性得到了提升；

(4)本發(fā)明采用不同輸入輸出數(shù)據(jù)分別訓練光流網(wǎng)絡模塊和幀間估計網(wǎng)絡模塊，最后將兩者級聯(lián)構(gòu)成端到端的視覺里程計模塊，再進一步深層次訓練，優(yōu)化參數(shù)。該層級化訓練方法可以大幅降低訓練時間，提高訓練效率。

附圖說明

圖1為本發(fā)明的系統(tǒng)結(jié)構(gòu)示意圖；

圖2為本發(fā)明的基于卷積神經(jīng)網(wǎng)絡的光流網(wǎng)絡示意圖；

圖3為本發(fā)明的幀間估計網(wǎng)絡示意圖。

具體實施方式：

下面結(jié)合附圖與實施例對本發(fā)明作進一步說明。

一種端到端的幀間估計深度神經(jīng)網(wǎng)絡技術(shù)，實現(xiàn)了從原始圖像到幀間估計的直接輸出，是一個模塊化的視覺里程計。相對于傳統(tǒng)方法，該技術(shù)無需手動提取特征或光流圖像、無需構(gòu)建特征描述子、無需幀間特征匹配，更無需進行復雜的幾何運算。

如圖1所示，本發(fā)明的里程計包含兩個子模塊：光流網(wǎng)絡模塊和幀間估計網(wǎng)絡模塊。兩個模塊采用層次化訓練方式，即采用不同輸入輸出數(shù)據(jù)分別訓練光流網(wǎng)絡模塊和幀間估計網(wǎng)絡模塊，最后將兩者級聯(lián)構(gòu)成端到端的視覺里程計模塊，再進一步深層次訓練，優(yōu)化參數(shù)。該層級化訓練方法可以大幅降低訓練時間，提高訓練效率，也是深度神經(jīng)網(wǎng)絡的優(yōu)勢之一。具體步驟如下：

光流網(wǎng)絡的構(gòu)建：光流網(wǎng)絡可由卷積神經(jīng)網(wǎng)絡(CNN)構(gòu)成，并通過真實數(shù)據(jù)或合成數(shù)據(jù)進行網(wǎng)絡訓練，以相鄰幀連續(xù)圖像作為輸入，選取輸出光流向量和基準數(shù)據(jù)之間的光流端點誤差(endpoint error，EPE)作為損失函數(shù)，實現(xiàn)從輸入連續(xù)幀圖像到光流生成的網(wǎng)絡訓練。

如圖2所示，分別將第i幀圖像和第i+1幀圖像輸入CNN網(wǎng)絡，輸出各自的圖像特征表示；組合前后幀圖像特征表示，進一步輸入到更深層次的CNN網(wǎng)絡；通過上卷積網(wǎng)絡提高CNN網(wǎng)絡的池化操作結(jié)果分辨率，輸出逐像素的稠密全局光流圖。

幀間估計網(wǎng)絡的構(gòu)建：該網(wǎng)絡以光流圖像作為輸入，以六自由度輸出位姿向量與基準數(shù)據(jù)之間的距離構(gòu)建損失函數(shù)，迭代訓練網(wǎng)絡。圖3展示了利用局部光流圖像和全局光流圖像分別訓練網(wǎng)絡組合完成基于光流的幀間估計的過程。此過程可選用KITTI數(shù)據(jù)集或合成數(shù)據(jù)來訓練網(wǎng)絡，并通過傳統(tǒng)光流算法計算輸入光流。

幀間估計模塊的建立過程中，首先將全局光流圖分割成多個局部光流子圖，然后將全局光流圖和局部光流子圖分別輸入CNN網(wǎng)絡，得到光流局部特征和全局特征表示。將光流局部特征和全局特征表示進行組合，輸入到全連接層，得到六自由度位姿向量表示的幀間估計。

訓練過程可分為三個階段：首先局部光流子圖作為輸入，幀間估計作為輸出，訓練網(wǎng)絡；其次將全局光流圖作為輸入，幀間估計作為輸出，訓練網(wǎng)絡；最后，將局部光流子圖和全局光流圖同時作為輸入，幀間估計作為輸出，進一步訓練網(wǎng)絡。

實現(xiàn)端對端的視覺里程計：級聯(lián)訓練好的光流網(wǎng)絡和基于光流的幀間估計網(wǎng)絡，將數(shù)據(jù)集中圖像序列的相鄰幀作為整個網(wǎng)絡的輸入，以六自由度輸出向量和基準數(shù)據(jù)的距離構(gòu)造損失函數(shù)，迭代訓練優(yōu)化參數(shù)，實現(xiàn)快速、精確、魯棒的端對端的視覺里程計。

上述雖然結(jié)合附圖對本發(fā)明的具體實施方式進行了描述，但并非對本發(fā)明保護范圍的限制，所屬領(lǐng)域技術(shù)人員應該明白，在本發(fā)明的技術(shù)方案的基礎上，本領(lǐng)域技術(shù)人員不需要付出創(chuàng)造性勞動即可做出的各種修改或變形仍在本發(fā)明的保護范圍以內(nèi)。