本發明涉及一種盲人指路導航器,尤其是一種基于人工智能的路面可行度指示器。
背景技術:
為盲人指路導航是一件很有意義的事情。早期的電子盲人導路器、導航儀等產品,大多采用超聲波測距、激光測距來等主動單線探測手段來檢測障礙物,準確度比較低,視野狹小,適用范圍有限。
比較新的基于圖像處理的盲人導路方案中,主要是對道路邊界的提取技術,基于對道路的邊界識別,或者對圖像內容進行解析,例如計算路面方程以判別是否有障礙物等,而不是對圖像內容進行綜合特征判別。
關于如何將指示信息傳遞給盲人,多數方案中采用了聲音技術、振動以及機械觸覺。由于盲人主要依靠聽覺感知周圍環境,因此“導路器”采用聽覺則會占用盲人的聽覺通道,使他們難以感知周圍自然環境;而振動和其它機械觸覺(觸覺顯示)裝置則耗電量較大。如中國專利號CN201020626502.2,公開了一種基于立體視覺的導盲裝置,該通過語音輸出模塊給出的語音提示;中國專利號 CN201610513329.7,公開了一種用于人體佩戴的具有紅外全景深感知功能的導盲帽,該導盲帽采用立體圖像采集、視差計算、并采用主動紅外照明,以及微型電磁鐵控制觸點撞針結構。
技術實現要素:
本發明提出一款基于人工智能的路面可行度指示器,該裝置采用低功耗的微處理器,實時采集路面視頻圖像,并利用人工智能圖像分析技術(例如人工神經網絡技術)對眼前道路狀況是否可行進行判斷,最后將判別結果采用電致觸覺方式傳遞給盲人,并且采用電池供電,整個系統可佩戴在人體上。
為實現上述目的,本發明的技術方案是:一種基于人工智能的路面可行度指示器,由微型攝像頭、微處理器、觸覺發生器組成,所述微處理器包括紋理特征計算模塊、基于人工智能的可行度計算模塊、觸覺控制模塊,所述微處理器信號輸入端連接微型攝像頭,通過微型攝像頭實時采集彩色圖像,并進行濾噪預處理后;由紋理特征計算模塊依據紋理特征算法計算畫面的紋理特征;再由基于人工智能的可行度計算模塊依據圖像的紋理特征,采用人工智能算法對當前畫面的紋理特征進行“基于人工智能的可行度計算”,得出可行度級別;并通過觸覺控制模塊將可行度級別傳遞給觸覺發生器,觸覺發生器根據可行走級別產生不同強度的觸覺刺激,使盲人感知到可行走級別信息。
所述觸覺感知器采用電刺激的方式,制作成薄膜電路或其柔性電路,貼在盲人的皮膚上。所述薄膜電路上分布有電極,電極與微處理器相連,微處理器通過程序產生電脈沖,作用在電極上。
本發明的有益效果是:
本發明與現有技術相比區別:采用基于人工智能的圖像分類技術對路面可行度進行分類判斷,判別結果為路面的可行度級別,將路面可行度結果采用“電刺激觸覺”方式傳遞給用戶,而現有技術則采用其他不同的方式,如聲音、機械觸覺等方式。
本發明中所用的“基于人工智能的可行度計算”是一個重要的特征,它采用機器學習算法對紋理特征進行分類識別。該算法需要預先經過訓練,訓練過程可在PC計算機上實施,然后將訓練的結果存儲到本發明的裝置中,以供微處理器中的程序調用。
本發明可制作成小巧的便攜式產品,可以整體佩戴在盲人身體上。攝像頭和微處理器部分可以作為一個整體持在手中、或者佩戴在額頭等部位,而觸覺發生器則需要佩戴在手指、或者手掌、或者面頰、或者胳臂等部位。本發明的供電可采用鋰離子電池等大容量小體積的便攜電源。
附圖說明
圖1為本發明的基于人工智能的路面可行度指示器的原理框圖。
具體實施方式
下面結合附圖與實施例對本發明作進一步說明,但不限于這里列出的具體器件型號和參數。軟件模塊的算法也可選擇其它同類作用的算法。
如圖1所示,一種基于人工智能的路面可行度指示器,由微型攝像頭、微處理器、觸覺發生器組成。微處理器包括紋理特征計算模塊、基于人工智能的可行度計算模塊、觸覺控制模塊,所述微處理器信號輸入端連接微型攝像頭,通過微型攝像頭實時采集彩色圖像,并進行濾噪預處理后;由紋理特征計算模塊依據紋理特征算法計算畫面的紋理特征;再由基于人工智能的可行度計算模塊依據圖像的紋理特征,采用人工智能算法對當前畫面的紋理特征進行“基于人工智能的可行度計算”,得出可行度級別;并通過觸覺控制模塊將可行度級別傳遞給觸覺發生器,觸覺發生器根據可行走級別產生不同強度的觸覺刺激,使盲人感知到可行走級別信息。觸覺感知器采用電刺激的方式,制作成薄膜電路或其柔性電路,貼在盲人的皮膚上。薄膜電路上分布有電極,電極與微處理器相連,微處理器通過程序產生電脈沖,作用在電極上。攝像頭采用全局快門的攝像頭,以提高圖像質量。攝像頭拍攝的圖像送入微處理器,經過預處理(去燥、尺度變化等)后由紋理特征計算模塊計算出畫面的文理特征,再由人工智能軟件分析紋理特征,計算出畫面的可行度級別。可行度級別數據經由觸覺控制模塊轉換成觸覺發生器的控制信號,從而在觸覺發生器上產生觸覺感知效果,觸覺發生器產生的觸覺強度與可行度級別一一對應。
本發明的指示器的工作原理如下:
(1)該發明路面可行度指示器,硬件上由四部分組成:微型攝像頭、微處理器、觸覺發生器。以微處理器為中心,將其他部分連接起來。
(2)首先通過微型攝像頭將彩色圖像實時采集到微處理器中,并進行濾噪預處理;
(3)然后依據紋理特征算法計算畫面的紋理特征。
(4)再依據圖像的紋理特征,采用人工智能算法對當前畫面的紋理特征進行“基于人工智能的可行度計算”,得出可行度級別。
(5)可行度級別經由觸覺控制模塊被傳遞給觸覺發生器,觸覺發生器根據可行走級別產生不同強度的觸覺刺激,使盲人感知到可行走級別信息。
(6)觸覺感知器采用電刺激的方式。即制作成薄膜電路(或其他材質的柔性電路) ,貼在盲人的皮膚上。薄膜電路上分布有一定數量的電極,電極與微處理器相連。微處理器通過程序產生電脈沖,作用在電極上。
本發明的特點是:
(1)微處理器采用低功耗的產品,例如STM32F7系列,并利用其DCMI接口以實時幀率采集視頻圖像,根據微處理器的實際能力選擇圖像分辨率,建議采用176x144 YUV格式。
(2)預先對該“基于視覺的路面可行度指示器”進行訓練,訓練過程在PC計算機上完成,然后將結果存儲到該發明裝置中。具體步驟是:
(3) 采集大量的路面圖片,包括各種情況的路面和其他畫面,有可行走的也有不可行走的,這些圖像被人工標注為三種類型:0表示不可行走,1表示勉強可行走,2表示可以行走。當然也可以采用更為細致的級別劃分。
(4) 對以上樣本圖片一一計算紋理特征,形成紋理特征樣本庫;這里建議采用共生矩陣特征和顏色直方圖特征。
(5)采用人工神經網絡算法(也可以采用決策樹、支持向量機、深度信念網絡DBN、卷積神經經網絡等機器學習方法,這取決于所選用的微處理器的能力以及內存空間的大小),通過以上樣本庫對人工神經網絡進行訓練,等到網絡的權值和網絡結構數據;
(6)將訓練得到的算法權值和結構參數存儲到微處理器的內部Flash中,以備微處理器軟件調用。
(7)微處理器啟動后,首先讀取存儲的機器學習算法參數,構建與訓練過程中所使用算法相同的算法結構。
(8)對于采集到的每一幀圖像,采用與訓練過程中相同的前向計算過程進行計算,即 相同的圖像預處理、紋理特征計算、紋理特征分類識別步驟,計算出畫面的可行度類型。
(9)觸覺控制模塊將可行度數據轉換成觸覺發生器的控制量,并施加到觸覺發生器上。這里主要控制脈沖的占空比、頻率、猝發的模式、電壓、電流等參數。
(10)觸覺發生器采用薄膜電路、圓形電極陣列,根據電脈沖的頻率、占空比、猝發結構、電壓、電流等方面的控制,使得皮膚感知到應有的觸覺效果。
(11)該發明可采用輔助導航用器件,利用微處理器的富余資源為盲人提供路線導航和全局導航。這些器件包括GPS、姿態感知、地磁方向感知、加速度感知等。
(12)該發明實施時,也配套采用聲音、震動等輔助指示手段,以及超聲波測距等輔助測距手段。