本發(fā)明屬于氣體傳感器，具體涉及一種基于氣體傳感器與圖像融合的液體檢測與定位系統(tǒng)，該系統(tǒng)能夠精準(zhǔn)檢測并定位復(fù)雜環(huán)境下的液體，同時實現(xiàn)對多種液體的分類識別。

背景技術(shù)：

1、實現(xiàn)對液體原料的定位與識別在生產(chǎn)自動化領(lǐng)域具有重要意義。然而，傳統(tǒng)的單一模態(tài)檢測方法，如僅依賴視覺或嗅覺氣體傳感器，在面對形狀、顏色或氣味相近的液體時，往往難以達(dá)到理想的檢測效果。因此，如何結(jié)合視覺和嗅覺模態(tài)信號，實現(xiàn)復(fù)雜環(huán)境下的液體精準(zhǔn)檢測與定位，成為亟待解決的問題。

2、本發(fā)明利用模態(tài)融合技術(shù)通過整合來自不同氣體傳感器的信息，充分利用各自模態(tài)的優(yōu)勢，彌補(bǔ)單一模態(tài)的不足，提高系統(tǒng)對復(fù)雜環(huán)境的適應(yīng)能力和識別精度。在液體識別領(lǐng)域，將視覺與嗅覺信號進(jìn)行融合，可以實現(xiàn)對液體外觀特征與揮發(fā)性成分的綜合分析，從而實現(xiàn)對液體的更精準(zhǔn)識別與定位。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是提供一種基于氣體傳感器與圖像融合的液體檢測與定位系統(tǒng)，該系統(tǒng)由氣體傳感模塊、相機(jī)、機(jī)械臂和計算機(jī)組成，機(jī)械臂和相機(jī)通過數(shù)據(jù)線與計算機(jī)相連；氣體傳感模塊由微控制器、數(shù)模轉(zhuǎn)換芯片、usb串口電路和氣體傳感器陣列組成，氣體傳感器陣列通過信號線連接至模數(shù)轉(zhuǎn)換芯片，模數(shù)轉(zhuǎn)換芯片和usb串口電路通過總線與微控制器連接，微控制器對模數(shù)轉(zhuǎn)換芯片和usb串口電路進(jìn)行調(diào)度，實現(xiàn)氣體傳感器陣列敏感電極間電壓數(shù)字信號的采集和傳輸，usb串口電路將測量到的信號轉(zhuǎn)化為計算機(jī)能夠接收的usb信號，傳輸給計算機(jī)接口。

2、相機(jī)使用三腳架固定于盛有被測液體的容器上方，氣體傳感模塊、機(jī)械臂和相機(jī)通過數(shù)據(jù)線與計算機(jī)相連，利用計算機(jī)中的控制模塊進(jìn)行控制。氣體傳感器陣列由多個(5～20個)結(jié)構(gòu)相同的氣體傳感器電路組成，每個氣體傳感器電路由1個氣體傳感器、1個分壓電阻和1個電壓跟隨器組成；氣體傳感模塊固定于機(jī)械臂的末端，機(jī)械臂在計算機(jī)中控制模塊的控制下，可以將氣體傳感器陣列移動至盛有被測液體的容器上方。

3、氣體傳感器采用figaro公司生產(chǎn)的半導(dǎo)體氣體傳感器，型號為tgs-2610、tgs-2602、tgs-2620、tgs-2619、tgs-2609或tgs-2603中的一種或多種。如果空氣中存在由被測液體揮發(fā)的氣體時，氣體濃度越高氣體傳感器敏感電極的電導(dǎo)率就越低，敏感電極的電阻值會發(fā)生變化，將氣體傳感器與標(biāo)準(zhǔn)電阻連接構(gòu)成分壓電路，利用電阻分壓的方式氣體傳感器敏感電極間的電阻模擬信號轉(zhuǎn)化為電壓模擬信號，再將該電壓模擬信號通過數(shù)模轉(zhuǎn)換芯片轉(zhuǎn)換為電壓數(shù)字信號；計算機(jī)中的控制模塊通過數(shù)據(jù)線控制相機(jī)拍攝圖像、讀取氣體傳感模塊測量到的電壓數(shù)字信號并存儲以及控制機(jī)械臂運動；位于計算機(jī)中的檢測模塊(包含yolov8算法定位程序和分類網(wǎng)絡(luò))通過控制模塊傳輸來的電壓數(shù)字信號對液體進(jìn)行定位和分類，其中控制模塊和檢測模塊為使用python編程語言編寫的計算機(jī)程序。

4、本發(fā)明所述的一種基于氣體傳感器與圖像融合的液體檢測與定位系統(tǒng)，其檢測步驟如下：

5、(1)將相機(jī)通過三腳架固定于多種盛有被測液體的容器上方，將氣體傳感器陣列固定于機(jī)械臂的末端，將相機(jī)、機(jī)械臂、氣體傳感器陣列和計算機(jī)中的控制模塊進(jìn)行通訊連接；

6、(2)由計算機(jī)中的控制模塊控制相機(jī)采集盛有被測液體容器表面的圖像，裁剪后只保留液體表面的彩色圖像，同時使用計算機(jī)檢測模塊中的yolov8算法定位程序提取盛有被測液體的容器的位置信息，得到盛有被測液體的容器的二維坐標(biāo)；

7、(3)控制模塊根據(jù)提取到的被測液體的位置信息，將固定于機(jī)械臂末端的氣體傳感模塊移至液體的上方，氣體傳感模塊將氣體傳感器敏感電極兩端的電阻模擬信號轉(zhuǎn)換為電壓模擬信號，并通過模數(shù)轉(zhuǎn)換芯片轉(zhuǎn)換為電壓數(shù)字信號；

8、(4)氣體傳感模塊中的微處理器將該電壓數(shù)字信號傳輸給計算機(jī)，在計算機(jī)內(nèi)保存由氣體傳感器陣列測量的與液體種類相關(guān)的電壓數(shù)字信號；液體種類不同，揮發(fā)性氣體就不同，從而由微處理器傳輸給計算機(jī)的電壓數(shù)字信號就不同；

9、(5)保持多種液體的位置不變，重復(fù)步驟(2)到步驟(4)的過程100～200次，從而構(gòu)建由“液體圖像——電壓數(shù)字信號”組成的數(shù)據(jù)集；

10、(6)將數(shù)據(jù)集劃分為訓(xùn)練集(占數(shù)據(jù)集的70％)和驗證集(占數(shù)據(jù)集的30％)，利用訓(xùn)練集訓(xùn)練分類網(wǎng)絡(luò)，再通過驗證集驗證模型；網(wǎng)絡(luò)的激活函數(shù)為relu6函數(shù)，在訓(xùn)練過程中使用交叉熵作為學(xué)習(xí)監(jiān)督函數(shù)，在訓(xùn)練的損失函數(shù)小于-0.1時停止訓(xùn)練；

11、分類網(wǎng)絡(luò)由信號處理器、2個編碼器和融合分類器三部分組成；

12、信號處理器由圖像提取網(wǎng)絡(luò)與時序信號提取網(wǎng)絡(luò)構(gòu)成；圖像提取網(wǎng)絡(luò)由視覺信號提取模塊構(gòu)成，視覺信號提取模塊由vgg16網(wǎng)絡(luò)組成，具體操作為：vgg16網(wǎng)絡(luò)輸入作為訓(xùn)練集的步驟(2)裁剪后的彩色圖像，將圖像信息轉(zhuǎn)化為計算機(jī)能夠直接處理的浮點數(shù)數(shù)據(jù)，接著vgg16網(wǎng)絡(luò)進(jìn)入10個卷積計算操作；這些卷積計算操作都使用3×3的卷積核，步長設(shè)置為1，填充方式為“same”，以保持特征圖的空間尺寸不變；卷積計算操作的主要作用是提取圖像中的局部特征，如邊緣、紋理和形狀等；

13、在上述10個卷積計算操作之間還插入了4個池化計算操作，這些池化計算操作使用2×2的最大池化核，步長設(shè)置為2；池化計算操作的主要作用是降低特征圖的空間維度，減少參數(shù)數(shù)量和計算量，同時保留重要的特征信息；通過池化和卷積操作，特征圖的大小逐漸減小，最后得到一個大小為1×4096的特征向量；

14、時序信號提取網(wǎng)絡(luò)由三個時序模塊串聯(lián)而成，每個時序模塊由歸一化層、2個底部投影層、1×1卷積核、狀態(tài)機(jī)、乘法層和1個頂部投影層組成，具體操作為：歸一化層接收計算機(jī)存儲的作為訓(xùn)練集的電壓數(shù)字信號作為輸入數(shù)據(jù)，并進(jìn)行歸一化處理；隨后，這些特征被送入2個底部投影層進(jìn)行維度擴(kuò)張，其中一個底部投影層進(jìn)行維度擴(kuò)張后的信號經(jīng)過1×1卷積核的卷積計算后輸入由狀態(tài)方程組成的狀態(tài)機(jī)中，以提取出信號序列中的深層特征，如電壓數(shù)字信號的數(shù)值、走向和波動情況等；接著，這些經(jīng)過處理的深層特征再經(jīng)過乘法層，與經(jīng)另一個底部投影層進(jìn)行維度擴(kuò)張后的歸一化數(shù)據(jù)進(jìn)行矩陣乘法運算，最后通過投影層降維輸出得到一個大小為1×1024的特征向量；

15、圖像提取網(wǎng)絡(luò)與時序信號提取網(wǎng)絡(luò)得到的特征值由編碼器進(jìn)行統(tǒng)一編碼，每個編碼器由三層全連接層構(gòu)成，輸入為前級輸出的特征向量，維度與前級相同，圖像提取網(wǎng)絡(luò)的編碼器輸入為1×4096的特征向量，經(jīng)編碼器降維后，輸出大小為1×10的特征向量；時序信號提取網(wǎng)絡(luò)的編碼器輸入為1×1024的特征向量，經(jīng)編碼器降維后，輸出為大小為1×10的特征向量；利用2個編碼器將不同輸入信號的特征向量大小統(tǒng)一；

16、融合分類器通過全連接層將輸入的特征向量進(jìn)行拼接，拼接方式為將編碼器得到的向量按順序組合，并通過逐層運算對特征進(jìn)行融合，具體融合方式為：使用三層全連接層進(jìn)行深度融合，在融合過程中，全連接層的值在不斷變化，最終輸出被測液體的種類置信度(即被測液體的對應(yīng)每個已知種類的概率)，置信度最高的種類就是分類結(jié)果，從而得到訓(xùn)練好的分類網(wǎng)絡(luò)；

17、(7)將驗證集輸入到步驟(6)得到的訓(xùn)練好的分類網(wǎng)絡(luò)中，對訓(xùn)練好的分類網(wǎng)絡(luò)進(jìn)行驗證，從而實現(xiàn)對多種液體的分類識別。

18、本發(fā)明的優(yōu)點：

19、(1)通過多模態(tài)融合技術(shù)，有效區(qū)分形狀、顏色或氣味相近的液體，顯著提高識別準(zhǔn)確性；

20、(2)多模態(tài)融合策略使得本系統(tǒng)在不同環(huán)境下均能保持穩(wěn)定的檢測性能，增強(qiáng)了系統(tǒng)的實用性和可靠性；

21、(3)通過結(jié)合計算機(jī)視覺檢測對被測液體進(jìn)行快速定位，在液體檢測定位領(lǐng)域有獨創(chuàng)性；

22、(4)引入深度學(xué)習(xí)，能夠通過響應(yīng)值直接實現(xiàn)分類，不需要在分類前建立濃度-響應(yīng)標(biāo)準(zhǔn)。