本申請涉及數據處理,尤其涉及一種基于昇騰的高可靠光場超分辨邊緣計算方法及系統。
背景技術:
1、近年來,隨著計算機視覺、虛擬現實、自動駕駛等領域的快速發展,對高質量圖像的需求日益增長。光場相機作為一種新型成像技術,能夠同時記錄場景中光線的方向和強度信息,為后續圖像處理提供了豐富的數據基礎。與傳統二維圖像相比,光場成像技術捕獲的四維光場數據(空間坐標和角度坐標)提供了更豐富的場景表示,使三維場景重建和深度感知成為可能。光場超分辨重建技術旨在利用這些豐富的光場數據,突破傳統成像系統的分辨率限制,獲得更高清晰度的圖像,在醫療影像、安防監控、工業檢測等領域具有廣闊的應用前景。相關技術的發展路線包括傳統方法(基于頻域處理、插值和正則化)和深度學習方法(卷積神經網絡、生成對抗網絡等),但多數研究集中在云端處理環境下。
2、然而,現有的光場超分辨技術在邊緣計算環境中面臨諸多挑戰。首先,光場數據體積龐大,傳統云端處理模式帶來高網絡延遲和帶寬壓力;其次,邊緣設備計算資源有限,難以直接部署復雜的深度學習模型;第三,不同場景下光場數據質量差異大,單一處理算法難以適應多樣化應用場景;第四,現有方法普遍缺乏可靠性保障機制,無法應對數據異常、設備過載等邊緣場景常見問題;最后,現有技術多以處理質量為唯一目標,忽視了實際應用中的實時性、穩定性和資源效率等綜合性能需求。特別是在昇騰等新型ai芯片日益普及的背景下,如何充分發揮異構計算資源優勢,構建高可靠的邊緣光場超分辨計算框架,成為亟待解決的關鍵技術問題。
技術實現思路
1、本申請提供了一種基于昇騰的高可靠光場超分辨邊緣計算方法及系統,用于通過構建基于昇騰的高可靠光場超分辨邊緣計算方法,集成了自適應質量評估、雙路徑超分辨處理與智能融合、異構資源動態調度等創新機制,有效提高了邊緣環境下光場超分辨處理的可靠性和適應性。
2、第一方面,本申請提供了一種基于昇騰的高可靠光場超分辨邊緣計算方法,所述基于昇騰的高可靠光場超分辨邊緣計算方法包括:通過光場相機采集raw格式光場數據,對所述光場數據進行dncnn去噪處理,得到hdf5格式的預處理數據;根據所述預處理數據,通過transformer-cnn模型進行校準,生成深度誤差補償系數與畸變矯正矩陣;利用校準后的光場數據,經fpga加速efficientnet模型與fft處理,輸出可靠性評分與頻域超分辨結果;基于所述可靠性評分與頻域超分辨結果,由昇騰npu執行esrgan模型計算,形成深度學習超分辨圖像;將所述頻域超分辨結果與深度學習超分辨圖像,通過u-net融合網絡進行質量評分加權,獲得8k光場的超分辨成像;對所述8k光場的超分辨成像進行psnr、ssim評估,由任務調度模塊動態分配昇騰npu與fpga資源,構建邊緣計算冗余機制。
3、第二方面,本申請提供了一種基于昇騰的高可靠光場超分辨邊緣計算系統,所述基于昇騰的高可靠光場超分辨邊緣計算系統包括:
4、去噪模塊,用于通過光場相機采集raw格式光場數據,對所述光場數據進行dncnn去噪處理,得到hdf5格式的預處理數據;
5、校準模塊,用于根據所述預處理數據,通過transformer-cnn模型進行校準,生成深度誤差補償系數與畸變矯正矩陣;
6、處理模塊,用于利用校準后的光場數據,經fpga加速efficientnet模型與fft處理,輸出可靠性評分與頻域超分辨結果;
7、計算模塊,用于基于所述可靠性評分與頻域超分辨結果,由昇騰npu執行esrgan模型計算,形成深度學習超分辨圖像;
8、加權模塊,用于將所述頻域超分辨結果與深度學習超分辨圖像,通過u-net融合網絡進行質量評分加權,獲得8k光場的超分辨成像;
9、分配模塊,用于對所述8k光場的超分辨成像進行psnr、ssim評估,由任務調度模塊動態分配昇騰npu與fpga資源,構建邊緣計算冗余機制。
10、本發明第三方面提供了一種計算機設備,包括:存儲器和至少一個處理器,所述存儲器中存儲有指令;所述至少一個處理器調用所述存儲器中的所述指令,以使得所述計算機設備執行上述的基于昇騰的高可靠光場超分辨邊緣計算方法。
11、本發明的第四方面提供了一種計算機可讀存儲介質,所述計算機可讀存儲介質中存儲有指令,當其在計算機上運行時,使得計算機執行上述的基于昇騰的高可靠光場超分辨邊緣計算方法。
12、本申請提供的技術方案中,本發明通過光場相機采集raw格式光場數據并進行dncnn去噪處理,得到結構化的hdf5格式預處理數據,確保了后續處理的數據質量與一致性;基于transformer-cnn混合架構模型對預處理數據進行校準,生成精確的深度誤差補償系數與畸變矯正矩陣,有效消除了光場成像過程中的系統性誤差;利用fpga加速的efficientnet模型與fft處理技術,實現了硬件級并行處理能力,大幅提升了質量評估與頻域處理的實時性,同時輸出的可靠性評分與頻域超分辨結果為后續處理提供了雙重保障;基于昇騰npu執行esrgan模型計算,充分利用了npu在深度學習推理方面的優勢,形成包含豐富紋理細節的深度學習超分辨圖像;創新性地將頻域結果與深度學習圖像通過u-net融合網絡進行質量評分加權,實現了不同處理路徑優勢的互補增強,解決了單一算法難以適應復雜場景的問題;采用psnr、ssim評估與任務調度模塊動態資源分配策略,構建了完整的邊緣計算冗余機制,顯著提高了系統的容錯能力與穩定性。本發明針對光場數據特性,在算法設計層面做出了多項創新:dncnn去噪模型針對光場圖像的噪聲分布特性進行了優化,有效保留了角度信息;transformer-cnn混合架構充分發揮了transformer在全局關系建模和cnn在局部特征提取方面的互補優勢;基于可靠性評分的動態損失函數調整機制使esrgan模型能根據數據質量自適應地平衡保真度與感知質量;u-net融合網絡的通道注意力機制則實現了頻域處理與深度學習結果的最優融合。這些算法特性共同作用,使系統能在資源受限的邊緣環境中,針對不同質量的光場數據自動選擇最佳處理策略,顯著提升了超分辨結果的質量一致性。整體而言,本發明不僅克服了現有技術中邊緣環境資源限制、可靠性不足等問題,還通過異構計算資源的協同優化和智能處理策略的動態調整,實現了光場超分辨系統的高可靠性、高適應性和高效能。
1.一種基于昇騰的高可靠光場超分辨邊緣計算方法,其特征在于,所述基于昇騰的高可靠光場超分辨邊緣計算方法包括:
2.根據權利要求1所述的基于昇騰的高可靠光場超分辨邊緣計算方法,其特征在于,所述通過光場相機采集raw格式光場數據,對所述光場數據進行dncnn去噪處理,得到hdf5格式的預處理數據,包括:
3.根據權利要求1所述的基于昇騰的高可靠光場超分辨邊緣計算方法,其特征在于,所述根據所述預處理數據,通過transformer-cnn模型進行校準,生成深度誤差補償系數與畸變矯正矩陣,包括:
4.根據權利要求1所述的基于昇騰的高可靠光場超分辨邊緣計算方法,其特征在于,所述利用校準后的光場數據,經fpga加速efficientnet模型與fft處理,輸出可靠性評分與頻域超分辨結果,包括:
5.根據權利要求1所述的基于昇騰的高可靠光場超分辨邊緣計算方法,其特征在于,所述基于所述可靠性評分與頻域超分辨結果,由昇騰npu執行esrgan模型計算,形成深度學習超分辨圖像,包括:
6.根據權利要求1所述的基于昇騰的高可靠光場超分辨邊緣計算方法,其特征在于,所述將所述頻域超分辨結果與深度學習超分辨圖像,通過u-net融合網絡進行質量評分加權,獲得8k光場的超分辨成像,包括:
7.根據權利要求1所述的基于昇騰的高可靠光場超分辨邊緣計算方法,其特征在于,所述對所述8k光場的超分辨成像進行psnr、ssim評估,由任務調度模塊動態分配昇騰npu與fpga資源,構建邊緣計算冗余機制,包括:
8.一種基于昇騰的高可靠光場超分辨邊緣計算系統,用于實現如權利要求1-7中任一項所述的基于昇騰的高可靠光場超分辨邊緣計算方法,其特征在于,所述基于昇騰的高可靠光場超分辨邊緣計算系統包括:
9.一種計算機設備,其特征在于,包括存儲器和處理器,所述存儲器存儲有可在處理器上運行的計算機程序,所述處理器執行所述計算機程序時實現權利要求1至7中任一項所述的基于昇騰的高可靠光場超分辨邊緣計算方法。
10.一種計算機可讀存儲介質,其特征在于,其上存儲有計算機程序,所述計算機程序在被處理器運行時使得所述處理器執行如權利要求1至7中任一項所述的基于昇騰的高可靠光場超分辨邊緣計算方法。