本發明涉及數據處理,尤其涉及一種衛星和傳感器數據一體化采集分析方法及系統。
背景技術:
1、衛星監測是使用衛星進行遙感和數據采集的過程,衛星通常攜帶各種傳感器,如光學傳感器、雷達、紅外線傳感器等,這些傳感器從太空中收集數據,可以用于監測天氣、海洋、地質、環境變化、植被覆蓋等。而傳感器監測是通過使用傳感器設備來捕捉環境中的各種數據,傳感器可以嵌入在各種設備和系統中,用于監測環境因素,如氣象條件、水質、空氣質量、交通流量等。傳感器數據可以通過互聯網連接的設備進行實時傳輸,以進行實時監測和決策支持。傳感器監測在智能城市、健康監測、交通管理等領域有廣泛應用。這些監測方法在科學研究、資源管理和決策制定中發揮著關鍵作用。
2、而單一的衛星遙感技術或者傳感器網絡技術各自具有其優勢和局限性,大尺度監測數據和高分辨率數據融合,粗粒度數據和細粒度數據的融合,提高監測數據的精度和分辨率對環境保護與治理、健康與安全保障、環境政策制定、自然災害預警、資源管理和可持續發展等方面尤為重要。
3、為了克服這些缺陷,本申請提出了一種衛星和傳感器數據一體化采集分析方法及系統。
技術實現思路
1、本申請的目的是提供一種衛星和傳感器數據一體化采集分析方法及系統,旨在解決上述的問題。
2、為實現上述目的,本申請提供如下技術方案:
3、第一方面,本申請提供一種衛星和傳感器數據一體化采集分析方法,包括:
4、獲取全面數據,所述全面數據包括衛星遙感數據、傳感器數據、土地利用數據、數字高程模型數據;
5、對所述衛星遙感數據和所述傳感器數據分別進行預處理,得到地表溫度和傳感器地表溫度日均值;
6、分別提取所述地表溫度、所述土地利用數據和所述數字高程模型數據的特征后進行特征集成,生成特征矩陣;
7、將所述傳感器地表溫度日均值作為真實值標簽,對所述特征矩陣進行篩選,得到有效數據集;
8、根據所述有效數據集構建集成學習模型;其中,所述集成學習模型由訓練完成的隨機森林模型、xgboost模型、lightgbm模型組成;
9、獲取目標特征矩陣,將所述目標特征矩陣輸入所述集成學習模型進行預測,輸出目標區域的地表溫度預測值,完成對目標區域的衛星和傳感器數據的監測。
10、第二方面,本申請提供一種衛星和傳感器數據一體化采集分析系統,包括:
11、獲取模塊:獲取全面數據,所述全面數據包括衛星遙感數據、傳感器數據、土地利用數據、數字高程模型數據;
12、預處理模塊:對所述衛星遙感數據和所述傳感器數據分別進行預處理,得到地表溫度和傳感器地表溫度日均值;
13、特征處理模塊:分別提取所述地表溫度、所述土地利用數據和所述數字高程模型數據的特征后進行特征集成,生成特征矩陣;將所述傳感器地表溫度日均值作為真實值標簽,對所述特征矩陣進行篩選,得到有效數據集;
14、模型構建模塊:根據所述有效數據集構建集成學習模型;其中,所述集成學習模型由訓練完成的隨機森林模型、xgboost模型、lightgbm模型組成;
15、預測模塊:獲取目標特征矩陣,將所述目標特征矩陣輸入所述集成學習模型進行預測,輸出目標區域的地表溫度預測值,完成對目標區域的衛星和傳感器數據的監測。
16、第三方面,本申請提供一種設備,所述設備包括處理器、與所述處理器耦接的存儲器,其中,所述存儲器存儲有用于實現一種衛星和傳感器數據一體化采集分析方法的程序指令;所述處理器用于執行所述存儲器存儲的所述程序指令以實現一種衛星和傳感器數據一體化采集分析。
17、第四方面,本申請提供一種存儲介質,存儲有處理器可運行的程序指令,所述程序指令用于執行一種衛星和傳感器數據一體化采集分析方法。
18、本申請提供了一種衛星和傳感器數據一體化采集分析方法及系統,具有以下有益效果:
19、(1)通過整合多源數據,包括衛星遙感數據、傳感器數據、土地利用數據、數字高程模型數據,從而擴大了監測范圍,提高了數據的全面性和準確性;
20、(2)通過對數據進行清洗、重采樣、特征提取等步驟,有效提高了數據的質量和可用性,為后續的分析和建模提供了堅實的基礎;
21、(3)本申請法采用堆疊集成機器學習模型,融合了不同模型的優點,提高了預測精度和泛化能力;同時,最后生成數據集,實現了對目標區域的全面、精準監測,為智慧城市建設、生態環境監測等領域提供了有力的數據支持。
1.一種衛星和傳感器數據一體化采集分析方法,其特征在于,包括:
2.根據權利要求1所述的一種衛星和傳感器數據一體化采集分析方法,其特征在于,在對所述衛星遙感數據和所述傳感器數據分別進行預處理,得到地表溫度和傳感器地表溫度日均值的步驟中,具體包括下述步驟:
3.根據權利要求2所述的一種衛星和傳感器數據一體化采集分析方法,其特征在于,所述判斷網格單元中傳感器數據的有效性包括:引入參數n,若傳感器記錄時段大于等于n個小時,則該網格的傳感器數據判斷為有效,即為有效網格;若傳感器記錄時段少于n小時,則記錄的傳感器數據。
4.根據權利要求1所述的一種衛星和傳感器數據一體化采集分析方法,其特征在于,在分別提取所述地表溫度、所述土地利用數據和所述數字高程模型數據的特征后進行特征集成,生成特征矩陣的步驟中,具體包括下述步驟:
5.根據權利要求1所述的一種衛星和傳感器數據一體化采集分析方法,其特征在于,在將所述傳感器地表溫度日均值作為真實值標簽,對所述特征矩陣進行篩選,得到有效數據集的步驟中,具體包括下述步驟:
6.根據權利要求1所述的一種衛星和傳感器數據一體化采集分析方法,其特征在于,在根據所述有效數據集構建集成學習模型;其中,所述集成學習模型由訓練完成的隨機森林模型、xgboost模型、lightgbm模型組成的步驟中,具體包括下述步驟:
7.根據權利要求1所述的一種衛星和傳感器數據一體化采集分析方法,其特征在于,在獲取目標特征矩陣,將所述目標特征矩陣輸入所述集成學習模型進行預測,輸出目標區域的地表溫度預測值,完成對目標區域的衛星和傳感器數據的監測的步驟中,具體包括下述步驟:
8.一種根據權利要求1所述的一種衛星和傳感器數據一體化采集分析方法的系統,其特征在于,包括:
9.一種設備,其特征在于,所述設備包括處理器、與所述處理器耦接的存儲器,其中,所述存儲器存儲有用于實現權利要求1-7任一項所述的一種衛星和傳感器數據一體化采集分析方法的程序指令;所述處理器用于執行所述存儲器存儲的所述程序指令以實現一種衛星和傳感器數據一體化采集分析。
10.一種存儲介質,其特征在于,存儲有處理器可運行的程序指令,所述程序指令用于執行權利要求1-7任一項所述的一種衛星和傳感器數據一體化采集分析方法。