本發明涉及工業信息化,具體涉及一種基于opc的工業數據采集方法及系統。
背景技術:
1、在工業自動化領域,數據采集是實現智能控制的基礎,制造企業在產品生產的過程中,為了保證產品生產時的高效與穩定,就必須對生產過程的數據進行采集處理與監控。一個迅速可靠的數據采集系統是保證制造企業在生產時能夠穩定工作的有力保證。
2、由于工業設備的不斷復雜化,設備使用的通訊協議種類繁多,增大了管理同一工廠內采用不同通訊協議的設備數據的難度,例如,可編程邏輯控制器、分布式控制系統、機器人等是常見的控制設備,它們可能使用不同的通信協議,這使得數據采集和管理變得復雜,在現有的工業控制系統中,由于設備制造商使用的通訊協議多種多樣,導致數據采集工作面臨著兼容性和效率問題。
3、此外,隨著生產規模的擴大和智能化需求的提高,對數據采集的實時性和準確性要求也越來越高。因此,如何實現不同設備和通訊協議之間的數據整合和通信是本領域亟需解決的技術問題。
技術實現思路
1、本申請為了解決上述技術問題,提出了如下技術方案:
2、第一方面,本申請實施例提供了一種基于opc的工業數據采集方法,包括:
3、確定需要采集數據的各工業設備;
4、通過opc數據融合模塊將各工業設備的通訊協議整合到統一的opc服務器中,利用數據點位的配置列表設置需要采集的點位信息;
5、配置opc服務器與各工業設備之間的連接,允許各工業設備從opc服務器中掃描并獲取對應的工業數據;
6、利用實時數據處理模塊對獲取到的工業數據進行預處理并將處理后的工業數據存儲到指定的數據庫中;
7、提供數據訪問接口,允許其他系統或應用通過所述接口訪問和獲取存儲的工業數據。
8、在一種可能的實現方式中,所述確定需要采集數據的各工業設備,包括:確定數據采集的目標、設備狀態數據和設備參數數據;根據所述數據采集的目標、設備狀態數據和設備參數數據對各工業設備進行確定。
9、在一種可能的實現方式中,所述通過opc數據融合模塊將各工業設備的通訊協議整合到統一的opc服務器中,包括:
10、分別對各工業設備內的通訊端口進行針對性的通訊配置;
11、配置完成后,設置數據庫服務器的ip地址和遠程訪問端口;
12、通過通信網絡及配置的信息進行數據轉換,將各工業設備的通訊協議整合到統一的opc服務器中,進行格式匯總統一。
13、在一種可能的實現方式中,所述配置opc服務器與各工業設備之間的連接,允許各工業設備從opc服務器中掃描并獲取對應的工業數據,包括:
14、設置opc服務器的地址、端口、以及需要采集的數據點位信息;
15、通過智能網關將各工業設備內的數據進行集中;
16、利用網絡通訊方式上傳到云平臺獲取各工業設備的狀態信息、傳感器數據和過程參數的工業數據。
17、在一種可能的實現方式中,所述利用實時數據處理模塊對獲取到的工業數據進行預處理并將處理后的工業數據存儲到指定的數據庫中,包括:
18、將獲取的各工業數據根據設備提供的數據格式、數據類型和使用需求設定預設標準格式;
19、按照預設標準格式對獲取到的各工業數據進行清洗,將結構多樣、內容復雜的數據清洗為標準格式的數據;
20、在清洗過程中對冗余信息進行過濾處理后存儲。
21、在一種可能的實現方式中,所述按照預設標準格式對獲取到的各工業數據進行清洗,包括:缺失值清洗、格式內容清洗和邏輯錯誤清洗。
22、在一種可能的實現方式中,所述缺失值清洗,包括:
23、確定各工業數據中存在的缺失值或空值;
24、根據缺失值的模式和數據集的特點,計算數據內每個字段的缺失值比例;
25、根據缺失比例和字段的重要性,分別制定策略。
26、在一種可能的實現方式中,所述根據缺失比例和字段的重要性,分別制定策略,包括:
27、如果缺失值的模式是完全隨機缺失的,且缺失值所在的行或列的重要性不大,則對帶有缺失值的行或列進行刪除;
28、如果缺失值的模式是完全非隨機缺失的,且與未觀察的變量有關,則通過多重插補的方式對每個數據集進行分析或通過預測模型來對缺失值進行預測;
29、如果缺失值的模式是隨機缺失的,則通過均值、中位數或眾數來對缺失值進行填充或使用k近鄰算法來對缺失值進行預測,或使用機器學習模型對所述缺失值進行預測或者根據領域知識或業務邏輯對缺失的內容進行填充。
30、第二方面,本申請實施例提供了一種基于opc的工業數據采集系統,包括:
31、確定模塊,用于確定需要采集數據的各工業設備;
32、opc數據融合模塊,用于將各工業設備的通訊協議整合到統一的opc服務器中,利用數據點位的配置列表設置需要采集的點位信息;
33、數據采集模塊,用于配置opc服務器與各工業設備之間的連接,允許各工業設備從opc服務器中掃描并獲取對應的工業數據;
34、實時數據處理模塊,用于對獲取到的工業數據進行預處理并將處理后的工業數據存儲到指定的數據庫中;
35、數據訪問接口模塊,用于其他系統或應用通過所述接口訪問和獲取存儲的工業數據。
36、與現有技術相比,本申請的有益效果為:
37、本申請提供一個高效的數據平臺,避免研發測試、生產工藝、場合使用的重復浪費,解決工業設備的協議多樣性對工業數據采集造成的困難,提高了生產數據的有效性和易用性。
38、本申請中opc數據融合模塊通過數據點位的配置列表即可輕松設置所需要采集的點位信息,無設備類型與數量限制,能夠兼容當前市場的所有熱門常見的控制廠家的通訊協議,能夠鏈接多設備,并采用異步處理的方式保證在大數據量、高采集頻率的情況下依舊能夠保證數據采集的效率,提高數據采集的速度。
1.一種基于opc的工業數據采集方法,其特征在于,包括:
2.根據權利要求1所述的基于opc的工業數據采集方法,其特征在于,所述確定需要采集數據的各工業設備,包括:
3.根據權利要求1所述的基于opc的工業數據采集方法,其特征在于,所述通過opc數據融合模塊將各工業設備的通訊協議整合到統一的opc服務器中,包括:
4.根據權利要求1所述的基于opc的工業數據采集方法,其特征在于,所述配置opc服務器與各工業設備之間的連接,允許各工業設備從opc服務器中掃描并獲取對應的工業數據,包括:
5.根據權利要求1所述的基于opc的工業數據采集方法,其特征在于,所述利用實時數據處理模塊對獲取到的工業數據進行預處理并將處理后的工業數據存儲到指定的數據庫中,包括:
6.根據權利要求5所述的基于opc的工業數據采集方法,其特征在于,所述按照預設標準格式對獲取到的各工業數據進行清洗,包括:缺失值清洗、格式內容清洗和邏輯錯誤清洗。
7.根據權利要求6所述的基于opc的工業數據采集方法,其特征在于,所述缺失值清洗,包括:
8.根據權利要求7所述的基于opc的工業數據采集方法,其特征在于,所述根據缺失比例和字段的重要性,分別制定策略,包括:
9.一種基于opc的工業數據采集系統,其特征在于,包括: