本技術涉及計算機領域,具體而言,涉及一種基于數據表的數據處理方法和裝置、存儲介質及電子設備。
背景技術:
1、在研發過程需要對數據表結構進行信息維護時,通常會根據實際情況登記表基本信息、數據源、字段信息、索引信息、約束信息、分區信息、生命周期等要素。其中,字段信息中的字段類型、字段長度、關聯標準、字典信息等要素均需要人工進行登記。
2、然而,隨著業務的發展需要,后續數據治理和維護的頻度、成本均逐年升高。但由于數據標準和數據字典貫標問題、數據生命周期問題、數據字典賬實不符問題等存量待治理問題,若仍然由人工進行手動整改,將難以保證數據質量。例如,在數據標準貫標工作中,發現出現了將賬戶的數據標準貫標為日期等明顯差錯,這樣的數據標準差錯,將嚴重影響到上下游信息交互等審計風險。
3、也就是說,現有技術中提供的方式中,由于人工登記數據的不準確,使得上下游數據難以確保一致,而不得不反復對數據進行校準,從而導致數據處理效率較低的問題。
4、針對上述的問題,目前尚未提出有效的解決方案。
技術實現思路
1、本技術實施例提供了一種基于數據表的數據處理方法和裝置、存儲介質及電子設備,以至少解決由于人工登記數據的準確度低導致數據需要反復被校準,進而導致數據處理效率低的技術問題。
2、根據本技術實施例的一個方面,提供了一種基于數據表的數據處理方法,包括:獲取數據處理請求,其中,上述數據處理請求用于請求對目標數據表中的數據進行調整處理;根據上述數據處理請求,從自定義表結構數據庫內存儲的多個參考數據表結構中,確定出與上述目標數據表相匹配的目標參考數據表結構,其中,每個上述參考數據表結構為對全量數據表元數據按照不同定義條件而進行自定義組合所得到的標準表數據結構;按照上述目標參考數據表結構對上述目標數據表中的數據進行處理。
3、作為一種可選的實施方式,上述根據上述數據處理請求,從自定義表結構數據庫內存儲的多個參考數據表結構中,確定出與上述目標數據表相匹配的目標參考數據表結構包括:在上述數據處理請求用于請求建立上述目標數據表作為新增數據表的情況下,獲取當前錄入的上述目標數據表的表屬性字段信息;在上述自定義表結構數據庫內查找出與上述目標數據表的表屬性字段信息相匹配的至少一個第一候選參考數據表結構,其中,每個上述第一候選參考數據表結構中包括上述表屬性字段信息和用于對上述目標數據表中的數據進行校驗的表校驗字段信息;基于上述至少一個第一候選參考數據表結構的結構標識,構建待推薦的第一數據表清單列表;響應于從上述第一數據表清單列表中選擇的第一目標結構標識,將與上述第一目標結構標識相匹配的上述第一候選參考數據表結構,確定為上述目標參考數據表結構。
4、作為一種可選的實施方式,上述按照上述目標參考數據表結構對上述目標數據表中的數據進行處理包括:按照上述目標參考數據表結構,對上述目標數據表的上述表屬性字段信息和上述目標參考數據表結構中包含的目標表校驗字段信息進行關聯,以得到上述目標數據表。
5、作為一種可選的實施方式,上述根據上述數據處理請求,從自定義表結構數據庫內存儲的多個參考數據表結構中,確定出與上述目標數據表相匹配的目標參考數據表結構包括:在上述數據處理請求用于請求對處于異常狀態的上述目標數據表進行調整的情況下,獲取用于指示上述異常狀態的表校驗字段信息所關聯的異常表屬性字段信息;在上述自定義表結構數據庫內查找出與上述異常表屬性字段信息相匹配的至少一個第二候選參考數據表結構,其中,每個上述第二候選參考數據表結構中包括上述異常表屬性字段信息和與上述異常表屬性字段信息相匹配的正常狀態下的表校驗字段信息;基于上述至少一個第二候選參考數據表結構的結構標識構建待推薦的第二數據表清單列表;響應于從上述第二數據表清單列表中選擇的第二目標結構標識,將與上述第二目標結構標識相匹配的上述第二候選參考數據表結構,確定為上述目標參考數據表結構。
6、作為一種可選的實施方式,上述按照上述目標參考數據表結構對上述目標數據表中的數據進行處理包括:按照上述目標參考數據表結構所指示的上述正常狀態下的表校驗字段信息,對上述目標數據表中的表校驗字段信息進行調整,以得到上述目標數據表。
7、作為一種可選的實施方式,在上述獲取數據處理請求之前,還包括:獲取全量數據表元數據;對上述全量數據表元數據進行歸類處理,得到全量數據表元數據集合;對上述全量數據表元數據集合進行自定義組合,得到上述多個參考數據表結構,其中,每個上述參考數據表結構中分別包括具有標準關聯關系的表屬性字段信息和表校驗字段信息。
8、根據本技術實施例的另一方面,還提供了一種基于數據表的數據處理裝置,包括:第一獲取單元,用于獲取數據處理請求,其中,上述數據處理請求用于請求對目標數據表中的數據進行調整處理;確定單元,用于根據上述數據處理請求,從自定義表結構數據庫內存儲的多個參考數據表結構中,確定出與上述目標數據表相匹配的目標參考數據表結構,其中,每個上述參考數據表結構為對全量數據表元數據按照不同定義條件而進行自定義組合所得到的標準表數據結構;處理單元,用于按照上述目標參考數據表結構對上述目標數據表中的數據進行處理。
9、作為一種可選的實施方式,上述確定單元還包括:第一獲取模塊,用于在上述數據處理請求用于請求建立上述目標數據表作為新增數據表的情況下,獲取當前錄入的上述目標數據表的表屬性字段信息;第一查找模塊,用于在上述自定義表結構數據庫內查找出與上述目標數據表的表屬性字段信息相匹配的至少一個第一候選參考數據表結構,其中,每個上述第一候選參考數據表結構中包括上述表屬性字段信息和用于對上述目標數據表中的數據進行校驗的表校驗字段信息;第一構建模塊,用于基于上述至少一個第一候選參考數據表結構的結構標識,構建待推薦的第一數據表清單列表;第一確定模塊,用于響應于從上述第一數據表清單列表中選擇的第一目標結構標識,將與上述第一目標結構標識相匹配的上述第一候選參考數據表結構,確定為上述目標參考數據表結構。
10、作為一種可選的實施方式,上述處理單元還包括:關聯模塊,用于按照上述目標參考數據表結構,對上述目標數據表的上述表屬性字段信息和上述目標參考數據表結構中包含的目標表校驗字段信息進行關聯,以得到上述目標數據表。
11、作為一種可選的實施方式,上述確定單元還包括:第二獲取模塊,用于在上述數據處理請求用于請求對處于異常狀態的上述目標數據表進行調整的情況下,獲取用于指示上述異常狀態的表校驗字段信息所關聯的異常表屬性字段信息;第二查找模塊,用于在上述自定義表結構數據庫內查找出與上述異常表屬性字段信息相匹配的至少一個第二候選參考數據表結構,其中,每個上述第二候選參考數據表結構中包括上述異常表屬性字段信息和與上述異常表屬性字段信息相匹配的正常狀態下的表校驗字段信息;第二構建模塊,用于基于上述至少一個第二候選參考數據表結構的結構標識構建待推薦的第二數據表清單列表;第二確定模塊,用于響應于從上述第二數據表清單列表中選擇的第二目標結構標識,將與上述第二目標結構標識相匹配的上述第二候選參考數據表結構,確定為上述目標參考數據表結構。
12、作為一種可選的實施方式,上述處理單元還包括:調整模塊,用于按照上述目標參考數據表結構所指示的上述正常狀態下的表校驗字段信息,對上述目標數據表中的表校驗字段信息進行調整,以得到上述目標數據表。
13、作為一種可選的實施方式,上述裝置還包括:第二獲取單元,獲取全量數據表元數據;歸類單元,用于對上述全量數據表元數據進行歸類處理,得到全量數據表元數據集合;組合單元,用于對上述全量數據表元數據集合進行自定義組合,得到上述多個參考數據表結構,其中,每個上述參考數據表結構中分別包括具有標準關聯關系的表屬性字段信息和表校驗字段信息。
14、根據本技術實施例的又一方面,還提供了一種計算機可讀的存儲介質,該計算機可讀的存儲介質中存儲有計算機程序,其中,該計算機程序被設置為運行時執行上述基于數據表的數據處理方法。
15、根據本技術實施例的又一個方面,提供一種計算機程序產品或計算機程序,該計算機程序產品或計算機程序包括計算機指令,該計算機指令存儲在計算機可讀存儲介質中。計算機設備的處理器從計算機可讀存儲介質讀取該計算機指令,處理器執行該計算機指令,使得該計算機設備執行如以上基于數據表的數據處理方法。
16、根據本技術實施例的又一方面,還提供了一種電子設備,包括存儲器和處理器,上述存儲器中存儲有計算機程序,上述處理器被設置為通過所述計算機程序執行上述的基于數據表的數據處理方法。
17、在本技術實施例中,在獲取數據處理請求后,根據獲取到的數據處理請求,從自定義表結構數據庫內存儲的多個參考數據表結構中,確定出與目標數據表相匹配的目標參考數據表結構,這里的數據處理請求用于請求對目標數據表中的數據進行調整處理,且每個參考數據表結構均為對全量數據表元數據按照不同定義條件而進行自定義組合所得到的標準表數據結構;按照目標參考數據表結構對目標數據表中的數據進行處理。在獲取到數據處理請求后,根據數據處理請求,在自定義表結構數據庫所存儲的多個參考數據表結構中確定出與目標數據表相匹配的目標參考數據表結構,并按照目標參考數據表結構對目標數據表中的數據進行處理,從而實現利用預設的自定義表結構數據庫對目標數據表中的數據進行自動地、智能地處理,達到了自動化、智能化處理數據的目的,進而提升了數據處理效率,解決了由于人工登記數據的準確度低導致數據需要反復被校準,進而導致數據處理效率低的技術問題。