本發明涉及數據處理技術領域,更具體的,涉及一種數據處理方法及數據適配器。
背景技術:
在有些業務中需要在終端顯示某些信息,比如tv端的網上商城業務,需要在進入網上商城后顯示商品的信息,在網上商城并不產生商品信息的相關數據,需要對接第三方的數據,將第三方的數據在網上商城進行顯示。
第三方數據提供商所提供的數據各式各樣,數據存在多種格式,同一類數據的顯示名稱不同,且第三方數據提供商所提供的數據并不都是導入方需要的。導致導入方在導入第三方數據時需要消耗大量內存,且需要大量的數據轉換工作,由于涉及的數據格式和顯示名稱多樣,轉換時的出錯率較高。
技術實現要素:
有鑒于此,本發明提供了一種數據處理方法及數據適配器,建立導入方感興趣的目標數據對象與第三方數據的源數據對象之間的映射關系,提高了數據轉換效率和正確率。
為了實現上述發明目的,本發明提供的具體技術方案如下:
一種數據處理方法,應用于數據適配器,所述方法包括:
導入第三方數據,并根據所述第三方數據的格式建立多個源數據對象;
獲取導入方提供的多個目標數據對象;
定義數據映射表,所述數據映射表中定義了每個所述源數據對象與所述目標數據對象的映射關系;
根據所述數據映射表,將所述第三方數據中的每個所述源數據對象轉換為相應的目標數據對象,并刪除與每個所述目標數據對象都不相關的數據,得到目標數據。
優選的,所述目標數據對象包括:目標數據內容、目標數據格式和目標數據存儲路徑。
優選的,所述定義數據映射表,所述數據映射表中定義了每個所述源數據對象與所述目標數據對象的映射關系,包括:
定義每個所述源數據對象的內容與所述目標數據內容的映射關系;
定義每個所述源數據對象的格式與所述目標數據格式的映射關系;
定義每個所述源數據對象的存儲路徑與所述目標數據存儲路徑的映射關系;
根據每個所述源數據對象的內容與所述目標數據內容的映射關系、每個所述源數據對象的格式與所述目標數據格式的映射關系,以及每個所述源數據對象的存儲路徑與所述目標數據存儲路徑的映射關系,建立數據映射表。
優選的,所述根據所述數據映射表,將所述第三方數據中的每個所述源數據對象轉換為相應的目標數據對象,并刪除與每個所述目標數據對象都不相關的數據,得到目標數據,包括:
根據所述數據映射表,將所述第三方數據中的每個所述源數據對象的內容轉換為相應的目標數據內容;
將所述第三方數據中的每個所述源數據對象的格式轉換為相應的目標數據格式;
將所述第三方數據中的每個所述源數據對象的存儲路徑轉換為相應的目標數據存儲路徑;
刪除所述第三方數據中與每個所述目標數據內容都不相關的數據,得到目標數據。
一種數據適配器,包括:
導入單元,用于導入第三方數據,并根據所述第三方數據的格式建立多個源數據對象;
獲取單元,用于獲取導入方提供的多個目標數據對象;
定義單元,用于定義數據映射表,所述數據映射表中定義了每個所述源數據對象與所述目標數據對象的映射關系;
轉換單元,用于根據所述數據映射表,將所述第三方數據中的每個所述源數據對象轉換為相應的目標數據對象,并刪除與每個所述目標數據對象都不相關的數據,得到目標數據。
優選的,所述目標數據對象包括:目標數據內容、目標數據格式和目標數據存儲路徑。
優選的,所述定義單元包括:
第一定義子單元,用于定義每個所述源數據對象的內容與所述目標數據內容的映射關系;
第二定義子單元,用于定義每個所述源數據對象的格式與所述目標數據格式的映射關系;
第三定義子單元,用于定義每個所述源數據對象的存儲路徑與所述目標數據存儲路徑的映射關系;
建立子單元,用于根據每個所述源數據對象的內容與所述目標數據內容的映射關系、每個所述源數據對象的格式與所述目標數據格式的映射關系,以及每個所述源數據對象的存儲路徑與所述目標數據存儲路徑的映射關系,建立數據映射表。
優選的,所述轉換單元包括:
第一轉換子單元,用于根據所述數據映射表,將所述第三方數據中的每個所述源數據對象的內容轉換為相應的目標數據內容;
第二轉換子單元,用于將所述第三方數據中的每個所述源數據對象的格式轉換為相應的目標數據格式;
第三轉換子單元,用于將所述第三方數據中的每個所述源數據對象的存儲路徑轉換為相應的目標數據存儲路徑;
刪除子單元,用于刪除所述第三方數據中與每個所述目標數據內容都不相關的數據,得到目標數據。
相對于現有技術,本發明的有益效果如下:
本發明提供的數據處理方法及數據適配器,導入第三方數據,并根據第三方數據的格式建立多個源數據對象;獲取導入方提供的多個目標數據對象;目標數據對象是導入方感興趣的數據以及支持的數據格式,在數據映射表中定義了每個源數據對象與目標數據對象的映射關系;根據數據映射表,將第三方數據中的每個源數據對象轉換為相應的目標數據對象,并刪除與每個目標數據對象都不相關的數據,得到目標數據。導入方不需要消耗大量內存來導入第三方數據,只需從數據適配器中提取已轉換的符合自己需求的數據,由于根據預先建立的數據映射表對第三方數據進行處理,提高了數據處理效率和正確率。
附圖說明
為了更清楚地說明本發明實施例或現有技術中的技術方案,下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本發明的實施例,對于本領域普通技術人員來講,在不付出創造性勞動的前提下,還可以根據提供的附圖獲得其他的附圖。
圖1為本發明實施例公開的一種數據處理方法流程圖;
圖2為本發明實施例公開的一種數據處理方法子流程圖;
圖3為本發明實施例公開的一種數據處理方法子流程圖;
圖4為本發明實施例公開的一種數據適配器結構示意圖。
具體實施方式
下面將結合本發明實施例中的附圖,對本發明實施例中的技術方案進行清楚、完整地描述,顯然,所描述的實施例僅僅是本發明一部分實施例,而不是全部的實施例。基于本發明中的實施例,本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例,都屬于本發明保護的范圍。
請參閱圖1,本實施例公開了一種數據處理方法,應用于數據適配器,具體包括以下步驟:
s101:導入第三方數據,并根據所述第三方數據的格式建立多個源數據對象;
第三方數據為除導入方和數據適配器以外的任意數據源,例如,數據提供商zaker新聞等。
第三方數據的格式可以為文本、圖片、符號、編碼、字符串,以及數組等等。
每一個源數據對象代表第三方數據中的一種格式的數據。
s102:獲取導入方提供的多個目標數據對象;
導入方會預先提供自己感興趣的數據和支持的數據格式,以及數據的存儲路徑。
s103:定義數據映射表,所述數據映射表中定義了每個所述源數據對象與所述目標數據對象的映射關系;
定義數據映射表的原則為根據導入方提供的多個目標數據對象,盡可能考慮到所有的數據轉換方式,提高數據轉換的準確率。
需要說明的是,這里的映射關系可以為一對一的映射關系,也可以為多對一的映射關系,即,可以為一個源數據對象對應一個目標數據對象,也可以為多個源數據對象對應一個目標數據對象。例如:將第三方數據中的貨幣單位符號轉換為導入方提供的文本格式,同時,也可以為將第三方數據中的編碼轉換為導入方提供的文本格式。
s104:根據所述數據映射表,將所述第三方數據中的每個所述源數據對象轉換為相應的目標數據對象,并刪除與每個所述目標數據對象都不相關的數據,得到目標數據。
第三方數據與目標數據的轉換完全依據預先定義的數據映射表,提高了數據處理效率和準確率,且刪除與每個目標數據對象都不相關的數據,避免了消耗大量內存。
優選的,所述目標數據對象包括:目標數據內容、目標數據格式和目標數據存儲路徑。
在此基礎上,請參閱圖2,s103的具體執行過程如下:
s201:定義每個所述源數據對象的內容與所述目標數據內容的映射關系;
每個所述源數據對象的內容與所述目標數據內容的映射關系定義了數據內容的映射關系,例如:第三方中數據內容為“外國”,而導入方需要的是“國外”,就需要將“外國”與“國外”建立映射關系;第三方中數據內容為“土豆”,而導入方需要的是“馬鈴薯”,就需要將“土豆”與“馬鈴薯”建立映射關系。
s202:定義每個所述源數據對象的格式與所述目標數據格式的映射關系;
每個所述源數據對象的格式與所述目標數據格式的映射關系定義了數據格式的映射關系,例如:第三方中存在多種圖片格式bmp、jpg、png、tiff、gif、pcx、tga、exif、fpx、svg、psd、cdr、pcd、dxf、ufo、eps、ai、raw、wmf等,而導入方只支持jpg格式,就需要分別建立bmp、jpg、png、tiff、gif、pcx、tga、exif、fpx、svg、psd、cdr、pcd、dxf、ufo、eps、ai、raw、wmf與jpg之間的映射關系,以及上面提到的,建立第三方數據中的貨幣單位符號與導入方提供的文本格式之間的映射關系,建立第三方數據中的編碼與導入方提供的文本格式之間的映射關系等等。
s203:定義每個所述源數據對象的存儲路徑與所述目標數據存儲路徑的映射關系;
每個所述源數據對象的存儲路徑與所述目標數據存儲路徑的映射關系定義了數據存儲路徑的映射關系,例如:商品圖片的存儲路徑與導入方導入時的存儲路徑之間的映射關系。
s204:根據每個所述源數據對象的內容與所述目標數據內容的映射關系、每個所述源數據對象的格式與所述目標數據格式的映射關系,以及每個所述源數據對象的存儲路徑與所述目標數據存儲路徑的映射關系,建立數據映射表。
請參閱圖3,s104的具體執行過程如下:
s301:根據所述數據映射表,將所述第三方數據中的每個所述源數據對象的內容轉換為相應的目標數據內容;
s302:將所述第三方數據中的每個所述源數據對象的格式轉換為相應的目標數據格式;
s303:將所述第三方數據中的每個所述源數據對象的存儲路徑轉換為相應的目標數據存儲路徑;
s304:刪除所述第三方數據中與每個所述目標數據內容都不相關的數據,得到目標數據。
根據數據映射表進行轉換處理,實現了第三方數據與導入方需要的數據之間點對點的轉換,轉換效率高且準確率高。
本實施例提供的數據處理方法,導入第三方數據,并根據第三方數據的格式建立多個源數據對象;獲取導入方提供的多個目標數據對象;目標數據對象是導入方感興趣的數據以及支持的數據格式,在數據映射表中定義了每個源數據對象與目標數據對象的映射關系;根據數據映射表,將第三方數據中的每個源數據對象轉換為相應的目標數據對象,并刪除與每個目標數據對象都不相關的數據,得到目標數據。導入方不需要消耗大量內存來導入第三方數據,只需從數據適配器中提取已轉換的符合自己需求的數據,由于根據預先建立的數據映射表對第三方數據進行處理,提高了數據處理效率和正確率。
請參閱圖4,基于上述實施例公開的數據處理方法,本實施例對應公開了一種數據適配器,具體包括:
導入單元101,用于導入第三方數據,并根據所述第三方數據的格式建立多個源數據對象;
獲取單元102,用于獲取導入方提供的多個目標數據對象;
定義單元103,用于定義數據映射表,所述數據映射表中定義了每個所述源數據對象與所述目標數據對象的映射關系;
轉換單元104,用于根據所述數據映射表,將所述第三方數據中的每個所述源數據對象轉換為相應的目標數據對象,并刪除與每個所述目標數據對象都不相關的數據,得到目標數據。
優選的,所述目標數據對象包括:目標數據內容、目標數據格式和目標數據存儲路徑。
在此基礎上,所述定義單元103包括:
第一定義子單元,用于定義每個所述源數據對象的內容與所述目標數據內容的映射關系;
第二定義子單元,用于定義每個所述源數據對象的格式與所述目標數據格式的映射關系;
第三定義子單元,用于定義每個所述源數據對象的存儲路徑與所述目標數據存儲路徑的映射關系;
建立子單元,用于根據每個所述源數據對象的內容與所述目標數據內容的映射關系、每個所述源數據對象的格式與所述目標數據格式的映射關系,以及每個所述源數據對象的存儲路徑與所述目標數據存儲路徑的映射關系,建立數據映射表。
所述轉換單元104包括:
第一轉換子單元,用于根據所述數據映射表,將所述第三方數據中的每個所述源數據對象的內容轉換為相應的目標數據內容;
第二轉換子單元,用于將所述第三方數據中的每個所述源數據對象的格式轉換為相應的目標數據格式;
第三轉換子單元,用于將所述第三方數據中的每個所述源數據對象的存儲路徑轉換為相應的目標數據存儲路徑;
刪除子單元,用于刪除所述第三方數據中與每個所述目標數據內容都不相關的數據,得到目標數據。
本實施例提供的數據適配器,導入第三方數據,并根據第三方數據的格式建立多個源數據對象;獲取導入方提供的多個目標數據對象;目標數據對象是導入方感興趣的數據以及支持的數據格式,在數據映射表中定義了每個源數據對象與目標數據對象的映射關系;根據數據映射表,將第三方數據中的每個源數據對象轉換為相應的目標數據對象,并刪除與每個目標數據對象都不相關的數據,得到目標數據。導入方不需要消耗大量內存來導入第三方數據,只需從數據適配器中提取已轉換的符合自己需求的數據,由于根據預先建立的數據映射表對第三方數據進行處理,提高了數據處理效率和正確率。
對所公開的實施例的上述說明,使本領域專業技術人員能夠實現或使用本發明。對這些實施例的多種修改對本領域的專業技術人員來說將是顯而易見的,本文中所定義的一般原理可以在不脫離本發明的精神或范圍的情況下,在其它實施例中實現。因此,本發明將不會被限制于本文所示的這些實施例,而是要符合與本文所公開的原理和新穎特點相一致的最寬的范圍。