麻豆精品无码国产在线播放,国产亚洲精品成人AA片新蒲金,国模无码大尺度一区二区三区,神马免费午夜福利剧场

云存儲(chǔ)系統(tǒng)的文件存儲(chǔ)方法、裝置及云存儲(chǔ)系統(tǒng)與流程

文檔序號(hào):11155450閱讀:472來(lái)源:國(guó)知局
云存儲(chǔ)系統(tǒng)的文件存儲(chǔ)方法、裝置及云存儲(chǔ)系統(tǒng)與制造工藝

本發(fā)明涉及云存儲(chǔ)技術(shù)領(lǐng)域,尤其涉及一種云存儲(chǔ)系統(tǒng)的文件存儲(chǔ)方法、裝置及云存儲(chǔ)系統(tǒng)。



背景技術(shù):

隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、大數(shù)據(jù)等技術(shù)的高速發(fā)展和成熟,社會(huì)信息化程度越高,產(chǎn)生的信息數(shù)據(jù)越多,信息安全的問題就越突出。信息存儲(chǔ)安全在信息儲(chǔ)存的過程和信息生命周期內(nèi),保障信息的真實(shí)性、機(jī)密性、完整性、可用性、可靠性、不可抵賴性等特性,是信息安全的主要基礎(chǔ)。云存儲(chǔ)系統(tǒng)可實(shí)現(xiàn)用戶數(shù)據(jù)文件的安全網(wǎng)絡(luò)存儲(chǔ),但現(xiàn)有的云存儲(chǔ)系統(tǒng)對(duì)存儲(chǔ)文件進(jìn)行串行尋址存儲(chǔ)處理,存儲(chǔ)服務(wù)器的存儲(chǔ)效率和存儲(chǔ)性能較差,同時(shí)只在一個(gè)對(duì)象存儲(chǔ)設(shè)備上進(jìn)行云端存儲(chǔ),一旦對(duì)象存儲(chǔ)設(shè)備出錯(cuò)就無(wú)法保障用戶存儲(chǔ)數(shù)據(jù)的完整性、安全性和可靠性,導(dǎo)致現(xiàn)有云存儲(chǔ)系統(tǒng)的便捷性、安全性、可靠性和工作效率較低,影響了云存儲(chǔ)系統(tǒng)的系統(tǒng)性能和用戶體驗(yàn)。



技術(shù)實(shí)現(xiàn)要素:

鑒于此,本發(fā)明提供一種云存儲(chǔ)系統(tǒng)的文件存儲(chǔ)方法、裝置及云存儲(chǔ)系統(tǒng),解決現(xiàn)有云存儲(chǔ)系統(tǒng)的便捷性、安全性、可靠性和工作效率較低而影響云存儲(chǔ)系統(tǒng)的系統(tǒng)性能和用戶體驗(yàn)的技術(shù)問題。

根據(jù)本發(fā)明的一個(gè)實(shí)施例,提供一種云存儲(chǔ)系統(tǒng)的文件存儲(chǔ)方法,包括:從客戶端獲取存儲(chǔ)文件;對(duì)獲取的存儲(chǔ)文件進(jìn)行尋址以獲取存儲(chǔ)文件的對(duì)象;對(duì)獲取的存儲(chǔ)文件的對(duì)象進(jìn)行尋址以獲取對(duì)象對(duì)應(yīng)的放置組;對(duì)獲取的對(duì)象對(duì)應(yīng)的放置組進(jìn)行尋址以獲取放置組對(duì)應(yīng)的對(duì)象存儲(chǔ)設(shè)備;以及將獲取的存儲(chǔ)文件的對(duì)象寫入獲取的放置組對(duì)應(yīng)的對(duì)象存儲(chǔ)設(shè)備。

優(yōu)選的,所述對(duì)象存儲(chǔ)設(shè)備為三個(gè)。

優(yōu)選的,所述將獲取的存儲(chǔ)文件的對(duì)象寫入獲取的放置組對(duì)應(yīng)的對(duì)象存儲(chǔ)設(shè)備,包括:將獲取的存儲(chǔ)文件的對(duì)象寫入獲取的放置組對(duì)應(yīng)的第一對(duì)象存儲(chǔ)設(shè)備;將第一對(duì)象存儲(chǔ)設(shè)備寫入的對(duì)象分別寫入第二對(duì)象存儲(chǔ)設(shè)備和第三對(duì)象存儲(chǔ)設(shè)備;以及向客戶端發(fā)送存儲(chǔ)文件成功存儲(chǔ)信息。

優(yōu)選的,所述對(duì)獲取的存儲(chǔ)文件進(jìn)行尋址以獲取存儲(chǔ)文件的對(duì)象,包括:獲取對(duì)象的預(yù)設(shè)最大文件大?。灰约案鶕?jù)獲取的對(duì)象的預(yù)設(shè)最大文件大小對(duì)獲取的存儲(chǔ)文件進(jìn)行分割,以獲取存儲(chǔ)文件的對(duì)象。

優(yōu)選的,所述對(duì)獲取的存儲(chǔ)文件的對(duì)象進(jìn)行尋址以獲取對(duì)象對(duì)應(yīng)的放置組,包括:通過哈希函數(shù)計(jì)算標(biāo)識(shí)符的哈希值,以獲取標(biāo)識(shí)符對(duì)應(yīng)的偽隨機(jī)值;以及將獲取的標(biāo)識(shí)符對(duì)應(yīng)的偽隨機(jī)值和掩碼按位相與運(yùn)算,以獲取對(duì)象對(duì)應(yīng)的放置組標(biāo)識(shí)。

優(yōu)選的,所述對(duì)獲取的對(duì)象對(duì)應(yīng)的放置組進(jìn)行尋址以獲取放置組對(duì)應(yīng)的對(duì)象存儲(chǔ)設(shè)備,包括:通過可擴(kuò)展的偽隨機(jī)數(shù)據(jù)分布算法對(duì)獲取的對(duì)象對(duì)應(yīng)的放置組標(biāo)識(shí)進(jìn)行運(yùn)算,以獲取放置組對(duì)應(yīng)的對(duì)象存儲(chǔ)設(shè)備。

根據(jù)本發(fā)明的另一個(gè)實(shí)施例,提供一種云存儲(chǔ)系統(tǒng)的文件存儲(chǔ)裝置,包括:文件獲取模塊,用于從客戶端獲取存儲(chǔ)文件;對(duì)象獲取模塊,用于對(duì)所述文件獲取模塊獲取的存儲(chǔ)文件進(jìn)行尋址以獲取存儲(chǔ)文件的對(duì)象;放置組獲取模塊,用于對(duì)所述對(duì)象獲取模塊獲取的存儲(chǔ)文件的對(duì)象進(jìn)行尋址以獲取對(duì)象對(duì)應(yīng)的放置組;對(duì)象存儲(chǔ)設(shè)備獲取模塊,用于對(duì)所述放置組獲取模塊獲取的對(duì)象對(duì)應(yīng)的放置組進(jìn)行尋址以獲取放置組對(duì)應(yīng)的對(duì)象存儲(chǔ)設(shè)備;以及文件存儲(chǔ)模塊,用于將所述對(duì)象獲取模塊獲取的存儲(chǔ)文件的對(duì)象寫入所述對(duì)象存儲(chǔ)設(shè)備獲取模塊獲取的放置組對(duì)應(yīng)的對(duì)象存儲(chǔ)設(shè)備。

優(yōu)選的,所述對(duì)象存儲(chǔ)設(shè)備獲取模塊獲取的對(duì)象存儲(chǔ)設(shè)備為三個(gè)。

優(yōu)選的,所述文件存儲(chǔ)模塊,包括:第一寫入單元,用于將所述對(duì)象獲取模塊獲取的存儲(chǔ)文件的對(duì)象寫入所述對(duì)象存儲(chǔ)設(shè)備獲取模塊獲取的放置組對(duì)應(yīng)的第一對(duì)象存儲(chǔ)設(shè)備;第二寫入單元,用于將所述第一寫入單元對(duì)第一對(duì)象存儲(chǔ)設(shè)備寫入的對(duì)象寫入所述對(duì)象存儲(chǔ)設(shè)備獲取模塊獲取的第二對(duì)象存儲(chǔ)設(shè)備;第三寫入單元,用于將所述第一寫入單元對(duì)第一對(duì)象存儲(chǔ)設(shè)備寫入的對(duì)象寫入所述對(duì)象存儲(chǔ)設(shè)備獲取模塊獲取的第三對(duì)象存儲(chǔ)設(shè)備;以及存儲(chǔ)信息發(fā)送單元,用于向客戶端發(fā)送存儲(chǔ)文件成功存儲(chǔ)信息。

優(yōu)選的,所述對(duì)象獲取模塊,包括:對(duì)象大小獲取單元,用于獲取對(duì)象的預(yù)設(shè)最大文件大小;以及對(duì)象獲取單元,用于根據(jù)所述對(duì)象大小獲取單元獲取的對(duì)象的預(yù)設(shè)最大文件大小對(duì)所述文件獲取模塊獲取的存儲(chǔ)文件進(jìn)行分割,以獲取存儲(chǔ)文件的對(duì)象。

優(yōu)選的,所述放置組獲取模塊,包括:偽隨機(jī)值獲取單元,用于通過哈希函數(shù)計(jì)算標(biāo)識(shí)符的哈希值以獲取標(biāo)識(shí)符對(duì)應(yīng)的偽隨機(jī)值;以及放置組標(biāo)識(shí)獲取單元,用于將所述偽隨機(jī)值獲取單元獲取的標(biāo)識(shí)符對(duì)應(yīng)的偽隨機(jī)值和掩碼按位相與運(yùn)算,以獲取對(duì)象對(duì)應(yīng)的放置組標(biāo)識(shí)。

優(yōu)選的,所述對(duì)象存儲(chǔ)設(shè)備獲取模塊通過可擴(kuò)展的偽隨機(jī)數(shù)據(jù)分布算法對(duì)所述放置組獲取模塊獲取的對(duì)象對(duì)應(yīng)的放置組標(biāo)識(shí)進(jìn)行運(yùn)算,以獲取放置組對(duì)應(yīng)的對(duì)象存儲(chǔ)設(shè)備。

根據(jù)本發(fā)明的又一個(gè)實(shí)施例,提供一種云存儲(chǔ)系統(tǒng),所述云存儲(chǔ)系統(tǒng)包括客戶端和上述的云存儲(chǔ)系統(tǒng)的文件存儲(chǔ)裝置。

優(yōu)選的,所述云存儲(chǔ)系統(tǒng),還包括:對(duì)象存儲(chǔ)集群,用于自動(dòng)優(yōu)化所述云存儲(chǔ)系統(tǒng)的文件存儲(chǔ)裝置的從對(duì)象到塊的映射;以及對(duì)象存儲(chǔ)集群監(jiān)視模塊,用于檢測(cè)和維護(hù)所述對(duì)象存儲(chǔ)集群從對(duì)象到塊的映射。

本發(fā)明提供的云存儲(chǔ)系統(tǒng)的文件存儲(chǔ)方法、裝置及云存儲(chǔ)系統(tǒng),對(duì)從客戶端獲取的存儲(chǔ)文件進(jìn)行尋址以獲取存儲(chǔ)文件的對(duì)象,對(duì)獲取的存儲(chǔ)文件的對(duì)象進(jìn)行尋址以獲取對(duì)象對(duì)應(yīng)的放置組,對(duì)獲取的對(duì)象對(duì)應(yīng)的放置組進(jìn)行尋址以獲取放置組對(duì)應(yīng)的對(duì)象存儲(chǔ)設(shè)備,并將獲取的存儲(chǔ)文件的對(duì)象寫入獲取的放置組對(duì)應(yīng)的對(duì)象存儲(chǔ)設(shè)備,通過三次映射快速實(shí)現(xiàn)存儲(chǔ)文件到對(duì)象存儲(chǔ)設(shè)備的尋址操作,并配置多個(gè)對(duì)象存儲(chǔ)設(shè)備對(duì)用戶存儲(chǔ)文件進(jìn)行安全備份存儲(chǔ),提高了云儲(chǔ)存系統(tǒng)文件存儲(chǔ)的便捷性、安全性、可靠性和工作效率,提升了云存儲(chǔ)系統(tǒng)的系統(tǒng)性能和用戶體驗(yàn)。

附圖說明

為了更清楚地說明本發(fā)明實(shí)施例中的技術(shù)方案,下面將對(duì)實(shí)施例描述中所需要使用的附圖作簡(jiǎn)單的介紹。顯而易見地,下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例,對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講,在不付出創(chuàng)造性勞動(dòng)的前提下,還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明一個(gè)實(shí)施例中云存儲(chǔ)系統(tǒng)的文件存儲(chǔ)方法的流程示意圖。

圖2為本發(fā)明一個(gè)實(shí)施例中獲取存儲(chǔ)文件的對(duì)象的流程示意圖。

圖3為本發(fā)明一個(gè)實(shí)施例中獲取對(duì)象對(duì)應(yīng)的放置組的流程示意圖。

圖4為本發(fā)明一個(gè)實(shí)施例中存儲(chǔ)文件的對(duì)象寫入對(duì)象存儲(chǔ)設(shè)備的流程示意圖。

圖5為本發(fā)明另一個(gè)實(shí)施例中云存儲(chǔ)系統(tǒng)的文件存儲(chǔ)裝置的結(jié)構(gòu)示意圖。

圖6為本發(fā)明另一個(gè)實(shí)施例中對(duì)象獲取模塊的結(jié)構(gòu)示意圖。

圖7為本發(fā)明另一個(gè)實(shí)施例中放置組獲取模塊的結(jié)構(gòu)示意圖。

圖8為本發(fā)明另一個(gè)實(shí)施例中文件存儲(chǔ)模塊的結(jié)構(gòu)示意圖。

圖9為本發(fā)明又一個(gè)實(shí)施例中云存儲(chǔ)系統(tǒng)的結(jié)構(gòu)示意圖。

圖10為本發(fā)明再一個(gè)實(shí)施例中云存儲(chǔ)系統(tǒng)的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面結(jié)合附圖和具體實(shí)施方式對(duì)本發(fā)明的技術(shù)方案作進(jìn)一步更詳細(xì)的描述。顯然,所描述的實(shí)施例僅僅是本發(fā)明的一部分實(shí)施例,而不是全部的實(shí)施例?;诒景l(fā)明中的實(shí)施例,本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)的前提下所獲得的所有其他實(shí)施例,都應(yīng)屬于本發(fā)明保護(hù)的范圍。

在本發(fā)明的描述中,需要理解的是,術(shù)語(yǔ)“第一”、“第二”等僅用于描述目的,而不能理解為指示或暗示相對(duì)重要性。在本發(fā)明的描述中,需要說明的是,除非另有明確的規(guī)定和限定,術(shù)語(yǔ)“相連”、“連接”應(yīng)做廣義理解,例如,可以是固定連接,也可以是可拆卸連接,或一體地連接;可以是機(jī)械連接,也可以是電連接;可以是直接相連,也可以通過中間媒介間接相連。對(duì)于本領(lǐng)域的普通技術(shù)人員而言,可以結(jié)合具體情況理解上述術(shù)語(yǔ)在本發(fā)明中的具體含義。此外,在本發(fā)明的描述中,除非另有說明,“多個(gè)”的含義是兩個(gè)或兩個(gè)以上。

流程圖中或在此以其他方式描述的任何過程或方法描述可以被理解為,表示包括一個(gè)或更多個(gè)用于實(shí)現(xiàn)特定邏輯功能或過程的步驟的可執(zhí)行指令的代碼的模塊、片段或部分,并且本發(fā)明的優(yōu)選實(shí)施方式的范圍包括另外的實(shí)現(xiàn),其中可以不按所示出或討論的順序,包括根據(jù)所涉及的功能按基本同時(shí)的方式或按相反的順序,來(lái)執(zhí)行功能,這應(yīng)被本發(fā)明的實(shí)施例所屬技術(shù)領(lǐng)域的技術(shù)人員所理解。

圖1為本發(fā)明一個(gè)實(shí)施例中云存儲(chǔ)系統(tǒng)的文件存儲(chǔ)方法的流程示意圖。如圖所示,所述云存儲(chǔ)系統(tǒng)的文件存儲(chǔ)方法,包括:

步驟S101:從客戶端獲取存儲(chǔ)文件。

在本實(shí)施例中,當(dāng)用戶想將本地的存儲(chǔ)文件(File)通云存儲(chǔ)系統(tǒng)進(jìn)行云端安全存儲(chǔ)時(shí),可使用本地客戶端通過互聯(lián)網(wǎng)連接云存儲(chǔ)系統(tǒng)的服務(wù)器,并將存儲(chǔ)文件傳輸給云存儲(chǔ)系統(tǒng)的服務(wù)器,云存儲(chǔ)系統(tǒng)的服務(wù)器的通訊端口從客戶端接收和獲取存儲(chǔ)文件,比如文檔文件和數(shù)據(jù)庫(kù)等。

步驟S102:對(duì)獲取的存儲(chǔ)文件進(jìn)行尋址以獲取存儲(chǔ)文件的對(duì)象。

在獲取到存儲(chǔ)文件后,對(duì)獲取的存儲(chǔ)文件進(jìn)行尋址以獲取存儲(chǔ)文件的對(duì)象(Object)。參見圖2,所述獲取存儲(chǔ)文件的對(duì)象,包括:

步驟S201:獲取對(duì)象的預(yù)設(shè)最大文件大小。

步驟S202:根據(jù)獲取的對(duì)象的預(yù)設(shè)最大文件大小對(duì)獲取的存儲(chǔ)文件進(jìn)行分割,以獲取存儲(chǔ)文件的對(duì)象。

在本實(shí)施例中,首先獲取對(duì)象的預(yù)設(shè)最大文件大小比如2M或4M,然后根據(jù)獲取的對(duì)象的預(yù)設(shè)最大文件大小對(duì)獲取的存儲(chǔ)文件進(jìn)行分割,以獲取多個(gè)存儲(chǔ)文件的對(duì)象,使不同文件大小的文件分割成預(yù)設(shè)最大文件大小且可被服務(wù)器高效管理的對(duì)象,并可針對(duì)多個(gè)對(duì)象同時(shí)進(jìn)行并行化處理而不再是針對(duì)單個(gè)存儲(chǔ)文件的串行處理,提高了云存儲(chǔ)系統(tǒng)對(duì)存儲(chǔ)文件的管理和存儲(chǔ)處理的工作效率。

步驟S103:對(duì)獲取的存儲(chǔ)文件的對(duì)象進(jìn)行尋址以獲取對(duì)象對(duì)應(yīng)的放置組。

在獲取到存儲(chǔ)文件的對(duì)象后,對(duì)獲取的存儲(chǔ)文件的對(duì)象進(jìn)行尋址以獲取對(duì)象對(duì)應(yīng)的放置組。參見圖3,所述獲取對(duì)象對(duì)應(yīng)的放置組,包括:

步驟S301:通過哈希函數(shù)計(jì)算標(biāo)識(shí)符的哈希值,以獲取標(biāo)識(shí)符對(duì)應(yīng)的偽隨機(jī)值。

步驟S302:將獲取的標(biāo)識(shí)符對(duì)應(yīng)的偽隨機(jī)值和掩碼按位相與運(yùn)算,以獲取對(duì)象對(duì)應(yīng)的放置組標(biāo)識(shí)。

在本實(shí)施例中,通過靜態(tài)哈希(Hash)函數(shù)計(jì)算標(biāo)識(shí)符(Oid)的哈希值,以獲取標(biāo)識(shí)符對(duì)應(yīng)近似均勻分布的偽隨機(jī)值,并將獲取的標(biāo)識(shí)符對(duì)應(yīng)的偽隨機(jī)值和掩碼(Mask)按位相與運(yùn)算,以獲取對(duì)象對(duì)應(yīng)的放置組PG(Placement Group)標(biāo)識(shí)(ID)。當(dāng)有大量對(duì)象和大量放置組時(shí),服務(wù)器可保證對(duì)象和放置組之間的近似均勻映射。由于對(duì)象是由存儲(chǔ)文件均勻分割獲取的,大部分對(duì)象的文件大小是相同的,尋址獲取的對(duì)象對(duì)應(yīng)的放置組最終保證各個(gè)放置組中存儲(chǔ)的對(duì)象的總數(shù)據(jù)量近似均勻,提升了云存儲(chǔ)系統(tǒng)的分布式存儲(chǔ)效率和系統(tǒng)性能。

步驟S104:對(duì)獲取的對(duì)象對(duì)應(yīng)的放置組進(jìn)行尋址以獲取放置組對(duì)應(yīng)的對(duì)象存儲(chǔ)設(shè)備。

在獲取對(duì)象對(duì)應(yīng)的放置組后,對(duì)獲取的對(duì)象對(duì)應(yīng)的放置組進(jìn)行尋址以獲取放置組對(duì)應(yīng)的對(duì)象存儲(chǔ)設(shè)備OSD(Object Storage Device)。具體的,通過可擴(kuò)展的偽隨機(jī)數(shù)據(jù)分布CRUSH(Controlled Replication Under Scalable Hashing)算法對(duì)獲取的對(duì)象對(duì)應(yīng)的放置組標(biāo)識(shí)進(jìn)行運(yùn)算,以獲取多個(gè)放置組對(duì)應(yīng)的對(duì)象存儲(chǔ)設(shè)備,多個(gè)對(duì)象存儲(chǔ)設(shè)備共同負(fù)責(zé)存儲(chǔ)和維護(hù)對(duì)應(yīng)的放置組中所有的對(duì)象。

在本實(shí)施例中,所述云存儲(chǔ)系統(tǒng)為每個(gè)放置組配置三個(gè)對(duì)應(yīng)的對(duì)象存儲(chǔ)設(shè)備,實(shí)現(xiàn)用戶存儲(chǔ)文件的三重備份,提高了用戶數(shù)據(jù)的安全性、完整性、可靠性、以及用戶數(shù)據(jù)的恢復(fù)速度,同時(shí)所述對(duì)象存儲(chǔ)設(shè)備配置固態(tài)硬盤SSD(Solid State Drive)實(shí)現(xiàn)數(shù)據(jù)的快速讀寫操作,提高了云存儲(chǔ)系統(tǒng)云存儲(chǔ)處理的速度和工作效率。

步驟S105:將獲取的存儲(chǔ)文件的對(duì)象寫入獲取的放置組對(duì)應(yīng)的對(duì)象存儲(chǔ)設(shè)備。

在獲取到放置組對(duì)應(yīng)的對(duì)象存儲(chǔ)設(shè)備后,將獲取的存儲(chǔ)文件的對(duì)象寫入獲取的放置組對(duì)應(yīng)的對(duì)象存儲(chǔ)設(shè)備。參見圖4,所述存儲(chǔ)文件的對(duì)象寫入對(duì)象存儲(chǔ)設(shè)備,包括:

步驟S401:將獲取的存儲(chǔ)文件的對(duì)象寫入獲取的放置組對(duì)應(yīng)的第一對(duì)象存儲(chǔ)設(shè)備。

步驟S402:將第一對(duì)象存儲(chǔ)設(shè)備寫入的對(duì)象分別寫入第二對(duì)象存儲(chǔ)設(shè)備和第三對(duì)象存儲(chǔ)設(shè)備。

步驟S403:向客戶端發(fā)送存儲(chǔ)文件成功存儲(chǔ)信息。

在本實(shí)施例中,首選將獲取的存儲(chǔ)文件的對(duì)象寫入獲取的放置組對(duì)應(yīng)的序號(hào)靠前的第一對(duì)象存儲(chǔ)設(shè)備,在所述第一對(duì)象存儲(chǔ)設(shè)備寫入后將第一對(duì)象存儲(chǔ)設(shè)備寫入的對(duì)象分別寫入第二對(duì)象存儲(chǔ)設(shè)備和第三對(duì)象存儲(chǔ)設(shè)備,并在三個(gè)對(duì)象存儲(chǔ)設(shè)備都完成寫入操作后,控制向客戶端發(fā)送存儲(chǔ)文件成功存儲(chǔ)信息,最終實(shí)現(xiàn)客戶端存儲(chǔ)文件在云存儲(chǔ)系統(tǒng)服務(wù)器的三個(gè)對(duì)象存儲(chǔ)設(shè)備中的三重安全存儲(chǔ)。在云存儲(chǔ)系統(tǒng)中,多個(gè)客戶端可和多個(gè)對(duì)象存儲(chǔ)設(shè)備同時(shí)進(jìn)行并行的寫入操作,多個(gè)對(duì)象存儲(chǔ)設(shè)備可均勻分擔(dān)云存儲(chǔ)數(shù)據(jù)寫入操作壓力,避免了單個(gè)對(duì)象存儲(chǔ)設(shè)備的存儲(chǔ)處理瓶頸,提高了云存儲(chǔ)系統(tǒng)的系統(tǒng)性能和工作效率。

在本實(shí)施例的云存儲(chǔ)系統(tǒng)的文件存儲(chǔ)方法中,對(duì)從客戶端獲取的存儲(chǔ)文件進(jìn)行尋址以獲取存儲(chǔ)文件的對(duì)象,對(duì)獲取的存儲(chǔ)文件的對(duì)象進(jìn)行尋址以獲取對(duì)象對(duì)應(yīng)的放置組,對(duì)獲取的對(duì)象對(duì)應(yīng)的放置組進(jìn)行尋址以獲取放置組對(duì)應(yīng)的對(duì)象存儲(chǔ)設(shè)備,并將獲取的存儲(chǔ)文件的對(duì)象寫入獲取的放置組對(duì)應(yīng)的對(duì)象存儲(chǔ)設(shè)備,通過三次映射快速實(shí)現(xiàn)存儲(chǔ)文件到對(duì)象存儲(chǔ)設(shè)備的尋址操作,并配置多個(gè)對(duì)象存儲(chǔ)設(shè)備對(duì)用戶存儲(chǔ)文件進(jìn)行安全備份存儲(chǔ),提高了云儲(chǔ)存系統(tǒng)文件存儲(chǔ)的便捷性、安全性、可靠性和工作效率,提升了云存儲(chǔ)系統(tǒng)的系統(tǒng)性能和用戶體驗(yàn)。

圖5為本發(fā)明另一個(gè)實(shí)施例中云存儲(chǔ)系統(tǒng)的文件存儲(chǔ)裝置的結(jié)構(gòu)示意圖。如圖所示,所述云存儲(chǔ)系統(tǒng)的文件存儲(chǔ)裝置100,包括文件獲取模塊10、對(duì)象獲取模塊20、放置組獲取模塊30、對(duì)象存儲(chǔ)設(shè)備獲取模塊40和文件存儲(chǔ)模塊50。

在本實(shí)施例中,當(dāng)用戶想將本地的存儲(chǔ)文件(File)通云存儲(chǔ)系統(tǒng)進(jìn)行云端安全存儲(chǔ)時(shí),可使用本地客戶端通過互聯(lián)網(wǎng)連接云存儲(chǔ)系統(tǒng)的服務(wù)器,并將存儲(chǔ)文件傳輸給云存儲(chǔ)系統(tǒng)的服務(wù)器,所述文件獲取模塊10通過云存儲(chǔ)系統(tǒng)的服務(wù)器的通訊端口從客戶端接收和獲取存儲(chǔ)文件,比如文檔文件和數(shù)據(jù)庫(kù)等。

在所述文件獲取模塊10獲取到存儲(chǔ)文件后,所述對(duì)象獲取模塊20對(duì)所述文件獲取模塊10獲取的存儲(chǔ)文件進(jìn)行尋址以獲取存儲(chǔ)文件的對(duì)象。參見圖6,所述對(duì)象獲取模塊20,包括對(duì)象大小獲取單元201和對(duì)象獲取單元202。

在本實(shí)施例中,所述對(duì)象大小獲取單元201首先獲取對(duì)象的預(yù)設(shè)最大文件大小比如2M或4M,然后所述對(duì)象獲取單元202根據(jù)所述對(duì)象大小獲取單元201獲取的對(duì)象的預(yù)設(shè)最大文件大小對(duì)獲取的存儲(chǔ)文件進(jìn)行分割,以獲取多個(gè)存儲(chǔ)文件的對(duì)象,使不同文件大小的文件分割成預(yù)設(shè)最大文件大小且可被服務(wù)器高效管理的對(duì)象,并可針對(duì)多個(gè)對(duì)象同時(shí)進(jìn)行并行化處理而不再是針對(duì)單個(gè)存儲(chǔ)文件的串行處理,提高了云存儲(chǔ)系統(tǒng)對(duì)存儲(chǔ)文件的管理和存儲(chǔ)處理的工作效率。

在所述對(duì)象獲取模塊20獲取到存儲(chǔ)文件的對(duì)象后,所述放置組獲取模塊30對(duì)所述對(duì)象獲取模塊20獲取的存儲(chǔ)文件的對(duì)象進(jìn)行尋址以獲取對(duì)象對(duì)應(yīng)的放置組。參見圖7,所述放置組獲取模塊30,包括偽隨機(jī)值獲取單元301和放置組標(biāo)識(shí)獲取單元302。

在本實(shí)施例中,所述偽隨機(jī)值獲取單元301通過靜態(tài)哈希(Hash)函數(shù)計(jì)算標(biāo)識(shí)符(Oid)的哈希值,以獲取標(biāo)識(shí)符對(duì)應(yīng)近似均勻分布的偽隨機(jī)值,所述放置組標(biāo)識(shí)獲取單元302將所述偽隨機(jī)值獲取單元301獲取的標(biāo)識(shí)符對(duì)應(yīng)的偽隨機(jī)值和掩碼(Mask)按位相與運(yùn)算,以獲取對(duì)象對(duì)應(yīng)的放置組PG(Placement Group)標(biāo)識(shí)(ID)。當(dāng)所述對(duì)象獲取模塊20獲取到大量對(duì)象、所述放置組獲取模塊30獲取到大量放置組時(shí),服務(wù)器可保證對(duì)象和放置組之間的近似均勻映射。由于對(duì)象是所述文件獲取模塊10由存儲(chǔ)文件均勻分割獲取的,大部分對(duì)象的文件大小是相同的,所述放置組獲取模塊30尋址獲取的對(duì)象對(duì)應(yīng)的放置組最終保證各個(gè)放置組中存儲(chǔ)的對(duì)象的總數(shù)據(jù)量近似均勻,提升了云存儲(chǔ)系統(tǒng)的分布式存儲(chǔ)效率和系統(tǒng)性能。

在所述放置組獲取模塊30獲取對(duì)象對(duì)應(yīng)的放置組后,所述對(duì)象存儲(chǔ)設(shè)備獲取模塊40對(duì)所述放置組獲取模塊30獲取的對(duì)象對(duì)應(yīng)的放置組進(jìn)行尋址以獲取放置組對(duì)應(yīng)的對(duì)象存儲(chǔ)設(shè)備OSD(Object Storage Device)。具體的,所述對(duì)象存儲(chǔ)設(shè)備獲取模塊40通過可擴(kuò)展的偽隨機(jī)數(shù)據(jù)分布CRUSH(Controlled Replication Under Scalable Hashing)算法對(duì)所述放置組獲取模塊30獲取的對(duì)象對(duì)應(yīng)的放置組標(biāo)識(shí)進(jìn)行運(yùn)算,以獲取多個(gè)放置組對(duì)應(yīng)的對(duì)象存儲(chǔ)設(shè)備,多個(gè)對(duì)象存儲(chǔ)設(shè)備共同負(fù)責(zé)存儲(chǔ)和維護(hù)對(duì)應(yīng)的放置組中所有的對(duì)象。

在本實(shí)施例中,所述云存儲(chǔ)系統(tǒng)為每個(gè)所述放置組獲取模塊30獲取的放置組配置三個(gè)對(duì)應(yīng)的對(duì)象存儲(chǔ)設(shè)備,實(shí)現(xiàn)用戶存儲(chǔ)文件的三重備份,提高了用戶數(shù)據(jù)的安全性、完整性、可靠性、以及用戶數(shù)據(jù)的恢復(fù)速度,同時(shí)所述對(duì)象存儲(chǔ)設(shè)備配置固態(tài)硬盤SSD(Solid State Drive)實(shí)現(xiàn)數(shù)據(jù)的快速讀寫操作,提高了云存儲(chǔ)系統(tǒng)云存儲(chǔ)處理的速度和工作效率。

在所述對(duì)象存儲(chǔ)設(shè)備獲取模塊40獲取到放置組對(duì)應(yīng)的對(duì)象存儲(chǔ)設(shè)備后,所述文件存儲(chǔ)模塊50將所述對(duì)象存儲(chǔ)設(shè)備獲取模塊40獲取的存儲(chǔ)文件的對(duì)象寫入獲取的放置組對(duì)應(yīng)的對(duì)象存儲(chǔ)設(shè)備。參見圖8,所述文件存儲(chǔ)模塊50,包括第一寫入單元501、第二寫入單元502、第三寫入單元503和存儲(chǔ)信息發(fā)送單元504。

在本實(shí)施例中,所述第一寫入單元501首選將所述對(duì)象獲取模塊20獲取的存儲(chǔ)文件的對(duì)象寫入所述對(duì)象存儲(chǔ)設(shè)備獲取模塊40獲取的放置組對(duì)應(yīng)的序號(hào)靠前的第一對(duì)象存儲(chǔ)設(shè)備,在所述第一寫入單元501對(duì)所述第一對(duì)象存儲(chǔ)設(shè)備寫入后,所述第二寫入單元502和第三寫入單元503將所述第一寫入單元501對(duì)第一對(duì)象存儲(chǔ)設(shè)備寫入的對(duì)象分別寫入第二對(duì)象存儲(chǔ)設(shè)備和第三對(duì)象存儲(chǔ)設(shè)備,并在所述第一寫入單元501、第二寫入單元502和第三寫入單元503三個(gè)對(duì)象存儲(chǔ)設(shè)備都完成寫入操作后,所述存儲(chǔ)信息發(fā)送單元504控制向客戶端發(fā)送存儲(chǔ)文件成功存儲(chǔ)信息,最終實(shí)現(xiàn)客戶端存儲(chǔ)文件在云存儲(chǔ)系統(tǒng)服務(wù)器的三個(gè)對(duì)象存儲(chǔ)設(shè)備中的三重安全存儲(chǔ)。在云存儲(chǔ)系統(tǒng)中,多個(gè)客戶端可和多個(gè)對(duì)象存儲(chǔ)設(shè)備同時(shí)進(jìn)行并行的寫入操作,多個(gè)對(duì)象存儲(chǔ)設(shè)備可均勻分擔(dān)云存儲(chǔ)數(shù)據(jù)寫入操作壓力,避免了單個(gè)對(duì)象存儲(chǔ)設(shè)備的存儲(chǔ)處理瓶頸,提高了云存儲(chǔ)系統(tǒng)的系統(tǒng)性能和工作效率。

在本實(shí)施例的云存儲(chǔ)系統(tǒng)的文件存儲(chǔ)系統(tǒng)100中,對(duì)所述對(duì)象獲取模塊20對(duì)所述文件獲取模塊10從客戶端獲取的存儲(chǔ)文件進(jìn)行尋址以獲取存儲(chǔ)文件的對(duì)象,所述放置組獲取模塊30對(duì)所述對(duì)象獲取模塊20獲取的存儲(chǔ)文件的對(duì)象進(jìn)行尋址以獲取對(duì)象對(duì)應(yīng)的放置組,所述對(duì)象存儲(chǔ)設(shè)備獲取模塊40對(duì)所述放置組獲取模塊30獲取的對(duì)象對(duì)應(yīng)的放置組進(jìn)行尋址以獲取放置組對(duì)應(yīng)的對(duì)象存儲(chǔ)設(shè)備,所述文件存儲(chǔ)模塊50將所述對(duì)象獲取模塊20獲取的存儲(chǔ)文件的對(duì)象寫入所述對(duì)象存儲(chǔ)設(shè)備獲取模塊40獲取的放置組對(duì)應(yīng)的對(duì)象存儲(chǔ)設(shè)備,通過三次映射快速實(shí)現(xiàn)存儲(chǔ)文件到對(duì)象存儲(chǔ)設(shè)備的尋址操作,并配置多個(gè)對(duì)象存儲(chǔ)設(shè)備對(duì)用戶存儲(chǔ)文件進(jìn)行安全備份存儲(chǔ),提高了云儲(chǔ)存系統(tǒng)文件存儲(chǔ)的便捷性、安全性、可靠性和工作效率,提升了云存儲(chǔ)系統(tǒng)的系統(tǒng)性能和用戶體驗(yàn)。

圖9為本發(fā)明又一個(gè)實(shí)施例中云存儲(chǔ)系統(tǒng)的結(jié)構(gòu)示意圖。如圖所示,所述云存儲(chǔ)系統(tǒng)300包括客戶端200和云存儲(chǔ)系統(tǒng)的文件存儲(chǔ)裝置100,通過所述云存儲(chǔ)系統(tǒng)的文件存儲(chǔ)裝置100實(shí)現(xiàn)了三次映射快速實(shí)現(xiàn)存儲(chǔ)文件到對(duì)象存儲(chǔ)設(shè)備的尋址操作,并配置多個(gè)對(duì)象存儲(chǔ)設(shè)備對(duì)用戶存儲(chǔ)文件進(jìn)行安全備份存儲(chǔ),提高了云儲(chǔ)存系統(tǒng)300文件存儲(chǔ)的便捷性、安全性、可靠性和工作效率,提升了云存儲(chǔ)系統(tǒng)300的系統(tǒng)性能和用戶體驗(yàn)。

圖10為本發(fā)明再一個(gè)實(shí)施例中云存儲(chǔ)系統(tǒng)的結(jié)構(gòu)示意圖。如圖所示,在上述實(shí)施例的基礎(chǔ)上,所述云存儲(chǔ)系統(tǒng)300包括客戶端200、云存儲(chǔ)系統(tǒng)的文件存儲(chǔ)裝置100、對(duì)象存儲(chǔ)集群400和對(duì)象存儲(chǔ)集群監(jiān)視模塊500。在本實(shí)施例中,所述對(duì)象存儲(chǔ)集群400自動(dòng)優(yōu)化所述云存儲(chǔ)系統(tǒng)的文件存儲(chǔ)裝置的從對(duì)象到塊的映射,以自動(dòng)化指向選擇最佳的存儲(chǔ)方式來(lái)存儲(chǔ)對(duì)象。所述對(duì)象存儲(chǔ)集群監(jiān)視模塊500檢測(cè)和維護(hù)所述對(duì)象存儲(chǔ)集群400從對(duì)象到塊的映射,實(shí)現(xiàn)所述對(duì)象存儲(chǔ)集群400的映射的監(jiān)控和管理。通過所述對(duì)象存儲(chǔ)集群400和對(duì)象存儲(chǔ)集群監(jiān)視模塊500進(jìn)一步優(yōu)化和管理所述云存儲(chǔ)系統(tǒng)的文件存儲(chǔ)裝置的從對(duì)象到塊的映射,進(jìn)一步提高了云儲(chǔ)存系統(tǒng)300文件存儲(chǔ)的便捷性、安全性、可靠性和工作效率,提升了云存儲(chǔ)系統(tǒng)300的系統(tǒng)性能和用戶體驗(yàn)。

應(yīng)當(dāng)理解,本發(fā)明的各部分可以用硬件、軟件、固件或它們的組合來(lái)實(shí)現(xiàn)。在上述實(shí)施方式中,多個(gè)步驟或方法可以用存儲(chǔ)在存儲(chǔ)器中且由合適的指令執(zhí)行系統(tǒng)執(zhí)行的軟件或固件來(lái)實(shí)現(xiàn)。例如,如果用硬件來(lái)實(shí)現(xiàn),和在另一實(shí)施方式中一樣,可用本領(lǐng)域公知的下列技術(shù)中的任一項(xiàng)或他們的組合來(lái)實(shí)現(xiàn):具有用于對(duì)數(shù)據(jù)信號(hào)實(shí)現(xiàn)邏輯功能的邏輯門電路的離散邏輯電路,具有合適的組合邏輯門電路的專用集成電路,可編程門陣列(PGA),現(xiàn)場(chǎng)可編程門陣列(FPGA)等。

在本說明書的描述中,參考術(shù)語(yǔ)“一個(gè)實(shí)施例”、“一些實(shí)施例”、“示例”、“具體示例”、或“一些示例”等描述意指結(jié)合該實(shí)施例或示例描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)包含于本發(fā)明的至少一個(gè)實(shí)施例或示例中。在本說明書中,對(duì)上述術(shù)語(yǔ)的示意性表述不一定指的是相同的實(shí)施例或示例。而且,描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)可以在任何的一個(gè)或多個(gè)實(shí)施例或示例中以合適的方式結(jié)合。

盡管已經(jīng)示出和描述了本發(fā)明的實(shí)施例,本領(lǐng)域的普通技術(shù)人員可以理解:在不脫離本發(fā)明的原理和宗旨的情況下可以對(duì)這些實(shí)施例進(jìn)行多種變化、修改、替換和變型,本發(fā)明的范圍由權(quán)利要求及其等同物限定。

當(dāng)前第1頁(yè)1 2 3 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1
主站蜘蛛池模板: 卢龙县| 商都县| 阳信县| 泾川县| 正镶白旗| 长春市| 桓台县| 博客| 沂水县| 晋江市| 长丰县| 洞头县| 东辽县| 迁安市| 古丈县| 洞口县| 滁州市| 响水县| 绥芬河市| 鹰潭市| 巴彦淖尔市| 清远市| 九江市| 社会| 交口县| 满洲里市| 商南县| 文登市| 屯门区| 苍山县| 太白县| 巴彦县| 资源县| 包头市| 大安市| 遵义市| 宁城县| 正镶白旗| 静宁县| 咸丰县| 南丰县|