本申請(qǐng)涉及數(shù)據(jù)存儲(chǔ)，尤其涉及一種模型壓縮存儲(chǔ)方法、模型解壓縮方法、電子設(shè)備及介質(zhì)。

背景技術(shù)：

1、在人工智能技術(shù)迅猛發(fā)展的當(dāng)下，transformer?架構(gòu)模型憑借其卓越性能，在自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)等眾多領(lǐng)域廣泛應(yīng)用且前景廣闊。然而，隨著模型規(guī)模持續(xù)擴(kuò)張以及應(yīng)用場(chǎng)景愈發(fā)復(fù)雜，其存儲(chǔ)需求已成為阻礙其進(jìn)一步發(fā)展與應(yīng)用的關(guān)鍵問(wèn)題。傳統(tǒng)模型存儲(chǔ)方式通常需占用大量存儲(chǔ)空間，這對(duì)存儲(chǔ)設(shè)備的容量和性能提出了嚴(yán)苛要求。

2、相關(guān)技術(shù)中提出了對(duì)模型線(xiàn)性層參數(shù)進(jìn)行低秩分解與激活和權(quán)重聯(lián)合量化，以低比特表示降低參數(shù)量；對(duì)經(jīng)過(guò)低秩因子計(jì)算后的中間激活也量化為低比特，實(shí)現(xiàn)硬件友好的模型低秩量化加速，提升預(yù)測(cè)推理速度并減少存儲(chǔ)需求。

3、然而，相關(guān)技術(shù)中重點(diǎn)在于低秩量化與模型加速及精度恢復(fù)，減少存儲(chǔ)需求主要依賴(lài)量化和低秩分解，但是transformer?架構(gòu)的模型中，存在數(shù)量龐大的參數(shù)矩陣，這些矩陣占據(jù)了極大的存儲(chǔ)空間。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)?zhí)峁┝艘环N模型壓縮存儲(chǔ)方法、模型解壓縮方法、電子設(shè)備及介質(zhì)，以至少解決相關(guān)技術(shù)中模型存儲(chǔ)占用大量存儲(chǔ)空間的問(wèn)題。

2、本申請(qǐng)?zhí)峁┝艘环N模型壓縮存儲(chǔ)方法，包括：將目標(biāo)模型的權(quán)重矩陣分解為多個(gè)目標(biāo)向量的組合；將多個(gè)目標(biāo)向量的組合重組，根據(jù)重組后向量生成向量集合；基于重組后向量和向量集合存儲(chǔ)被壓縮的權(quán)重矩陣。

3、本申請(qǐng)?zhí)峁┝艘环N模型解壓縮方法，包括：獲取壓縮的目標(biāo)模型，其中，壓縮的目標(biāo)模型利用上述實(shí)施例的模型壓縮存儲(chǔ)方法壓縮得到；識(shí)別壓縮的目標(biāo)模型中被壓縮的權(quán)重矩陣；對(duì)被壓縮的權(quán)重矩陣進(jìn)行解壓縮。

4、本申請(qǐng)還提供了一種模型壓縮存儲(chǔ)裝置，包括：分解模塊，用于將目標(biāo)模型的權(quán)重矩陣分解為多個(gè)目標(biāo)向量的組合；生成模塊，用于將多個(gè)目標(biāo)向量的組合重組，根據(jù)重組后向量生成向量集合；存儲(chǔ)模塊，用于基于重組后向量和向量集合存儲(chǔ)被壓縮的權(quán)重矩陣。

5、本申請(qǐng)還提供了一種模型解壓縮裝置，包括：獲取模塊，用于獲取壓縮的目標(biāo)模型，其中，壓縮的目標(biāo)模型利用上述實(shí)施例的模型壓縮存儲(chǔ)裝置壓縮得到；識(shí)別模塊，用于識(shí)別壓縮的目標(biāo)模型中被壓縮的權(quán)重矩陣；解壓模塊，用于對(duì)被壓縮的權(quán)重矩陣進(jìn)行解壓縮。

6、本申請(qǐng)還提供了一種電子設(shè)備，包括：存儲(chǔ)器，用于存儲(chǔ)計(jì)算機(jī)程序；處理器，用于執(zhí)行計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述任一種模型壓縮存儲(chǔ)方法和的模型解壓縮方法步驟。

7、本申請(qǐng)還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)程序，其中，計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述任一種模型壓縮存儲(chǔ)方法和的模型解壓縮方法步驟。

8、本申請(qǐng)還提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述任一種模型壓縮存儲(chǔ)方法和的模型解壓縮方法步驟。

9、通過(guò)本申請(qǐng)，由于將目標(biāo)模型的權(quán)重矩陣拆分成多個(gè)目標(biāo)向量的組合，對(duì)多個(gè)目標(biāo)向量的組合進(jìn)行重組操作，然后根據(jù)重組后向量生成向量集合。重組過(guò)程可以對(duì)目標(biāo)向量進(jìn)行優(yōu)化和整合，生成的向量集合能夠更高效地表示原始的權(quán)重矩陣，基于重組后向量和向量集合來(lái)存儲(chǔ)被壓縮的權(quán)重矩陣，由此，能夠充分挖掘權(quán)重矩陣內(nèi)部的結(jié)構(gòu)信息，避免了對(duì)整個(gè)權(quán)重矩陣的直接存儲(chǔ)，從而減少了存儲(chǔ)空間。因此，可以解決相關(guān)技術(shù)中模型存儲(chǔ)占用大量存儲(chǔ)空間的問(wèn)題。

技術(shù)特征：

1.一種模型壓縮存儲(chǔ)方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的模型壓縮存儲(chǔ)方法，其特征在于，所述將目標(biāo)模型的權(quán)重矩陣分解為多個(gè)目標(biāo)向量的組合，包括：

3.根據(jù)權(quán)利要求2所述的模型壓縮存儲(chǔ)方法，其特征在于，在將目標(biāo)模型的權(quán)重矩陣分解為多個(gè)目標(biāo)向量的組合之前，還包括：

4.根據(jù)權(quán)利要求3所述的模型壓縮存儲(chǔ)方法，其特征在于，所述按照所述目標(biāo)分解維度對(duì)多個(gè)權(quán)重矩陣進(jìn)行分組，包括：

5.根據(jù)權(quán)利要求2-4任意一項(xiàng)所述的模型壓縮存儲(chǔ)方法，其特征在于，所述目標(biāo)分解維度包括行維度和列維度的至少一個(gè)。

6.根據(jù)權(quán)利要求1所述的模型壓縮存儲(chǔ)方法，其特征在于，所述根據(jù)所述重組后向量生成向量集合，包括：

7.根據(jù)權(quán)利要求1所述的模型壓縮存儲(chǔ)方法，其特征在于，所述基于所述重組后向量和所述向量集合存儲(chǔ)被壓縮的權(quán)重矩陣，包括：

8.根據(jù)權(quán)利要求7所述的模型壓縮存儲(chǔ)方法，其特征在于，所述根據(jù)重組后向量表示所述多個(gè)目標(biāo)向量，包括：

9.根據(jù)權(quán)利要求8所述的模型壓縮存儲(chǔ)方法，其特征在于，所述根據(jù)重組后向量計(jì)算所述多個(gè)目標(biāo)向量的第二標(biāo)識(shí)，包括：

10.根據(jù)權(quán)利要求7所述的模型壓縮存儲(chǔ)方法，其特征在于，所述識(shí)別所述向量集合的第一標(biāo)識(shí)，包括：

11.一種模型解壓縮方法，其特征在于，包括：

12.根據(jù)權(quán)利要求11所述的模型解壓縮方法，其特征在于，所述對(duì)所述被壓縮的權(quán)重矩陣進(jìn)行解壓縮，包括：

13.一種電子設(shè)備，其特征在于，包括：

14.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)程序，其中，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至10任一項(xiàng)所述模型壓縮存儲(chǔ)方法和11或12所述模型解壓縮方法的步驟。

15.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至10任一項(xiàng)所述模型壓縮存儲(chǔ)方法和11或12所述模型解壓縮方法的步驟。

技術(shù)總結(jié)
本申請(qǐng)公開(kāi)了一種模型壓縮存儲(chǔ)方法、模型解壓縮方法、電子設(shè)備及介質(zhì)，涉及數(shù)據(jù)存儲(chǔ)技術(shù)領(lǐng)域，包括：將目標(biāo)模型的權(quán)重矩陣拆分成多個(gè)目標(biāo)向量的組合，對(duì)多個(gè)目標(biāo)向量的組合進(jìn)行重組操作，然后根據(jù)重組后向量生成向量集合。重組過(guò)程可以對(duì)目標(biāo)向量進(jìn)行優(yōu)化和整合，生成的向量集合能夠更高效地表示原始的權(quán)重矩陣，基于重組后向量和向量集合來(lái)存儲(chǔ)被壓縮的權(quán)重矩陣，由此，能夠充分挖掘權(quán)重矩陣內(nèi)部的結(jié)構(gòu)信息，避免了對(duì)整個(gè)權(quán)重矩陣的直接存儲(chǔ)，從而減少了存儲(chǔ)空間。因此，可以解決相關(guān)技術(shù)中模型存儲(chǔ)占用大量存儲(chǔ)空間的問(wèn)題。

技術(shù)研發(fā)人員：溫東超,史宏志
受保護(hù)的技術(shù)使用者：蘇州元腦智能科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/4/28