技術特征：

1.一種基于大規模預訓練vit模型的摳圖方法，其特征在于，包括以下步驟：

2.如權利要求1所述基于大規模預訓練vit模型的摳圖方法，其特征在于，所述主干網絡包括嵌入模塊和多個編碼模塊；

3.如權利要求2所述基于大規模預訓練vit模型的摳圖方法，其特征在于，所述大模型為交互式分割模型，包括提示編碼器、圖像編碼器和輕量級掩碼解碼器；

4.如權利要求3所述基于大規模預訓練vit模型的摳圖方法，其特征在于，所述旁路網絡包括空間先驗模塊、幾何先驗特征注入模塊和多尺度特征提取模塊；

5.一種計算機可讀存儲介質，其特征在于，其上存儲有基于大規模預訓練vit模型的摳圖程序，該基于大規模預訓練vit模型的摳圖程序被處理器執行時實現如權利要求1-4中任一項所述的基于大規模預訓練vit模型的摳圖方法。

6.一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時，實現如權利要求1-4中任一項所述的基于大規模預訓練vit模型的摳圖方法。

7.一種基于大規模預訓練vit模型的摳圖裝置，其特征在于，包括：

8.如權利要求7所述的基于大規模預訓練vit模型的摳圖裝置，其特征在于，所述主干網絡包括嵌入模塊和多個編碼模塊；

9.如權利要求8所述的基于大規模預訓練vit模型的摳圖裝置，其特征在于，所述大模型為交互式分割模型，包括提示編碼器、圖像編碼器和輕量級掩碼解碼器；

10.如權利要求9所述的基于大規模預訓練vit模型的摳圖裝置，其特征在于，所述旁路網絡包括空間先驗模塊、幾何先驗特征注入模塊和多尺度特征提取模塊；

技術總結
本申請公開了一種基于大規模預訓練ViT模型的摳圖方法及裝置，其中方法包括：獲取待摳圖圖像；將待摳圖圖像輸入到分割模型，以通過分割模型生成對應的三元圖，其中，分割模型包括主干網絡和旁路網絡，主干網絡采用ViT架構，并通過key?value映射方式將大模型預訓練的權重應用于主干網絡，旁路網絡用于輔助主干網絡學習局部空間信息；將三元圖和待摳圖圖像輸入到摳圖模型，以通過摳圖模型生成對應的灰度圖像，其中，摳圖模型具有與分割模型相同的架構；將待摳圖圖像與灰度圖像進行融合，以得到最終的摳圖結果；由此，通過在ViT架構中引入了基于大模型預訓練權重，并加入旁路網絡輔助主干網絡，從而有效提升了模型的語義識別能力和摳圖精度。

技術研發人員：陳嘉偉,張煒
受保護的技術使用者：稿定（廈門）科技有限公司
技術研發日：
技術公布日：2025/4/24