本發(fā)明涉及圖像虛化,尤其涉及一種基于漸進式高斯濾波的圖像虛化方法及裝置、存儲介質(zhì)。
背景技術:
1、圖像或視頻處理領域常常會用到圖像虛化方法,圖像虛化方法是一種突出圖像中的主體對象而虛化除該主體對象以外的部分的圖像處理方法,例如常見的人像虛化操作,需要將人像進行清晰地顯示,而除人像以外的部分進行模糊處理。
2、現(xiàn)有的圖像虛化方法主要依賴于多攝像頭系統(tǒng)或高級單攝像頭。在多攝像頭系統(tǒng)中,通過使用兩個或更多的攝像頭捕捉同一場景的不同視角,通過比較不同攝像頭捕獲的相位差,計算出該場景的深度信息以區(qū)分圖像的主體對象和背景,并結(jié)合軟件實現(xiàn)對背景的虛化處理。而基于高級單攝像頭的圖像虛化方法,例如全像素雙核對焦技術,通過捕捉每個像素點的多個光線信息來獲取場景的深度信息,并結(jié)合軟件實現(xiàn)虛化效果。實踐表明,上述方法對圖像虛化處理時,圖像虛化的往往不夠自然,這主要體現(xiàn)在:主體對象部分與背景部分之間的像素變化比較突兀,尤其主體對象的邊緣不夠清晰銳利。
3、因此,提出一種新的圖像虛化方法,以使圖像虛化處理時,圖像中的主體對象部分與背景部分之間的像素變化更加平滑,主體對象的邊緣更加清晰銳利,進而使得圖像虛化的更加自然,成為圖像虛化領域需要解決的技術問題。
技術實現(xiàn)思路
1、本發(fā)明提供了一種基于漸進式高斯濾波的圖像虛化方法及裝置、存儲介質(zhì),以使圖像虛化處理時,圖像中的主體對象部分與背景部分之間的像素變化更加平滑,主體對象的邊緣更加清晰銳利,進而使得圖像虛化的更加自然。
2、為了解決上述技術問題,本發(fā)明第一方面公開了一種基于漸進式高斯濾波的圖像虛化方法,所述方法包括:
3、對于待虛化圖像上的每一個像素點,基于預先訓練好的圖像分割模型,確定該像素點為目標對象像素點的目標概率;根據(jù)該像素點對應的目標概率,確定該像素點對應的目標高斯濾波算法;
4、對于所述待虛化圖像上的每一個所述像素點,基于該像素點對應的所述目標高斯濾波算法對該像素點執(zhí)行高斯濾波操作,獲得該像素點對應的濾波像素值;
5、根據(jù)所述待虛化圖像上的每個所述像素點對應的所述濾波像素值,確定所述待虛化圖像對應的對象虛化圖片。
6、作為一種可選的實施方式,在本發(fā)明第一方面中,所述對于待虛化圖像上的每一個像素點,基于預先訓練好的圖像分割模型,確定該像素點為目標對象像素點的目標概率,包括:
7、輸入待虛化圖像至預先訓練好的圖像分割模型中,得到所述圖像分割模型輸出的對象分割概率圖;
8、對于待虛化圖像上的每一個像素點,根據(jù)所述對象分割概率圖,確定該像素點為目標對象像素點的目標概率;
9、其中,所述對象分割概率圖中每一個像素點的像素值用于表示該像素點為目標對象像素點的概率;
10、以及,所述對于待虛化圖像上的每一個所述像素點,根據(jù)所述目標概率,確定該像素點對應的目標高斯濾波算法,包括:
11、對于待虛化圖像上的每一個所述像素點,根據(jù)該像素點對應的目標概率,確定該像素點對應的目標算法參數(shù),并根據(jù)所述目標算法參數(shù)確定該像素點對應的目標高斯濾波算法;
12、所述目標算法參數(shù)至少包括目標濾波核尺寸kernel_size和目標高斯函數(shù)標準差σ。
13、作為一種可選的實施方式,在本發(fā)明第一方面中,所述對于待虛化圖像上的每一個所述像素點,根據(jù)該像素點對應的目標概率,確定該像素點對應的目標高斯濾波算法,包括:
14、對于待虛化圖像上的每一個所述像素點,若該像素點對應的目標概率小于預設的第一概率閾值,則確定該像素點為非目標對象像素點,并確定該像素點對應的目標算法參數(shù)為第一算法參數(shù);若該像素點對應的所述目標概率大于等于所述第一概率閾值且小于預設的第二概率閾值,則確定該像素點為對象邊緣像素點,并確定該像素點對應的目標算法參數(shù)為第二算法參數(shù);
15、其中,所述第一概率閾值小于所述第二概率閾值。
16、作為一種可選的實施方式,在本發(fā)明第一方面中,所述對于所述待虛化圖像上的每一個所述像素點,基于該像素點對應的所述目標高斯濾波算法對該像素點執(zhí)行高斯濾波操作,獲得該像素點對應的濾波像素值,包括:
17、分別使用多種預設高斯濾波算法對所述待虛化圖像的所有所述像素點執(zhí)行高斯濾波操作,獲得所述待虛化圖像的每個所述像素點對應的多個預濾波像素值;根據(jù)所述待虛化圖像的所有所述像素點對應的所有所述預濾波像素值,得到每種所述預設高斯濾波算法對應的預處理圖像;
18、對于所述待虛化圖像上的每一個所述像素點,根據(jù)該像素點對應的目標高斯濾波算法,確定與該像素點對應的目標高斯濾波算法相匹配的目標預設高斯濾波算法,根據(jù)所述目標預設高斯濾波算法,從所有所述預處理圖像中確定出該像素點對應的目標預處理圖像;根據(jù)所述目標預處理圖像中與該像素點對應的匹配像素點的像素值,確定該像素點對應的濾波像素值。
19、作為一種可選的實施方式,在本發(fā)明第一方面中,所述對于待虛化圖像上的每一個所述像素點,根據(jù)該像素點對應的目標概率,確定該像素點對應的目標算法參數(shù),包括:
20、對于待虛化圖像上的每一個像素點,根據(jù)該像素點對應的目標概率,確定該像素點對應的目標高斯函數(shù)標準差σ,根據(jù)該像素點對應的所述目標高斯函數(shù)標準差σ,確定該像素點對應的目標濾波核尺寸kernel_size;
21、其中,所述根據(jù)該像素點對應的所述目標高斯函數(shù)標準差σ,確定該像素點對應的目標濾波核尺寸kernel_size,具體通過如下公式實現(xiàn):
22、
23、kernel_size=2*radius+1
24、上式中,為向上取整運算,radius為中間參數(shù)。
25、作為一種可選的實施方式,在本發(fā)明第一方面中,所述對于所述待虛化圖像上的每一個所述像素點,基于該像素點對應的所述目標高斯濾波算法對該像素點執(zhí)行高斯濾波操作,獲得該像素點對應的濾波像素值,包括:
26、對于所述待虛化圖像上的每一個所述像素點,確定該像素點為目標像素點,以該目標像素點為坐標原點,以該目標像素點對應的所述目標濾波核尺寸kernel_siz為邊長,構建該目標像素點對應的,大小為kernel_size*kernel_size的目標濾波核;根據(jù)該目標像素點對應的所述目標高斯函數(shù)標準差σ,確定該目標濾波核對應的濾波核權重矩陣;
27、對于所述待虛化圖像上每一個所述目標像素點,將所述待虛化圖像上位于該目標像素點對應的目標濾波核內(nèi)的所有像素點與所述濾波核權重矩陣進行卷積計算,獲得該目標像素點對應的濾波像素值;
28、其中,所述對于所述待虛化圖像上每一個目標像素點,根據(jù)該目標像素點對應的所述目標高斯函數(shù)標準差σ,確定該目標濾波核對應的濾波核權重矩陣,具體通過如下公式實現(xiàn):
29、
30、上式中,x為該目標濾波核內(nèi)的任一所述像素點的橫坐標,其中,x的取值范圍為[-radius,radius];y為該目標濾波核內(nèi)的任一所述像素點的縱坐標,其中,y的取值范圍也為[-radius,radius];該目標像素點的坐標為(0,0);f(x,y)為(x,y)處的所述像素點的權重參數(shù)。
31、作為一種可選的實施方式,在本發(fā)明第一方面中,所述輸入待虛化圖像至預先訓練好的圖像分割模型中,得到所述圖像分割模型輸出的對象分割概率圖,包括:
32、獲取分辨率為ih*iw的待虛化圖像,對所述待虛化圖像進行預處理,獲得預處理圖像;
33、將所述預處理圖像縮放為分辨率為nh*nw的中間圖像;
34、輸入所述中間圖像至預先訓練好的圖像分割模型中,獲得所述圖像分割模型輸出的分辨率為nh*nw初始概率圖;
35、對所述初始概率圖進行雙線性插值上采樣后獲得分辨率為ih*iw的對象分割概率圖;
36、其中,所述對所述待虛化圖像進行預處理,獲得預處理圖像,具體包括:
37、計算所述待虛化圖像上所有所述像素點的像素均值和像素方差;
38、對于所述待虛化圖像上每一個所述像素點,將該像素點的像素值減去所述像素均值后再除以所述像素方差,得到該像素點的標準化像素值;
39、對所述待虛化圖像上所有所述像素點的所述標準化像素值執(zhí)行歸一化操作,獲得所述待虛化圖像上每個所述像素點的預處理像素值;
40、根據(jù)所述待虛化圖像上所有所述像素點的所述預處理像素值,獲得預處理圖像。
41、本發(fā)明第二方面公開了一種基于漸進式高斯濾波的圖像虛化裝置,所述裝置包括:
42、圖像分割模塊,用于對于待虛化圖像上的每一個像素點,基于預先訓練好的圖像分割模型,確定該像素點為目標對象像素點的目標概率;根據(jù)該像素點對應的目標概率,確定該像素點對應的目標高斯濾波算法;
43、高斯濾波模塊,用于對于所述待虛化圖像上的每一個所述像素點,基于該像素點對應的所述目標高斯濾波算法對該像素點執(zhí)行高斯濾波操作,獲得該像素點對應的濾波像素值;
44、圖像虛化模塊,用于根據(jù)所述待虛化圖像上的每個所述像素點對應的所述濾波像素值,確定所述待虛化圖像對應的對象虛化圖片。
45、作為一種可選的實施方式,在本發(fā)明第二方面中,所述圖像分割模塊對于待虛化圖像上的每一個像素點,基于預先訓練好的圖像分割模型,確定該像素點為目標對象像素點的目標概率的具體方式,包括:
46、輸入待虛化圖像至預先訓練好的圖像分割模型中,得到所述圖像分割模型輸出的對象分割概率圖;
47、對于待虛化圖像上的每一個像素點,根據(jù)所述對象分割概率圖,確定該像素點為目標對象像素點的目標概率;
48、其中,所述對象分割概率圖中每一個像素點的像素值用于表示該像素點為目標對象像素點的概率;
49、以及,所述對于待虛化圖像上的每一個所述像素點,根據(jù)所述目標概率,確定該像素點對應的目標高斯濾波算法,包括:
50、對于待虛化圖像上的每一個所述像素點,根據(jù)該像素點對應的目標概率,確定該像素點對應的目標算法參數(shù),并根據(jù)所述目標算法參數(shù)確定該像素點對應的目標高斯濾波算法;
51、所述目標算法參數(shù)至少包括目標濾波核尺寸kernel_size和目標高斯函數(shù)標準差σ。
52、作為一種可選的實施方式,在本發(fā)明第二方面中,所述圖像分割模塊對于待虛化圖像上的每一個所述像素點,根據(jù)該像素點對應的目標概率,確定該像素點對應的目標高斯濾波算法的具體方式,包括:
53、對于待虛化圖像上的每一個所述像素點,若該像素點對應的目標概率小于預設的第一概率閾值,則確定該像素點為非目標對象像素點,并確定該像素點對應的目標算法參數(shù)為第一算法參數(shù);若該像素點對應的所述目標概率大于等于所述第一概率閾值且小于預設的第二概率閾值,則確定該像素點為對象邊緣像素點,并確定該像素點對應的目標算法參數(shù)為第二算法參數(shù);
54、其中,所述第一概率閾值小于所述第二概率閾值。
55、作為一種可選的實施方式,在本發(fā)明第二方面中,所述高斯濾波模塊對于所述待虛化圖像上的每一個所述像素點,基于該像素點對應的所述目標高斯濾波算法對該像素點執(zhí)行高斯濾波操作,獲得該像素點對應的濾波像素值的具體方式,包括:
56、分別使用多種預設高斯濾波算法對所述待虛化圖像的所有所述像素點執(zhí)行高斯濾波操作,獲得所述待虛化圖像的每個所述像素點對應的多個預濾波像素值;根據(jù)所述待虛化圖像的所有所述像素點對應的所有所述預濾波像素值,得到每種所述預設高斯濾波算法對應的預處理圖像;
57、對于所述待虛化圖像上的每一個所述像素點,根據(jù)該像素點對應的目標高斯濾波算法,確定與該像素點對應的目標高斯濾波算法相匹配的目標預設高斯濾波算法,根據(jù)所述目標預設高斯濾波算法,從所有所述預處理圖像中確定出該像素點對應的目標預處理圖像;根據(jù)所述目標預處理圖像中與該像素點對應的匹配像素點的像素值,確定該像素點對應的濾波像素值。
58、作為一種可選的實施方式,在本發(fā)明第二方面中,所述圖像分割模塊對于待虛化圖像上的每一個所述像素點,根據(jù)該像素點對應的目標概率,確定該像素點對應的目標算法參數(shù)的具體方式,包括:
59、對于待虛化圖像上的每一個像素點,根據(jù)該像素點對應的目標概率,確定該像素點對應的目標高斯函數(shù)標準差σ,根據(jù)該像素點對應的所述目標高斯函數(shù)標準差σ,確定該像素點對應的目標濾波核尺寸kernel_size;
60、其中,所述根據(jù)該像素點對應的所述目標高斯函數(shù)標準差σ,確定該像素點對應的目標濾波核尺寸kernel_size,具體通過如下公式實現(xiàn):
61、
62、kernel_size=2*radius+1
63、上式中,為向上取整運算,radius為中間參數(shù)。
64、作為一種可選的實施方式,在本發(fā)明第二方面中,所述高斯濾波模塊對于所述待虛化圖像上的每一個所述像素點,基于該像素點對應的所述目標高斯濾波算法對該像素點執(zhí)行高斯濾波操作,獲得該像素點對應的濾波像素值的具體方式,包括:
65、對于所述待虛化圖像上的每一個所述像素點,確定該像素點為目標像素點,以該目標像素點為坐標原點,以該目標像素點對應的所述目標濾波核尺寸kernel_siz為邊長,構建該目標像素點對應的,大小為kernel_size*kernel_size的目標濾波核;根據(jù)該目標像素點對應的所述目標高斯函數(shù)標準差σ,確定該目標濾波核對應的濾波核權重矩陣;
66、對于所述待虛化圖像上每一個所述目標像素點,將所述待虛化圖像上位于該目標像素點對應的目標濾波核內(nèi)的所有像素點與所述濾波核權重矩陣進行卷積計算,獲得該目標像素點對應的濾波像素值;
67、其中,所述對于所述待虛化圖像上每一個目標像素點,根據(jù)該目標像素點對應的所述目標高斯函數(shù)標準差σ,確定該目標濾波核對應的濾波核權重矩陣,具體通過如下公式實現(xiàn):
68、
69、上式中,x為該目標濾波核內(nèi)的任一所述像素點的橫坐標,其中,x的取值范圍為[-radius,radius];y為該目標濾波核內(nèi)的任一所述像素點的縱坐標,其中,y的取值范圍也為[-radius,radius];該目標像素點的坐標為(0,0);f(x,y)為(x,y)處的所述像素點的權重參數(shù)。
70、作為一種可選的實施方式,在本發(fā)明第二方面中,所述圖像分割模塊輸入待虛化圖像至預先訓練好的圖像分割模型中,得到所述圖像分割模型輸出的對象分割概率圖的具體方式,包括:
71、獲取分辨率為ih*iw的待虛化圖像,對所述待虛化圖像進行預處理,獲得預處理圖像;
72、將所述預處理圖像縮放為分辨率為nh*nw的中間圖像;
73、輸入所述中間圖像至預先訓練好的圖像分割模型中,獲得所述圖像分割模型輸出的分辨率為nh*nw初始概率圖;
74、對所述初始概率圖進行雙線性插值上采樣后獲得分辨率為ih*iw的對象分割概率圖;
75、其中,所述圖像分割模塊對所述待虛化圖像進行預處理,獲得預處理圖像,具體包括:
76、計算所述待虛化圖像上所有所述像素點的像素均值和像素方差;
77、對于所述待虛化圖像上每一個所述像素點,將該像素點的像素值減去所述像素均值后再除以所述像素方差,得到該像素點的標準化像素值;
78、對所述待虛化圖像上所有所述像素點的所述標準化像素值執(zhí)行歸一化操作,獲得所述待虛化圖像上每個所述像素點的預處理像素值;
79、根據(jù)所述待虛化圖像上所有所述像素點的所述預處理像素值,獲得預處理圖像。
80、本發(fā)明第三方面公開了另一種基于漸進式高斯濾波的圖像虛化裝置,所述裝置包括:
81、存儲有可執(zhí)行程序代碼的存儲器;
82、與所述存儲器耦合的處理器;
83、所述處理器調(diào)用所述存儲器中存儲的所述可執(zhí)行程序代碼,執(zhí)行本發(fā)明第一方面公開的基于漸進式高斯濾波的圖像虛化方法。
84、本發(fā)明第四方面公開了一種計算機存儲介質(zhì),所述計算機存儲介質(zhì)存儲有計算機指令,所述計算機指令被調(diào)用時,用于執(zhí)行本發(fā)明第一方面公開的基于漸進式高斯濾波的圖像虛化方法。
85、與現(xiàn)有技術相比,本發(fā)明具有以下有益效果:
86、本發(fā)明對于待虛化圖像上的每一個像素點,基于預先訓練好的圖像分割模型,確定該像素點為目標對象像素點的目標概率;根據(jù)該像素點對應的目標概率,確定該像素點對應的目標高斯濾波算法;對于待虛化圖像上的每一個像素點,基于該像素點對應的目標高斯濾波算法對該像素點執(zhí)行高斯濾波操作,獲得該像素點對應的濾波像素值;根據(jù)待虛化圖像上的每個像素點對應的濾波像素值,確定待虛化圖像對應的對象虛化圖片。可見,本發(fā)明的基于漸進式高斯濾波的圖像虛化方法,可以根據(jù)不同的概率范圍設置不同的高斯濾波算法,從而設計出漸進式高斯濾波方法,使得圖像中的主體對象部分與背景部分之間的像素變化更加平滑,進而使得圖像虛化的更加自然。