本發明屬于點云渲染領域，具體涉及一種基于深度去噪的三維高斯渲染方法。

背景技術：

1、點云是由三維點構成的集合，常用于表示物體的幾何結構。然而，由于點云本身缺乏體積，現有的方法通常將每個點描繪為球體，并通過投射到像素平面上進行渲染，最終生成圖像。三維高斯作為一種新興的三維表達方式，使用各向異性球體來表示3d場景，成為點云渲染的新范式，然而由于其各項異性的表達，使得存儲急劇增大。此外在光柵化過程中，由于球體體積的占用，不可避免地會引入噪聲，如空洞和鋸齒效應；現有的去噪方法可以一定程度緩解噪聲導致的偽影問題，但其對復雜場景和弱紋理區域的偽影并不能有效去除。而且會使得存儲大小有所增加。為此，本發明提出了一種新方法，專門處理光柵化過程中產生的噪聲同時降低存儲，本發明方法極大提高了基于三維高斯的點云渲染質量。

技術實現思路

1、本發明提出了一種基于深度去噪的三維高斯渲染方法，提高了基于三維高斯渲染的質量，同時降低了其存儲空間。

2、本發明提出的一種基于深度去噪的三維高斯渲染方法，包括以下步驟：

3、步驟1、基于圖片序列或者視頻獲取場景點云和相機位姿。

4、收集待渲染場景的視頻或圖片序列，對其進行預處理，利用結構從運動（sfm）算法，提取場景的點云數據和圖像對應的相機的位姿信息。

5、步驟2、基于獲取的點云構造神經輻射圖。

6、步驟3、對得到的神經輻射圖進行深度去噪。

7、步驟4、通過端到端訓練得到訓練好的場景表達。

8、步驟5、通過訓練得到的場景表達實現三維高斯渲染；

9、為得到所需視角的渲染結果，將所需視角的相機位姿輸入至訓練好的場景表達即可實現三維高斯渲染。

10、進一步的，步驟2具體方法如下：

11、將三維高斯重新參數化為，，，，這五個變量，分別表示為四元數，潑濺長度，空間位置，不透明度和外觀模型。通過獲取的點云初始化三維高斯的空間位置；其他屬性進行隨機初始化。對于每一個視角，通過相機位姿將三維高斯潑濺到二維像素平面。之后每一個所需要渲染的像素由多個高斯占據。使用如下的公式得到對應像素的神經輻射圖：

12、???????????(1)

13、其中n表示像素位置下占據的高斯數量。

14、引入來增強神經輻射圖，其考慮了每個像素位置的光線方向以糾正神經輻射圖，從而緩解了三維高斯投影到二維空間過程中噪聲帶來的影響。其中由一個多層感知機構成。

15、???????????????????(2)

16、進一步的，步驟3具體方法如下：

17、使用一個輕量化的網絡對神經輻射圖進行處理，其由三層標準的卷積層構成。由于的維度為，并不是。的輸入是，輸出是一個的掩膜。在得到掩膜之后將其相乘到得到的去噪神經輻射圖，最后使用u-net來將解碼成的彩色圖片。所述的u-net由五個卷積塊組成，每一層的卷積塊輸出的通道數為別為64，128，256，512，1024，五個卷積塊由門控卷積和2x2的平均池化構成。

18、進一步的，步驟4具體方法如下：

19、對于待渲染場景采集到的圖片，三維高斯的屬性，，，，、多層感知機、輕量化的網絡以及u-net在端到端訓練過程中進行聯合優化。訓練的過程中，通過相機位姿將三維高斯潑濺到二維像素平面，使用公式（1）得到神經輻射圖。之后，通過u-net解碼得到渲染的圖片。計算渲染的圖片與真值之間的損失函數。

20、損失函數為：

21、?????????????????(3)

22、其中，和分別表示l1損失函數以及ssim損失函數。

23、在訓練完成之后，得到訓練好的場景表達，所述的訓練好的場景表達包括優化好的三維高斯、多層感知機、輕量化的網絡以及u-net。

24、本發明的特點及有益效果如下：

25、本發明專注于解決光柵化過程中由于采樣不充分引入的噪聲問題。通過利用深度去噪技術，本發明能夠有效去除渲染結果中的“偽影”，這些偽影通常表現為視覺上的失真或不自然的紋理特征，嚴重影響了最終圖像的質量。借助這一方法，可以大幅提升渲染結果的清晰度與真實感，為高質量圖形生成與顯示提供了一種可靠的技術支持。

技術特征：

1.一種基于深度去噪的三維高斯渲染方法，其特征在于，包括以下步驟：

2.根據權利要求1所述的一種基于深度去噪的三維高斯渲染方法，其特征在于，步驟2具體方法如下：

3.根據權利要求2所述的一種基于深度去噪的三維高斯渲染方法，其特征在于，步驟3具體方法如下：

4.根據權利要求3所述的一種基于深度去噪的三維高斯渲染方法，其特征在于，步驟4具體方法如下：

技術總結
本發明公開了一種基于深度去噪的三維高斯渲染方法。首先基于圖片序列或者視頻獲取場景點云和相機位姿，然后基于獲取的點云構造神經輻射圖；對得到的神經輻射圖進行深度去噪；通過端到端訓練得到訓練好的場景表達；最后通過訓練得到的場景表達實現三維高斯渲染。本發明專注于解決光柵化過程中由于采樣不充分引入的噪聲問題。通過利用深度去噪技術，本發明能夠有效去除渲染結果中的“偽影”，可以大幅提升渲染結果的清晰度與真實感，為高質量圖形生成與顯示提供了一種可靠的技術支持。

技術研發人員：孫垚棋,任浩帆,顏成鋼,朱尊杰,高宇涵,王鴻奎,金恒
受保護的技術使用者：杭州電子科技大學麗水研究院
技術研發日：
技術公布日：2025/4/6