本申請(qǐng)涉及機(jī)器學(xué)習(xí)，尤其涉及一種圖像描述文本的生成方法及裝置。

背景技術(shù)：

1、數(shù)學(xué)領(lǐng)域所涉及的幾何問(wèn)題中通常包括幾何圖像，若能為這些幾何圖像提供全面、準(zhǔn)確的描述文本，則可以對(duì)數(shù)學(xué)教育、幾何解題模型訓(xùn)練等多個(gè)方面提供顯著的改善效果。例如，在訓(xùn)練專注于幾何問(wèn)題的模型時(shí)，為了保證模型的使用效果，通常需要大量的高質(zhì)量樣本作為訓(xùn)練數(shù)據(jù)。針對(duì)任一樣本而言，其中包含的描述文本應(yīng)當(dāng)盡可能全面、準(zhǔn)確地反映出其針對(duì)的幾何圖像的特征。

2、然而，目前通過(guò)人工標(biāo)注、網(wǎng)頁(yè)數(shù)據(jù)提取以及采用模型生成等方式獲取到的樣本，通常無(wú)法保證描述文本對(duì)幾何圖像特征及細(xì)節(jié)的覆蓋度，同時(shí)也無(wú)法保證描述的準(zhǔn)確性。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本申請(qǐng)?zhí)峁┮环N圖像描述文本的生成方法及裝置，以解決相關(guān)技術(shù)中存在的缺陷，本申請(qǐng)技術(shù)方案如下：

2、根據(jù)本申請(qǐng)第一方面的實(shí)施例，提供一種圖像描述文本的生成方法，包括：

3、獲取幾何問(wèn)題的題目文本和答案文本，以及所述幾何問(wèn)題中的幾何圖像；

4、將所述幾何圖像輸入預(yù)訓(xùn)練的圖像描述模型，并獲取所述圖像描述模型輸出的用于描述所述幾何圖像的原始描述文本；

5、基于所述題目文本和所述答案文本修正所述原始描述文本得到修正后的中間描述文本，并至少根據(jù)所述中間描述文本確定用于描述所述幾何圖像的目標(biāo)描述文本。

6、根據(jù)本申請(qǐng)第二方面的實(shí)施例，提供一種圖像描述文本的生成裝置，包括：

7、獲取單元，用于獲取幾何問(wèn)題的題目文本和答案文本，以及所述幾何問(wèn)題中的幾何圖像；

8、處理單元，用于將所述幾何圖像輸入預(yù)訓(xùn)練的圖像描述模型，并獲取所述圖像描述模型輸出的用于描述所述幾何圖像的原始描述文本；

9、確定單元，用于基于所述題目文本和所述答案文本修正所述原始描述文本得到修正后的中間描述文本，并至少根據(jù)所述中間描述文本確定用于描述所述幾何圖像的目標(biāo)描述文本。

10、根據(jù)本申請(qǐng)第三方面的實(shí)施例，提供一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的可執(zhí)行指令，所述處理器通過(guò)運(yùn)行所述可執(zhí)行指令以實(shí)現(xiàn)如第一方面所述的方法。

11、根據(jù)本申請(qǐng)第四方面的實(shí)施例，提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)指令，該指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面所述的方法的步驟。

12、根據(jù)本申請(qǐng)第五方面的實(shí)施例，提供一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序/指令，該計(jì)算機(jī)程序/指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面所述的方法的步驟。

13、在本申請(qǐng)?zhí)峁┑募夹g(shù)方案中，可以同時(shí)獲取幾何問(wèn)題的題目文本、答案文本以及幾何圖像。在此基礎(chǔ)上，先將幾何圖像輸入至預(yù)訓(xùn)練的能夠輸出圖像描述文本的圖像描述模型，獲取圖像描述模型針對(duì)該幾何圖像輸出的原始描述文本；之后，再根據(jù)題目文本和答案文本對(duì)得到的原始描述文本進(jìn)行修正，進(jìn)而得到修正后的中間描述文本；最后在再中間描述文本的基礎(chǔ)上確定出用于描述該幾何圖像的目標(biāo)描述文本。

14、應(yīng)用本申請(qǐng)的技術(shù)方案，原始描述文本是在圖像描述模型不參考題目文本和答案文本的情況下，僅針對(duì)幾何圖像自身的特征所生成的，提高了描述文本的多樣性以及對(duì)幾何圖像的特征覆蓋度；同時(shí)，又使用題目文本和答案文本對(duì)圖像描述模型生成的原始描述文本進(jìn)行了修正，并在修正的基礎(chǔ)上進(jìn)一步確定出目標(biāo)描述文本，保證了描述文本的準(zhǔn)確性，使得最終確定出的描述文本，從整體上可以全面、準(zhǔn)確地反映出幾何圖像的幾何特征。

15、應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本申請(qǐng)實(shí)施例。

技術(shù)特征：

1.一種圖像描述文本的生成方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述圖像描述模型為多模態(tài)模型，所述將所述幾何圖像輸入預(yù)訓(xùn)練的圖像描述模型，包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述幾何圖像輸入預(yù)訓(xùn)練的圖像描述模型，并獲取所述圖像描述模型輸出的所述幾何圖像的原始描述文本，包括：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述幾何圖像輸入預(yù)訓(xùn)練的圖像描述模型，并獲取所述圖像描述模型輸出的所述幾何圖像的原始描述文本，包括：

5.根據(jù)權(quán)利要求1中任一項(xiàng)所述的方法，其特征在于，所述基于所述題目文本和所述答案文本修正所述原始描述文本得到修正后的中間描述文本，包括：

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述至少根據(jù)修正后的中間描述文本確定用于描述所述幾何圖像的目標(biāo)描述文本，包括：

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述至少根據(jù)修正后的中間描述文本確定用于描述所述幾何圖像的目標(biāo)描述文本，包括：

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

9.一種圖像描述文本的生成裝置，其特征在于，包括：

10.一種電子設(shè)備，其特征在于，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的可執(zhí)行指令，所述處理器通過(guò)運(yùn)行所述可執(zhí)行指令以實(shí)現(xiàn)如權(quán)利要求1-9中任一項(xiàng)所述的方法。

11.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，其上存儲(chǔ)有計(jì)算機(jī)指令，該指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-9中任一項(xiàng)所述方法的步驟。

12.一種計(jì)算機(jī)程序產(chǎn)品，其特征在于，包括計(jì)算機(jī)程序/指令，該計(jì)算機(jī)程序/指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-9中任一項(xiàng)所述方法的步驟。

技術(shù)總結(jié)
本申請(qǐng)?zhí)峁┝艘环N圖像描述文本的生成方法及裝置，所述方法包括：獲取幾何問(wèn)題的題目文本和答案文本，以及所述幾何問(wèn)題中的幾何圖像；將所述幾何圖像輸入預(yù)訓(xùn)練的圖像描述模型，并獲取所述圖像描述模型輸出的用于描述所述幾何圖像的原始描述文本；基于所述題目文本和所述答案文本修正所述原始描述文本得到修正后的中間描述文本，并至少根據(jù)所述中間描述文本確定用于描述所述幾何圖像的目標(biāo)描述文本。

技術(shù)研發(fā)人員：周賢雷,賀宇,齊天雨,李明
受保護(hù)的技術(shù)使用者：深圳市星桐科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/4/28