本公開的實施例涉及計算機，具體涉及場景文本信息識別方法、裝置、電子設(shè)備和介質(zhì)。

背景技術(shù)：

1、目前，識別場景圖像中的文本信息的技術(shù)常常應(yīng)用于各個領(lǐng)域。例如，文檔識別，車牌識別和智能感知系統(tǒng)。場景文本信息識別可以更好的理解場景信息。對于場景文本信息的識別，通常采用的方式為：使用卷積神經(jīng)網(wǎng)絡(luò)模型或者注意力機制模型，對待識別場景圖像進行視覺特征提取，并對提取的視覺特征進行識別，得到文本信息。

2、然而，發(fā)明人發(fā)現(xiàn)，當(dāng)采用上述方式來識別場景文本信息，經(jīng)常會存在如下技術(shù)問題：

3、第一，由于僅對待識別場景圖像進行視覺特征提取，在文本信息出現(xiàn)遮擋或者模糊的情況下，文本信息的識別準(zhǔn)確率較低；在沒有上下文信息關(guān)聯(lián)場景中，卷積神經(jīng)網(wǎng)絡(luò)模型或者注意力機制模型，易出現(xiàn)過度糾正的問題，導(dǎo)致文本信息識別準(zhǔn)確度較低，模型通用性和魯棒性較低。

4、第二，由于卷積神經(jīng)網(wǎng)絡(luò)模型或者注意力機制模型僅僅關(guān)注對視覺特征進行文本序列或者語義識別，容易受到文本上下文語義信息的影響，尤其在待識別場景圖像中存在文本信息遮蔽、扭曲等不規(guī)則情況時，易造成文本信息過度糾正和生成大量冗余信息，導(dǎo)致文本信息識別準(zhǔn)確率較低，模型所占內(nèi)存較大，以及模型通用性和魯棒性較低。

5、該背景技術(shù)部分中所公開的以上信息僅用于增強對本發(fā)明構(gòu)思的背景的理解，并因此，其可包含并不形成本國的本領(lǐng)域普通技術(shù)人員已知的現(xiàn)有技術(shù)的信息。

技術(shù)實現(xiàn)思路

1、本公開的內(nèi)容部分用于以簡要的形式介紹構(gòu)思，這些構(gòu)思將在后面的具體實施方式部分被詳細(xì)描述。本公開的內(nèi)容部分并不旨在標(biāo)識要求保護的技術(shù)方案的關(guān)鍵特征或必要特征，也不旨在用于限制所要求的保護的技術(shù)方案的范圍。

2、本公開的一些實施例提出了場景文本信息識別方法、裝置、電子設(shè)備和介質(zhì)，來解決以上背景技術(shù)部分提到的技術(shù)問題中的一項或多項。

3、第一方面，本公開的一些實施例提供了一種場景文本信息識別方法，包括：獲取包括文本信息的待識別場景圖像；對上述待識別場景圖像進行預(yù)處理，得到預(yù)處理后場景圖像；對上述預(yù)處理后場景圖像進行區(qū)域圖像分割，得到場景子圖像集；通過視覺特征編碼器，對上述場景子圖像集中的每個場景子圖像進行視覺編碼，以生成視覺特征向量，得到視覺特征向量集；通過前景增強網(wǎng)絡(luò)，對上述視覺特征向量集進行前景增強處理，得到視覺增強特征向量集；基于視覺增強特征向量集，執(zhí)行以下文本信息識別步驟：根據(jù)預(yù)設(shè)位置嵌入向量集，對視覺增強特征向量集進行文本識別，得到文本特征向量集；對文本特征向量集進行文本矯正處理，得到矯正后文本特征向量集；將矯正后文本特征向量集與視覺特征向量集進行融合處理，得到融合后特征向量集；確定文本信息識別步驟的已執(zhí)行次數(shù)；響應(yīng)于確定已執(zhí)行次數(shù)超過預(yù)設(shè)執(zhí)行閾值，將融合后特征向量集輸入至預(yù)測層，得到文本信息。

4、第二方面，本公開的一些實施例提供了一種場景文本信息識別裝置，包括：獲取單元，被配置成獲取包括文本信息的待識別場景圖像；預(yù)處理單元，被配置成對上述待識別場景圖像進行預(yù)處理，得到預(yù)處理后場景圖像；區(qū)域圖像分割單元，被配置成對上述預(yù)處理后場景圖像進行區(qū)域圖像分割，得到場景子圖像集；視覺編碼單元，被配置成通過視覺特征編碼器，對上述場景子圖像集中的每個場景子圖像進行視覺編碼，以生成視覺特征向量，得到視覺特征向量集；前景增強處理單元，被配置成通過前景增強網(wǎng)絡(luò)，對上述視覺特征向量集進行前景增強處理，得到視覺增強特征向量集；執(zhí)行單元，被配置成基于視覺增強特征向量集，執(zhí)行以下文本信息識別步驟：根據(jù)預(yù)設(shè)位置嵌入向量集，對視覺增強特征向量集進行文本識別，得到文本特征向量集；對文本特征向量集進行文本矯正處理，得到矯正后文本特征向量集；將矯正后文本特征向量集與視覺特征向量集進行融合處理，得到融合后特征向量集；確定文本信息識別步驟的已執(zhí)行次數(shù)；響應(yīng)于確定已執(zhí)行次數(shù)超過預(yù)設(shè)執(zhí)行閾值，將融合后特征向量集輸入至預(yù)測層，得到文本信息。

5、第三方面，本公開的一些實施例提供了一種電子設(shè)備，包括：一個或多個處理器；存儲裝置，其上存儲有一個或多個程序，當(dāng)一個或多個程序被一個或多個處理器執(zhí)行，使得一個或多個處理器實現(xiàn)如第一方面中任一實現(xiàn)方式描述的方法。

6、第四方面，本公開的一些實施例提供了一種計算機可讀介質(zhì)，其上存儲有計算機程序，其中，計算機程序被處理器執(zhí)行時實現(xiàn)如第一方面中任一實現(xiàn)方式描述的方法。

7、本公開的上述各個實施例中具有如下有益效果：本公開的一些實施例的場景文本信息識別方法通過充分融合場景圖像的視覺特征和語言特征，可以提高復(fù)雜場景下的文本識別準(zhǔn)確率，以及模型的通用性和魯棒性。具體來說，造成相關(guān)的文本信息識別準(zhǔn)確率較低的原因在于：由于僅對待識別場景圖像進行視覺特征提取，在文本信息出現(xiàn)遮擋或者模糊的情況下，文本信息的識別準(zhǔn)確率較低；在沒有上下文信息關(guān)聯(lián)場景中，卷積神經(jīng)網(wǎng)絡(luò)模型或者注意力機制模型，易出現(xiàn)過度糾正的問題，導(dǎo)致文本信息識別準(zhǔn)確度較低，模型通用性和魯棒性較低。基于此，本公開的一些實施例的場景文本信息識別方法可以首先，獲取包括文本信息的待識別場景圖像。在這里，待識別場景圖像用于后續(xù)進行文本信息識別。其次，對上述待識別場景圖像進行預(yù)處理，得到預(yù)處理后場景圖像。在這里，預(yù)處理便于將待識別圖像轉(zhuǎn)換成后續(xù)視覺特征編碼器可以接收的尺寸。再次，對上述預(yù)處理后場景圖像進行區(qū)域圖像分割，得到場景子圖像集。在這里，區(qū)域圖像分割在更細(xì)粒度的程度上對待識別場景圖像中的文本信息進行識別，可以提高識別準(zhǔn)確率以及減少計算機資源的消耗。隨著，通過視覺特征編碼器，對上述場景子圖像集中的每個場景子圖像進行視覺編碼，以生成視覺特征向量，得到視覺特征向量集。在這里，視覺編碼可以提取待識別場景圖像的視覺特征。然后，通過前景增強網(wǎng)絡(luò)，對上述視覺特征向量集進行前景增強處理，得到視覺增強特征向量集。在這里，通過前景增強網(wǎng)絡(luò)可以自動化降低待識別場景圖像中不包括文本信息的區(qū)域的權(quán)重，提高包含文本信息的區(qū)域的權(quán)重，便于提高識別文本信息的準(zhǔn)確率。最后，基于視覺增強特征向量集，執(zhí)行以下文本信息識別步驟：第一步，根據(jù)預(yù)設(shè)位置嵌入向量集，對視覺增強特征向量集進行文本識別，得到文本特征向量集。在這里，通過視覺特征識別文本特征，可以準(zhǔn)確識別出文本信息所在的位置信息，以便后續(xù)對文本信息進行識別，以及解決注意力漂移問題。第二步，對文本特征向量集進行文本矯正處理，得到矯正后文本特征向量集。在這里，文本矯正處理可以對識別結(jié)果對應(yīng)的文本信息進行逐個字符的識別矯正，可以提高文本識別的準(zhǔn)確率。第三步，將矯正后文本特征向量集與視覺特征向量集進行融合處理，得到融合后特征向量集。在這里，通過結(jié)合視覺和語言信息的迭代融合，得到包含視覺信息的文本特征向量，可以在一定程度上避免對文本信息識別的偏向性，進而得到更高質(zhì)量的融合后特征向量，在上下文無關(guān)的場景中，可以在一定程度上避免過度矯正的問題。第四步，確定文本信息識別步驟的已執(zhí)行次數(shù)。在這里，可以對視覺特征和語言特征進行充分融合，得到質(zhì)量更高的融合后特征向量。第五步，響應(yīng)于確定已執(zhí)行次數(shù)超過預(yù)設(shè)執(zhí)行閾值，將融合后特征向量集輸入至預(yù)測層，得到文本信息。在這里，對包括視覺特征和語言特征的融合后特征向量集進行文本識別，可以提高文本識別的準(zhǔn)確率。由此可得，該場景文本信息識別方法通過充分融合圖像的視覺特征和語言特征，可以提高復(fù)雜場景下的文本識別準(zhǔn)確率，以及模型的通用性和魯棒性。