本公開的實施例涉及多模態領域,并且更具體地,涉及用于確定決策樹的節點的方法、設備和計算機程序產品。
背景技術:
1、決策樹(decision?tree)是一種樹形結構,由根節點(root)、邊、內部節點(node)以及葉節點(leaf)組成。其中,決策樹的節點上有針對用戶問題的問題或解決方案。決策樹中包含多個路徑,其中路徑是指從根節點或內部節點開始到葉節點或者內部節點的結束的一個節點序列。不同的路徑代表不同的解決方案。
技術實現思路
1、本公開的實施例涉及用于確定決策樹的節點的方法、設備和計算機程序產品。
2、根據本公開的第一方面,提供了用于確定決策樹的節點的方法,該方法包括確定輸入信息對應的多種模態的多個特征。通過將多種模態的多個特征組合,來生成多模態特征表示。確定決策樹中與多模態特征表示相關聯的目標路徑,決策樹中包括多個節點。基于多模態特征表示,在目標路徑中確定與所述輸入信息相關聯的用于指示問題或答案的目標節點。通過使用本方法,能夠對用戶輸入的輸入信息中不同模態的信息進行處理,確定輸入信息對應的多模態特征表示。這樣,通過整合用戶輸入的不同形式的問題,能夠確定更加豐富且準確的用戶意圖。并且,將多模態特征表示作為依據對決策樹遍歷來確定目標節點,一方面能夠提高遍歷效率,另一方面能夠提高目標節點與輸入信息的相關性,從而為用戶提供最佳的問題和解決方案。
3、根據本公開的第二方面,提供了用于確定決策樹的節點的電子設備,包括至少一個處理器,以及存儲器,耦合至少一個處理器并且具有存儲于其上的指令,指令在由至少一個處理器執行時使電子設備執行動作,動作包括確定輸入信息對應的多種模態的多個特征。通過將多種模態的多個特征組合,來生成多模態特征表示。確定決策樹中與多模態特征表示相關聯的目標路徑,決策樹中包括多個節點?;诙嗄B特征表示,在目標路徑中確定與所述輸入信息相關聯的用于指示問題或答案的目標節點。
4、根據本公開的第三方面,提供了一種計算機程序產品,該計算機程序產品被有形地存儲在非易失性計算機可讀介質上并且包括機器可執行指令,該機器可執行指令在被執行時使機器執行本公開的第一方面中實現的方法的步驟。
5、
技術實現要素:
部分是為了以簡化的形式來介紹對概念的選擇,它們在下文的具體實施方式中將被進一步描述。發明內容部分無意標識要求保護的主題的關鍵特征或主要特征,也無意限制要求保護的主題的范圍。
1.一種用于確定決策樹的節點的方法,包括:
2.根據權利要求1所述的方法,其中確定輸入信息對應的多種模態的多個特征包括:
3.根據權利要求2所述的方法,其中通過將所述多種模態的多個特征組合,來生成多模態特征表示包括:
4.根據權利要求1所述的方法,其中確定決策樹中與所述多模態特征表示相關聯的目標路徑包括:
5.根據權利要求4所述的方法,其中通過經由圖神經網絡對所述決策樹進行編碼,來生成與所述決策樹相對應的決策樹特征包括:
6.根據權利要求5所述的方法,其中通過將所述決策樹特征與所述多模態特征表示進行比較,來確定與所述多模態特征表示相關聯的目標路徑包括:
7.根據權利要求1所述的方法,其中所述輸入信息包括自然語言文本、圖像數據、語音數據中的至少兩項。
8.根據權利要求1所述的方法,其中所述目標路徑中包括依次連接的多個候選節點,以及基于所述多模態特征表示,在所述目標路徑中確定與所述輸入信息相關聯的用于指示問題或答案的目標節點包括:
9.根據權利要求1所述的方法,還包括:
10.根據權利要求2所述的方法,還包括:
11.一種電子設備,包括:
12.根據權利要求11所述的電子設備,其中確定輸入信息對應的多種模態的多個特征包括:
13.根據權利要求12所述的電子設備,其中通過將所述多種模態的多個特征組合,來生成多模態特征表示包括:
14.根據權利要求11所述的電子設備,其中確定決策樹中與所述多模態特征表示相關聯的目標路徑包括:
15.根據權利要求14所述的電子設備,其中通過經由圖神經網絡對所述決策樹進行編碼,來生成與所述決策樹相對應的決策樹特征包括:
16.根據權利要求15所述的電子設備,其中通過將所述決策樹特征表示與所述多模態特征表示進行比較,來確定與所述多模態特征表示相關聯的目標路徑包括:
17.根據權利要求11所述的電子設備,其中所述輸入信息包括自然語言文本、圖像數據、語音數據中的至少兩項。
18.根據權利要求11所述的電子設備,其中所述目標路徑中包括依次連接的多個候選節點,以及基于所述多模態特征表示,在所述目標路徑中確定與所述輸入信息相關聯的用于指示問題或答案的目標節點包括:
19.根據權利要求11所述的電子設備,還包括:
20.一種計算機程序產品,所述計算機程序產品被有形地存儲在非暫態計算機可讀存儲介質上并且包括計算機可執行指令,所述計算機可執行指令在被執行時使計算機: