專利名稱：一種基于調和級數的文本圖結構表示模型的制作方法
技術領域：
本發明涉及一種文本的表示模型，具體是涉及采用圖結構對文本進行表示，使用調和級數對關鍵詞和關鍵詞對進行權重計算的模型，是一種基于調和級數的文本圖結構表示模型。
背景技術：
人類善于處理非結構化文本，因為非結構化文本符合人類語言表達習慣，更重要的是人類具有很強的邏輯推理能力。而機器則善于處理結構化文本，例如圖和表。人機交互時，必然需要將人類可理解的非結構化文本轉化為機器可理解的結構化文本，這就需要文本表示模型。 目前應用最廣的文本表不模型是向量空間模型。向量空間模型將文本表不成一個權值向量，向量中的每一項均由詞項組成，而每個詞項的權重由TFIDF方法確定。其中TFIDF方法用詞項權重公式計算一個詞項對于文集中的單篇文本的重要程度。TFIDF方法的詞項權重就是詞頻TF(Term Frequency)與逆文檔頻率IDF(Inverse DocumentFrequency)的乘積。TFIDF具體公式如下
TFIDFi = TFi XIDF1 = TFi x Iog(NZni)
其中，TFi為詞項i的詞頻，即詞項i在文本中出現的次數；IDFi為詞項i的逆文檔頻率，它由Iog(NAii)計算；N為文本集的文本總數；叫為文本集中包含詞項i的文本數。但是使用向量空間模型結合TFIDF方法對文本進行表示時，存在以下不足
(I)向量空間模型把文本看成詞項的集合，把詞項與詞項之間的關系看成是獨立的，這樣就損失了大量的文本結構信息。(2) TFIDF方法在計算詞項的詞頻時，沒有考慮它們所處位置因素對它們權重的影響，而單獨考慮出現次數或共現次數，并不足以表達其實際權重。(3)TFIDF方法在計算詞項的逆文檔頻率時，需要基于領域的文本集，而無法針對單篇的文本。

發明內容
本發明的目的在于針對向量空間模型與TFIDF方法的不足，提供一種基于調和級數的文本圖結構表示模型，該模型能夠避免文本結構信息的缺失，并同時能夠針對單篇文本的結構信息對關鍵詞和關鍵詞對的權重進行計算。為了達到上述的目的，本發明的構思如下采用圖結構模型對單篇文本進行表示，避免文本結構信息的缺失，并同時能夠針對單篇文本的結構信息對關鍵詞和關鍵詞對的權重進行計算；所述的圖結構模型是使用圖結構對文本的關鍵詞及其之間的關系進行組織，再通過調和級數法進行權重的計算。
根據上述的發明思想，本發明采用下述技術方案
一種基于調和級數的文本圖結構表示模型，其特征在于，其具體步驟如下
(1)打開領域文集中的單篇文本；
(2)將文本內容按照重要性程度由大到小重新排列；
(3)對文本進行分詞并保留標點符號；
(4)統計關鍵詞和關鍵詞對的出現次數；
(5)以關鍵詞為圖的節點，將共現次數不為0的關鍵詞對進行連接；
(6)使用調和級數法對關鍵詞和關鍵詞對的權重進行計算.
所述的調和級數法，記為HP，其關鍵詞和關鍵詞對權重計算式如下
權利要求
1.一種基于調和級數的文本圖結構表示模型，其特征在于采用圖結構模型對單篇文本進行表示，其中使用調和級數法對關鍵詞和關鍵詞對的權重進行計算；所述的圖結構模型就是將文本的關鍵詞根據關鍵詞對在同一個句子中的共現關系建立連接關系；其具體步驟如下打開領域文集中的單篇文本；將文本內容按照重要性程度由大到小重新排列；對文本進行分詞并保留標點符號；統計關鍵詞和關鍵詞對的出現次數；以關鍵詞為圖的節點，將共現次數不為O的關鍵詞對進行連接；使用調和級數法對關鍵詞和關鍵詞對的權重進行計算。
2.按權利要求I所述的基于調和級數的文本圖結構表示模型，其特征在于所述步驟(6)中的調和級數法，其關鍵詞和關鍵詞對權重計算式如下
全文摘要
本發明公開了一種基于調和級數的文本圖結構表示模型。該方法具體步驟如下(1)打開領域文集中的單篇文本；(2)將文本內容按照重要性程度由大到小重新排列；(3)對文本進行分詞并保留標點符號；(4)統計關鍵詞和關鍵詞對的出現次數；(5)以關鍵詞為圖的節點，將共現次數不為0的關鍵詞對進行連接；(6)使用調和級數法對關鍵詞和關鍵詞對的權重進行計算。該方法避免文本結構信息的缺失，并同時能夠針對單篇文本的結構信息對關鍵詞和關鍵詞對的權重進行計算；該方法簡便易操作，效果好，并且能夠兼具TFIDF的功能。
文檔編號G06F17/30GK102629266SQ20121005940
公開日2012年8月8日 申請日期2012年3月8日 優先權日2012年3月8日
發明者吳超, 陳雪 申請人:上海大學