基于新聞評(píng)論的短文本聚類，怎么利用nlp相關(guān)技術(shù)？首先，回答在短文本聚類中使用了哪些技術(shù)，比如分詞（一個(gè)好的分詞設(shè)備會(huì)減少分詞片段）、過(guò)濾停止詞、一些對(duì)聚類影響不大的詞，比如Le、代詞、助詞、語(yǔ)義擴(kuò)展

基于新聞評(píng)論的短文本聚類，怎么利用nlp相關(guān)技術(shù)？

首先，回答在短文本聚類中使用了哪些技術(shù)，比如分詞（一個(gè)好的分詞設(shè)備會(huì)減少分詞片段）、過(guò)濾停止詞、一些對(duì)聚類影響不大的詞，比如Le、代詞、助詞、語(yǔ)義擴(kuò)展，比如word2vec，特征選擇、卡方檢驗(yàn)、互信息、TFIDF等。本文通過(guò)調(diào)整參數(shù)來(lái)調(diào)整問(wèn)題的記憶，為了減少信息量，我們?cè)谖谋拘畔⒖臻g中搜索任意兩個(gè)最相關(guān)的文本信息，并將它們壓縮為一個(gè)文本信息。

簡(jiǎn)并算法的實(shí)現(xiàn)比較整個(gè)信息空間中所有文本的相關(guān)性（熟人），得到它們之間的相關(guān)性，然后進(jìn)行配對(duì)。配對(duì)的要求是兩個(gè)文本信息最相關(guān)。例如，如果a找到文檔B，那么B也必須找到最相關(guān)的文檔，即a。注意：在某些情況下，a的最近文檔是C，那么B和B的最相關(guān)文檔也是C。存在a、B和C自一致的情況，即形成最近空間信息的三角形。

在獲得最相似的文檔后，我們將僅對(duì)它們進(jìn)行平均或簡(jiǎn)單地添加它們。

信息空間中獨(dú)立信息的數(shù)量將減少到原來(lái)的一半以下，然后在合并過(guò)程中重復(fù)實(shí)現(xiàn)1的過(guò)程。

最后，信息被縮減為唯一信息，即整個(gè)信息文本的平均值。

繪制信息樹(shù)的結(jié)構(gòu)，可以根據(jù)簇的大小自動(dòng)聚類。