[00055530]一種MapReduce并行化大數據文本分類方法
技術詳細介紹
一種MapReduce并行化大數據文本分類方法，包括如下步驟：第一步：建立用于文本分類的基準測試數據集，進行數據預處理，包括分詞、去停用詞、詞根還原；將該基準測試數據集隨機劃分為訓練文本和測試文本，將所述基準測試數據集采用向量空間模型建立文本表示模型；第二步：根據上述文本表示模型采用CDMT對所述基準測試數據集進行特征選擇；第三步：采用貝葉斯分類器對所述基準測試數據集進行訓練學習，得到分類結果。本發明提供一種分類性能良好、區分度較高的MapReduce并行化大數據文本分類方法。
