本發明旨在解決上述現有技術中存在的問題,提出一種基于雨勢尺度的視頻雨滴去除算法,包括以下步驟:S100、獲取視頻像素總數P,確定樣本像素點的標號;S200、獲取視頻前N幀對應像素的亮度平均值;S300、求出前N幀圖像中每個像素的最大值及最小值;S400、采用K均值聚類方法,根據每個像素亮度值將像素分為雨滴或背景,標記被雨滴污染的幀數并求和sum;S500、判斷sum/(M×N)是否大于預設閾值T,是則采用幀差法處理被雨滴覆蓋像素;否則采用引導濾波器處理被雨滴覆蓋像素。本發明在視頻去雨滴處理之前進行預處理,判斷雨勢大小,再選擇合適的算法去除雨滴,能夠獲得更好的雨滴去除效果。