本發明屬于視頻雨滴去除技術領域,尤其涉及一種基于圖像熵的視頻雨滴去除方法及系統。所述方法包括:步驟a:通過圖像特定閾值及窗口大小計算圖像局部熵;步驟b:根據圖像局部熵結合面積及角度濾波確定圖像含雨部分,使用多個鄰居幀的圖像局部熵均值檢測運動物體部分,并利用雨的時域分布特性得到雨滴部分;步驟c:采用相鄰幀均值替換法去除雨滴部分,得到去雨圖像。本發明通過色彩空間轉換大幅縮小了雨滴去除所需的時間;通過使用圖像局部熵計算得到雨滴部分及運動物體部分,并使用雨的時域分布特性得到檢測雨滴,避免雨滴誤檢;通過相鄰幀均值替換法去除雨滴,并通過各向異性濾波對去雨圖像進行修復處理,以獲得更高質量的圖像效果。