本發明涉及一種市區環境下基于視覺的車載行人檢測與跟蹤方法及系統,本發明為了避免在整幅圖像中匹配已建立的目標顏色概率分布圖而導致在尋求最優匹配位置時出現較大的偏差,根據上一時刻圖像中行人的質心位置,采用Kalman濾波預測下一時刻行人的質心位置,以該預測位置為中心建立搜索窗口,利用Meanshift算法匹配所建立的行人目標顏色概率分布圖,從而確定行人質心的當前時刻的觀測位置并更新行人目標顏色概率分布圖和Kalman濾波的狀態和協方差陣,當行人已經走出視野范圍或者跟蹤失效時針對待檢測圖像采用行人檢測方法重新檢測行人作為待跟蹤目標,避免出現跟蹤累積誤差。因此,本發明可以廣泛用于行人安全保護技術領域。