[00092193]一種在線配置Hadoop參數的方法和裝置
技術詳細介紹
本發明公開了一種在線配置Hadoop參數的方法和裝置，以實現系統運行的性能最優。該方法包括對生產環境集群中作業的數據量進行監控；當監控到生產環境集群中作業的數據量大于預設值時，統計當前配置下k個節點在p個任務階段中每個任務階段完成作業的平均完成時間；分別計算集合與n個記錄中作業特征屬性集合的n個歐幾里得距離，獲得n個歐幾里得距離中最小歐幾里得距離對應的記錄；在當前配置和最優配置的配置參數值不等時，將最優配置設置為數據量大于預設值的作業在生產環境集群中運行時使用的配置。本發明能夠在可以接受的時間里將這些情況的作業運行調整到資源使用的平衡狀態，提高了系統在線運行的平均效率，實現系統運行的性能最優。
