追根溯源，青山區在新中國成立之前的歷史上，雖然沒有整體單獨設置過縣（旗、區）及以上行政建置，但這片土地有山有水，氣候溫和，土地平坦開闊，絕大部分宜農宜牧宜林，非常適合人類生息繁衍。從考察有關史跡、史料得知，在我國歷史上，歷朝歷代，這里一直是中華民族生存發展之地，是漢族和北方游牧民族或交替占據，或友好來往，相互交融，并肩攜手發展之地。

    到了明朝中期至清朝初期。這里是蒙古族土默特部落建立的大明金國居地。清朝時期，由蒙古族烏拉特部落占據。清末民初，從山西、陜西、河北等地陸續遷徙來大量從事農業和手工業生產的移民，他們墾田建屋，逐漸形成公忽洞、狗攔圪缽、鐮片窯子等村落。

    中華人民共和國成立后，內蒙古自治區于1954年廢除旗縣并存、蒙漢分治制度。今青山區境蒙古族也劃屬包頭市管轄。

    1953年，內蒙古一、二機廠在區境選址、定點。1954年，全區陸續開始大規模建設。1955年，包頭市委、市政府根據工業建設需要組建新市區（包括今青山區、昆都侖區）工作組，成立新市區辦事處。1956年8月，包頭市人民委員會決定撤銷新市區辦事處，分別成立以內蒙古一機廠、二機廠廠區和住宅區為主的青山區和以包鋼廠區和住宅區為主的昆都侖區。在其未完成選舉以前，先成立包頭市人民委員會青山區辦事處、包頭市人民委員會昆都侖區辦事處。同年8月18日，新市區辦事處正式結束，青山區辦事處正式成立，辦公處設在公忽洞村。11月，召開青山區人民代表大會，選舉產生青山區領導班子，正式成立縣級青山區人民委員會（后相繼改稱青山區革命委員會、人民政府），隸屬于包頭市。辦公處設于呼得木林大街6號街坊。2005年1月，青山區黨政大樓遷至建設路189號。截至目前，其隸屬關系未發生變化。