1965年毛主席提出：“要在三线地区找点油，找到气”，石油是战略资源，国民生产、国防建设都离不开它。三线时期，我国先后开发建设了江汉油田、南阳油田。大力开发油田的同时，相关的配套设备工厂也成为重点布局的范围。
石油工业部响应国家三线建设的号召，在全国布局五大石油机械厂，分别是：宝鸡的一机厂，南阳镇平的二机厂，湖北天门龙尾山的三机厂，湖北荆州的四机厂，河北承德的五机厂。
1968年，石油工业部决定在南阳一带建立一个生产石油专用设备的大型工厂，服务南阳油田，为其生产配套的机械设备。经过多地勘测，将厂址选在南阳市镇平县遮山镇。取厂名石油工业部第二石油机械厂。
1969年11月，石油工业部第二石油机械厂破土动工，通讯地址为：南阳市120号信箱。二机厂的建设得到了大庆石油机械厂、玉门石油机械厂、抚顺石油机械厂的大力支援，上述三厂调派大量职工参与第二石油机械厂的建设和后期的生产。
在那个物资极其匮乏的年代，建立一座大型工厂谈何容易。建设者们的生产、生活都非常艰苦，吃的是窝头，住的是帐篷和草棚。“三线建设要抓紧”、“革命加拼命，抢建二机厂”的巨大标语在工地上随处可见，建设者们发扬不怕苦、不怕累的精神，日夜奋战在建设工地。
1971年12月，石油工业部第二石油机械厂下放到地方，更名为河南省南阳石油机械厂，次年又更名为燃料化学工业部第二石油机械厂。经过建设者们不懈的努力，一排排红砖机瓦的厂房拔地而起，1973年基本完成土木工程，经过验收合格后，随即进入生产阶段。
第二石油机械厂实行的是半军事化管理，每天职工们听着广播上下班。第二石油机械厂生产的试采设备、抽油机、游动系统、试采特车等产品源源不断的提供给南阳油田和勘探机构。
1976年，第二石油机械厂扩大生产规模，在南阳市区建设新厂，老厂区依然正常生产。当时厂里建有职工家属楼、单身宿舍、职工食堂、工人俱乐部、露天影院、卫生室（后来的南石医院）、子弟学校、技工学校、商店等，厂区就是一个小型城镇。
职工们吃的是商品粮，每逢重大节日，厂里还会采购一些稀缺物资作为福利分给职工。子弟学校的教学条件超过县城，因为很多老师都是大城市的支教。成为二机厂职工是值得自豪的，穿着二机厂的工装走在大街上会引来无数羡慕的目光。
1980年，三线建设结束。借助改革开放的春风，二机厂迎来新的发展机遇，当时生产的各类石油机械多达232个品种。1987年，拥有在册职工3200余名，加上家属，有近万人生活在厂区。
1989年，二机厂基本完成了向南阳新址的搬迁工作，后来经过多年发展，企业规模不断壮大，经过一系列改制，蓬勃发展至今。
二机厂的老厂区如今荒废在遮山镇，只有部分厂房得到利用，整个厂区杂草丛生，一派萧瑟，具有鲜明时代特征的建筑物成为三线历史的见证。当年建设者们浩浩荡荡的来到遮山镇，在这里奏响了三线建设的乐章，他们幕天席地，风餐露宿，在艰苦的环境中，用自己的青春韶华铸就一段不朽的传奇。
